我要投搞

标签云

收藏小站

爱尚经典语录、名言、句子、散文、日志、唯美图片

当前位置:大家发高手网 > 段映射 >

根据用户所选择的视点从具有与所选择的体育赛事类型相关联的默认

归档日期:06-04       文本归类:段映射      文章编辑:爱尚语录

  近年来,使用通过利用安装于不同位置的不同照相机从多个视点进行同步摄像所获得的多个视点图像来生成虚拟视点内容的技术已引起关注。根据上述的使用多个视点图像来生成虚拟视点内容的技术,用户可以以与正常图像相比更高的现实感以各种角度观看足球或篮球的精彩场景。

  基于多视点图像的虚拟视点内容的生成和浏览可以通过在图像处理器中收集多个照相机所拍摄到的图像、使用图像处理器进行包括3D模型生成和绘制的处理、并且将处理后的图像发送至用户终端来实现。

  此外,专利文献1公开了如下的技术:使多个照相机经由相应的控制单元通过光纤来连接,将这些照相机的图像帧存储在这些控制单元中,并且使用所存储的图像帧输出表示连续运动的图像。

  然而,在现有技术中,进行用于生成虚拟视点图像的系统的设置的操作员的负担可能增大。例如,系统的适当设置根据比赛而改变。例如,用于对足球比赛摄像以生成虚拟视点图像的照相机的摄像方向不同于用于对篮球比赛摄像以生成虚拟视点图像的照相机的摄像方向。在这种情况下,如果每当举行比赛时操作员手动进行系统的设置,则操作的负担可能增大。

  根据本发明的一方面,用于系统的控制装置基于通过使用多个照相机从多个方向进行摄像所获得的图像数据来生成虚拟视点图像。所述控制装置包括:获得单元,其被配置为获得比赛信息,所述比赛信息用于指定作为所述多个照相机所进行的摄像的对象的比赛的类型;存储单元,其被配置为存储用于使所述获得单元所获得的比赛信息与所述系统的设置信息相关联的信息;以及设置单元,用于基于所述获得单元所获得的比赛信息和所述存储单元中所存储的信息来进行所述系统的设置处理。

  将参考图1所示的系统结构的图来说明如下的系统,其中在该系统中,在体育馆和音乐厅中安装多个照相机和多个麦克风以拍摄图像并收集声音。图像处理系统100包括传感器系统110a~110z、图像计算服务器200、控制器300、交换集线和虚拟照相机操作用户界面(UI)330。控制站310经由网络310a~310c、网络180a和180b以及网络170a~170y对图像处理系统100中所包括的块进行操作状态的管理和参数设置的控制等。这里,网络可以是作为以太网(Ethernet,注册商标)的基于IEEE标准的GbE(千兆以太网)或10GbE、或者互连Infiniband和工业以太网等的组合。可选地,网络不限于这些,并且可以采用其它类型的网络。

  首先,将说明将传感器系统110a~110z的26组图像和声音从传感器系统110z发送至图像计算服务器200的操作。在本实施例的图像处理系统100中,传感器系统110a~110z通过菊花链彼此连接。

  在本实施例中,除非另外说明,否则传感器系统110a~110z这26组系统彼此不区分并且被描述为传感器系统110。同样,除非另外说明,否则各个传感器系统110中所包括的装置不区分并且被描述为麦克风111、照相机112、照相机平台113、外部传感器114和照相机适配器120。注意,作为传感器系统的数量的26仅仅是示例,并且传感器系统的数量不限于此。此外,例如,多个传感器系统110可以不具有相同的结构,并且可以是不同类型的装置。注意,在本实施例中,除非另外说明,否则术语“图像”包括运动图像和静止图像的概念。具体地,本实施例的图像处理系统100能够处理静止图像和运动图像这两者。此外,尽管在本实施例中主要说明图像处理系统100所提供的虚拟视点内容包括虚拟视点图像和虚拟视点声音的情况,但本发明不限于此。例如,虚拟视点内容可以不包括声音。此外,例如,可以利用位于离虚拟视点最近的麦克风来收集虚拟视点内容中所包括的声音。此外,尽管在本实施例中为了简化描述而部分省略了声音的说明,但基本上同时处理图像和声音。

  传感器系统110a~110z具有各自的照相机112a~112z。具体地,图像处理系统100包括用于从多个方向拍摄被摄体的图像的多个照相机112。尽管利用相同的附图标记来说明多个照相机112,但照相机112的性能和类型可以彼此不同。多个传感器系统110通过菊花链彼此连接。利用该连接形式,在由于拍摄图像的4K或8K所需的高分辨率和高帧频因而图像数据的量增大的情况下,可以实现减少连接线缆的数量和减少布线作业的效果。

  注意,连接形式不限于此,并且可以采用星型网络结构,在该星型网络结构中,传感器系统110a~110z各自连接至交换集线并且经由交换集线进行数据发送和接收。

  尽管所有的传感器系统110a~110z通过级联连接而连接使得在图1中配置成菊花链,但连接形式不限于此。例如,可以将多个传感器系统110分割成组,并且传感器系统110可以按通过该分割所获得的组为单位通过菊花链连接。然后,用作分割单位的终端的照相机适配器120可以连接至交换集线,使得将图像供给至图像计算服务器200。这种结构在体育馆中特别有效。这里假定体育馆具有多个楼层并且传感器系统110安装在各个楼层中。在这种情况下,可以针对各楼层或针对体育馆的各半周进行向图像计算服务器200的输入,因此即使在难以进行通过一个菊花链的所有传感器系统100的布线的场所,也可以简化传感器系统110的安装并且图像处理系统100可以是灵活的。

  此外,图像计算服务器200所进行的图像处理的控制根据与通过菊花链连接并且进行向图像计算服务器200的图像输入的照相机适配器120的数量是1还是2以上有关的判断结果而改变。具体地,根据与是否将传感器系统110分割成多个组有关的判断结果来改变控制。在仅一个照相机适配器120进行图像输入的情况下,在通过菊花链连接进行图像传输期间生成体育馆全周的图像,因此图像计算服务器200获得体育馆全周的图像数据的定时同步。具体地,如果没有将传感器系统110分割成组,则实现了同步。

  然而,在将多个照相机适配器120用于图像输入的情况下,在菊花链的不同通道(路径)中可能发生从拍摄图像起直到将该图像输入至图像计算服务器200为止的时间段的不同延迟。具体地,在将传感器系统110分割成组的情况下,图像计算服务器200获得体育馆全周的图像数据的定时可能不同步。因此,在图像计算服务器200中,在利用通过等待体育馆全周的图像数据进行同步的同步控制来检查大量图像数据的情况下,在稍后阶段要进行图像处理。

  在本实施例中,传感器系统110a包括麦克风111a、照相机112a、照相机平台113a、外部传感器114a和照相机适配器120a。注意,结构不限于此,只要传感器系统110a包括至少一个照相机适配器120a以及一个照相机112a或一个麦克风111a即可。此外,例如,传感器系统110a可以包括一个照相机适配器120a和多个照相机112a,或者包括一个照相机112a和多个照相机适配器120a。具体地,图像处理系统100中所包括的多个照相机112和多个照相机适配器120具有比为N:M(N和M是不小于1的整数)的关系。此外,传感器系统110可以包括除麦克风111a、照相机112a、照相机平台113a和照相机适配器120a之外的装置。此外,照相机112和照相机适配器120可以彼此一体化。此外,前端服务器230可以具有照相机适配器120的功能的至少一部分。由于传感器系统110b~110z具有与传感器系统110a的结构相同的结构,因此省略了对传感器系统110b~110z的结构的说明。注意,结构不限于传感器系统110a的结构,并且不同的传感器系统110可以具有不同的结构。

  麦克风111a所收集的声音和照相机112a所拍摄到的图像在经由菊花链170a被发送至传感器系统110b中所包括的照相机适配器120b之前,经过照相机适配器120a所进行的以下所述的图像处理。同样,除从传感器系统110a供给的图像和声音外,传感器系统110b还将所收集的声音和拍摄图像发送至传感器系统110c。

  通过连续地进行上述操作,传感器系统110a~110z所获得的图像和声音在被发送至图像计算服务器200之前,从传感器系统110z经由网络180b发送至交换集线。

  注意,尽管在本实施例中照相机112a~112z与照相机适配器120a~120z分离,但照相机112a~112z和照相机适配器120a~120z可以集成在同一壳体中。在这种情况下,麦克风111a~111z可以并入一体化的照相机112中或者从外部连接至照相机112。

  接着,将说明图像计算服务器200的结构和操作。本实施例的图像计算服务器200处理从传感器系统110z获得的数据。图像计算服务器200包括前端服务器230、数据库250(以下还称为“DB”)、后端服务器270和时间服务器290。

  时间服务器290具有传送时刻和同步信号的功能,并且将时刻和同步信号经由交换集线z。接收到了时刻和同步信号的照相机适配器120a~120z基于该时刻和同步信号对照相机112a~112z进行发生器锁定(Genlock(同步锁定)),以便进行图像帧同步。具体地,时间服务器290使多个照相机112的摄像定时同步。由此,图像处理系统100可以基于在相同定时拍摄到的多个图像来生成虚拟视点图像,因此可以抑制由摄像定时之间的差异引起的虚拟视点图像的质量下降。尽管在本实施例中时间服务器290管理多个照相机112的时刻同步,但本发明不限于此,并且各个照相机112或各个照相机适配器120可以进行时刻同步所用的处理。

  前端服务器230使用从传感器系统110z获得的图像和声音来重建分段的传输包,并且在根据照相机的标识符、数据类型和帧编号将图像和声音写入数据库250之前对数据格式进行转换。

  接着,后端服务器270从虚拟照相机操作UI 330接收视点的指定,根据所接收到的视点从数据库250读取图像和声音数据,并且通过进行绘制处理来生成虚拟视点图像。

  图像计算服务器200的结构不限于此。例如,可以使前端服务器230、数据库250和后端服务器270中的至少两个一体化。此外,前端服务器230、数据库250和后端服务器270中的至少一种可以以复数形式包括在图像计算服务器200中。除上述装置之外的装置可以包括在图像计算服务器200的任意位置中。此外,最终用户终端190或虚拟照相机操作UI 330可以具有图像计算服务器200的至少一些功能。

  将经过了绘制处理的图像从后端服务器270发送至最终用户终端190,使得操作最终用户终端190的用户可以进行与所指定的视点相对应的图像观看和声音收听。具体地,后端服务器270基于多个照相机112所拍摄到的图像(多个视点图像)和视点信息来生成虚拟视点内容。更具体地,后端服务器270基于多个照相机适配器120从多个照相机112所拍摄到的图像中提取的特定区域的图像数据以及通过用户操作指定的视点来生成虚拟视点内容。后端服务器270将所生成的虚拟视点内容供给至最终用户终端190。以下将详细说明照相机适配器120所进行的特定区域的提取。注意,在本实施例中虚拟视点内容是由图像计算服务器200生成的,并且特别地,将主要说明利用后端服务器270生成虚拟视点内容的情况。然而,虚拟视点内容可以由图像计算服务器200中所包括的除后端服务器270以外的装置生成,或者可以由控制器300或最终用户终端190生成。

  本实施例的虚拟视点内容包括从虚拟视点对被摄体摄像的情况下获得的虚拟视点图像。换句话说,虚拟视点图像表示来自所指定的视点的视图。虚拟视点可以由用户指定,或者可以基于图像分析的结果等自动指定。具体地,虚拟视点图像的示例包括与用户任意指定的视点相对应的任意视点图像(自由视点图像)。虚拟视点图像的示例还包括与用户从多个候选中指定的视点相对应的图像和与装置自动指定的视点相对应的图像。尽管在本实施例中主要说明虚拟视点内容包括声音数据(音频数据)的情况作为示例,但声音数据可以不包括在虚拟视点内容中。此外,后端服务器270可以根据诸如H.264或HEVC等的编码方法对虚拟视点图像进行压缩编码,之后使用MPEG-DASH协议将虚拟视点图像发送至最终用户终端190。此外,可以将虚拟视点图像以未经压缩的状态发送至最终用户终端190。特别地,在使用智能电话或平板电脑作为最终用户终端190的情况下采用前者的使用压缩编码的方法,而在使用能够显示未压缩图像的显示器的情况下采用后者的无需压缩的方法。具体地,图像格式根据最终用户终端190的类型可改变。此外,图像的发送协议不限于MPEG-DASH,还可以使用HTTP实时流传输(HLS)或其它发送方法。

  如上所述,图像处理系统100具有视频收集域、数据存储域和视频生成域这三个功能域。视频收集域包括传感器系统110a~110z,数据存储域包括数据库250、前端服务器230和后端服务器270,并且视频生成域包括虚拟照相机操作UI 330和最终用户终端190。结构不限于此,并且例如,虚拟照相机操作UI 330可以直接从传感器系统110a~110z获得图像。然而,在本实施例中,代替用于直接从传感器系统110a~110z获得图像的方法,采用用于在中间部分配置数据存储功能的方法。具体地,前端服务器230将传感器系统110a~110z所生成的图像数据和声音数据以及该数据的元数据转换成数据库250的共同模式和共同数据类型。由此,即使传感器系统110a~110z的照相机112的类型改变为其它类型,该变化的差异也可被前端服务器230吸收并登记在数据库250中。因此,可以降低在照相机112的类型改变为其它类型的情况下虚拟照相机操作UI 330不适当地操作的可能性。

  此外,虚拟照相机操作UI 330不直接访问数据库250,而是经由后端服务器270访问数据库250。后端服务器270进行与图像生成处理相关联的共同处理,并且虚拟照相机操作UI 330处理与操作UI相关联的应用程序的差异部分。因此,可以关注虚拟照相机操作UI 330的开发、UI操作装置的开发、以及用于操作要生成的虚拟视点图像的UI的功能要求的开发。此外,后端服务器270可以响应于从虚拟照相机操作UI 330供给的请求来添加或删除与图像生成处理相关联的共同处理。这样,灵活地应对从虚拟照相机操作UI 330供给的请求。

  如上所述,在图像处理系统100中,后端服务器270基于通过用于从多个方向拍摄被摄体的图像的多个照相机112进行的摄像所获得的图像数据来生成虚拟视点图像。本实施例的图像处理系统100的结构不限于上述的物理结构,并且图像处理系统100可以是以逻辑方式配置的。此外,尽管在本实施例中说明了基于照相机112所拍摄到的图像来生成虚拟视点图像的技术,但例如,在代替拍摄图像而是基于通过计算机图形所生成的图像来生成虚拟视点图像的情况下,也可以采用本实施例。

  接着,将说明图1的系统中的节点(照相机适配器120、前端服务器230、数据库250、后端服务器270、虚拟照相机操作UI 330和最终用户终端190)的功能框图。

  参考图2来说明本实施例中的照相机适配器120的功能块。注意,以下将参考图29来详细说明照相机适配器120的功能块之间的数据流。

  照相机适配器120包括网络适配器06110、传输单元06120、图像处理器06130和外部装置控制器06140。网络适配器06110包括数据发送/接收单元06111和时刻控制器06112。

  数据发送/接收单元06111通过菊花链170以及网络291和310a与其它的照相机适配器120、前端服务器230、时间服务器290和控制站310进行数据通信。例如,数据发送/接收单元06111将由前景/背景分离单元06131从照相机112所拍摄到的图像中分离出的前景图像和背景图像输出至例如其它的照相机适配器120其中之一。用作输出目的地的照相机适配器120是图像处理系统100内所包括的照相机适配器120中的、接下来按照根据数据路由处理器06122进行的处理所确定的预定顺序所要处理的照相机适配器120。各个照相机适配器120输出前景图像和背景图像,并且基于从多个视点拍摄到的前景图像和背景图像来生成虚拟视点图像。注意,照相机适配器120可以不输出背景图像,而是输出与拍摄图像分离的前景图像。

  时刻控制器06112例如符合基于IEEE 1588标准的OrdinaryClock(普通时钟),具有用于存储发送至时间服务器290和从时间服务器290接收到的数据的时间戳的功能,并且执行与时间服务器290的时刻同步。代替IEEE 1588标准,时刻控制器06112可以根据诸如EtherAVB标准或独特协议等的其它标准来实现与时间服务器290的时刻同步。尽管在本实施例中使用网络接口卡(NIC)作为网络适配器06110,但代替NIC,可以使用其它类似的接口。此外,更新IEEE 1588作为诸如IEEE 1588-2002或IEEE 1588-2008等的标准,并且IEEE 1588-2008也被称为“精确时间协议版本2(PTPv2)”。

  传输单元06120具有用于控制经由网络适配器06110向交换集线等的数据传输的功能,并且具有以下的功能单元。

  数据压缩/解压缩单元06121具有用于使用预定压缩方法、预定压缩率和预定帧频对经由数据发送/接收单元06111发送和接收的数据进行压缩的功能、以及用于对压缩数据进行解压缩的功能。

  数据路由处理器06122使用以下要说明的数据路由信息存储单元06125中所存储的数据来确定数据发送/接收单元06111所接收到的数据和图像处理器06130处理后的数据的路由目的地。数据路由处理器06122还具有将数据发送至所确定的路由目的地的功能。路由目的地优选地对应于照相机适配器120中的与照相机112中的如下照相机相对应的照相机适配器,其中由于照相机112之间的图像帧相关性高,因此该照相机在图像处理方面关注同一注视点。根据多个照相机适配器120的数据路由处理器06122所进行的确定来确定在图像处理系统100内以中继方式输出前景图像和背景图像的照相机适配器120的顺序。

  时刻同步控制器06123符合IEEE 1588标准的精确时间协议(PTP),并且具有用于进行同与时间服务器290的时刻同步相关联的处理的功能。代替PTP,时刻同步控制器06123可以使用其它类似协议来进行时刻同步。

  图像/声音传输处理器06124具有用于生成用于将图像数据或声音数据经由数据发送/接收单元06111传送至其它的照相机适配器120或前端服务器230其中之一的消息的功能。该消息包括图像数据或声音数据以及图像数据或声音数据的元数据。本实施例的元数据包括拍摄图像或采样声音时所获得的时间码或者序列号、数据类型、以及照相机112或麦克风111的标识符。注意,可以利用数据压缩/解压缩单元06121对要发送的图像数据或要发送的声音数据进行压缩。此外,图像/声音传输处理器06124从其它的照相机适配器120其中之一经由数据发送/接收单元06111接收消息。之后,图像/声音传输处理器06124根据消息中所包括的数据类型来对按传输协议所规定的包大小碎片化的数据信息进行恢复,以便获得图像数据或声音数据。注意,在恢复数据之后数据处于压缩状态的情况下,数据压缩/解压缩单元06121进行解压缩处理。

  数据路由信息存储单元06125具有存储用于确定数据发送/接收单元06111所发送或接收的数据的发送目的地的地址信息的功能。以下将说明路由方法。

  图像处理器06130具有在照相机控制器06141的控制下对照相机112所拍摄到的图像数据和从其它的照相机适配器120其中之一供给的图像数据进行处理的功能,并且具有以下所述的功能单元。

  前景/背景分离单元06131具有在照相机112所拍摄到的图像数据中将前景图像和背景图像彼此分离的功能。具体地,多个照相机适配器120各自作为图像处理装置工作,该图像处理装置从多个照相机112中的相应照相机拍摄到的图像中提取预定区域。例如,预定区域是作为对拍摄图像进行的对象检测的结果所获得的前景图像。前景/背景分离单元06131通过提取来在拍摄图像中将前景图像和背景图像彼此分离。注意,例如,对象对应于人物。对象可以是特定人物(选手、教练和/或裁判),或者可以是具有预定图像图案的球或球门。可选地,可以将移动体检测为对象。在将包括诸如人物等的重要对象的前景图像和不包括这样的重要对象的背景区域彼此分离之后处理这两者的情况下,可以提高在图像处理系统100中生成的虚拟视点图像中的与对象相对应的部分的图像的质量。此外,利用各个照相机适配器120进行前景图像和背景图像之间的分离,使得可以分散包括多个照相机112的图像处理系统100中的负荷。注意,代替前景图像,例如预定区域可以是背景图像。

  3D模型信息生成单元06132具有以下功能:使用前景/背景分离单元06131所分离出的前景图像和从其它的照相机适配器120其中之一供给的前景图像,根据例如立体照相机原理来生成与3D模型相关联的图像信息。

  校准控制器06133具有以下功能:经由照相机控制器06141从照相机112获得校准所需的图像数据,并且将该图像数据发送至进行与校准相关联的计算处理的前端服务器230。本实施例的校准是用于使参数与各个照相机112相关联以实现匹配的处理。作为校准,例如进行用于进行控制使得所安装的照相机112的世界坐标系彼此一致的处理、以及用于抑制照相机112之间的颜色变化的颜色校正处理。注意,校准的具体处理内容不限于此。此外,尽管在本实施例中利用前端服务器230进行与校准相关联的计算处理,但进行计算处理的节点不限于前端服务器230。例如,可以利用诸如控制站310或照相机适配器120(包括其它的照相机适配器120)等的其它节点来进行计算处理。校准控制器06133具有根据预设参数在摄像期间对经由照相机控制器06141从照相机112供给的图像数据进行校准(动态校准)的功能。

  外部装置控制器06140具有用于控制连接至照相机适配器120的装置的功能,并且具有以下所述的功能块。

  照相机控制器06141连接至照相机112,并且具有用于进行照相机112的控制、拍摄图像的获得、同步信号的供给和时刻的设置的功能。照相机112的控制包括摄像参数(像素数、颜色深度、帧频和白平衡等的设置)的设置和参考、照相机112的状态(摄像中、停止中、同步和错误等的状态)的获得、摄像的开始和停止、以及焦点调整等。注意,尽管在本实施例中经由照相机112进行焦点调整,但在可拆卸镜头安装至照相机112的情况下,照相机适配器120可以连接至镜头以直接调整镜头。此外,照相机适配器120可以经由照相机112进行诸如变焦等的镜头调整。在使用时刻同步控制器06123与时间服务器290同步的时刻将摄像定时(控制时钟)供给至照相机112时,进行同步信号的供给。例如,通过供给时刻同步控制器06123与时间服务器290同步的时刻作为符合SMPTE12M的格式的时间码,来进行时刻设置。由此,指派了指派至从照相机112供给的图像数据的时间码。注意,时间码的格式不限于SMPTE12M,并且可以采用其它格式。此外,照相机控制器06141可以不将时间码指派至照相机112,而是可以将时间码指派至从照相机112供给的图像数据。

  麦克风控制器06142连接至麦克风111,并且具有用于进行麦克风111的控制、声音收集的开始和停止以及所收集的声音数据的获得等的功能。麦克风111的控制包括增益控制和状态的获得等。与照相机控制器06141相同,麦克风控制器06142将声音采样的定时和时间码供给至麦克风111。作为表示声音采样的定时的时钟信息,将从时间服务器290供给的时间信息转换成例如48KHz的字时钟并且供给至麦克风111。

  照相机平台控制器06143连接至照相机平台113并且具有控制照相机平台113的功能。照相机平台113的控制的示例包括平摇/俯仰控制和状态获得。

  传感器控制器06144连接至外部传感器114,并且具有用于获得外部传感器114所感测到的传感器信息的功能。如果例如使用陀螺仪传感器作为外部传感器114,则可以获得表示振荡的信息。使用传感器控制器06144所获得的与振荡有关的信息,图像处理器06130可以在前景/背景分离单元06131所进行的处理之前生成受照相机112的振荡影响较小的图像。在考虑到振荡信息按比原始8K大小小的大小提取8K照相机所获得的图像数据、并且进行与同目标照相机112相邻地所安装的照相机112的图像的定位的情况下,使用振荡信息。因此,即使建筑物的结构体振荡以不同的频率传递至照相机112,也可以通过照相机适配器120的该功能进行定位。结果,可以生成受图像处理影响较小的(电子防止的)图像数据,并且可以获得减轻针对图像计算服务器200中的多个照相机112所进行的定位的处理负荷的效果。注意,传感器系统110的传感器不限于外部传感器114,并且即使传感器并入照相机适配器120中,也可以获得相同的效果。

  图3是示出照相机适配器120内所包括的图像处理器06130的功能框图。校准控制器06133对所输入的图像进行用于抑制照相机112之间的颜色变化的颜色校正处理,并且对所输入的图像进行用于通过减少照相机112的振动所引起的图像模糊来使图像稳定的模糊校正处理(电子振动控制处理)。

  现在将说明前景/背景分离单元06131的功能块。前景分离单元05001进行用于通过将对照相机112所拍摄到的图像进行的定位之后所获得的图像数据与背景图像05002进行比较来分离前景图像的处理。

  背景更新单元05003使用背景图像05002和照相机112所拍摄到的经过了定位的图像来生成新的背景图像,并且利用该新的背景图像来更新背景图像05002。

  背景提取单元05004进行用于提取背景图像05002的一部分的控制。这里,将说明3D模型信息生成单元06132的功能。

  3D模型处理器05005使用前景分离单元05001所分离出的前景图像和经由传输单元06120供给的其它照相机112其中之一所拍摄到的前景图像,根据例如立体照相机原理来连续地生成与3D模型相关联的图像信息。

  不同照相机前景接收单元05006接收经由其它的照相机适配器120其中之一进行的前景/背景分离所获得的前景图像。

  照相机参数接收单元05007接收各照相机特有的内部参数(包括焦距、图像中心和镜头失真的参数)以及表示各照相机的位置/取向的外部参数。这些参数是通过以下所述的校准处理获得的信息,并且由控制站310发送并设置到照相机适配器120。随后,3D模型处理器05005使用照相机参数接收单元05007和不同照相机前景接收单元05006来生成3D模型信息。

  图4是示出前端服务器230的功能框图。控制器02110包括CPU和存储介质(诸如动态随机存取存储器(DRAM)、存储程序数据和各种数据的硬盘驱动器(HDD)、或者反向AND(NAND)存储器等)、以及诸如以太网(Ethernet)等的硬件。然后,控制器02110控制前端服务器230中所包括的各种块和前端服务器230的整个系统。此外,控制器02110在包括校准操作、摄像前准备操作和摄像期间的操作等的操作模式之间进行切换。此外,控制器02110通过以太网从控制站310等接收控制指示,并且进行模式之间的切换以及数据的输入和输出。此外,控制器02110经由网络从控制站310获得体育馆CAD数据(体育馆形状数据),并且将该体育馆CAD数据发送至CAD数据存储单元02135和摄像数据文件生成单元02180。注意,本实施例中的体育馆CAD数据(体育馆形状数据)是表示体育馆的形状的3D数据,并且CAD方法不受限制,只要体育馆CAD数据表示网格模型或其它3D形状即可。

  数据输入控制器02120通过诸如以太网等的通信路径和交换集线经由网络连接至照相机适配器120。数据输入控制器02120通过网络从照相机适配器120获得前景图像、背景图像、被摄体的3D模型、声音数据和照相机校准拍摄图像数据。这里,前景图像对应于基于虚拟视点图像的生成所用的拍摄图像的前景区域的图像数据,并且背景图像对应于基于该拍摄图像的背景区域的图像数据。照相机适配器120根据对照相机112所拍摄到的图像进行的检测预定对象的处理的结果来指定前景区域和背景区域,并且生成前景图像和背景图像。例如,预定对象对应于人物。预定对象可以是特定人物(选手、教练和/或裁判)。预定对象的示例还可以包括诸如球或球门等的具有预定图像图案的对象。可选地,可以将移动体检测为预定对象。

  数据输入控制器02120将所获得的前景图像和所获得的背景图像发送至数据同步单元02130,并且将照相机校准拍摄图像数据发送至校准单元02140。此外,数据输入控制器02120具有对所接收到的数据进行压缩和解压缩以及数据路由处理等的功能。此外,尽管控制器02110和数据输入控制器02120各自具有经由诸如以太网等的网络的通信功能,但控制器02110和数据输入控制器02120可以具有共同的通信功能。在这种情况下,从控制站310供给的控制命令的指示和体育馆CAD数据可以由数据输入控制器02120接收到并且进一步发送至控制器02110。

  数据同步单元02130将从照相机适配器120获得的数据临时存储在DRAM中,并且缓冲所获得的数据,直到获得所有的前景图像、背景图像、声音数据和3D模型数据为止。注意,以下将前景图像、背景图像、声音数据和3D模型数据统称为“摄像数据”。将包括路由信息、时间码信息(时间信息)和照相机标识符的元数据指派至摄像数据,并且数据同步单元02130基于该元数据来确认数据的属性。由此,数据同步单元02130判断为获得了同一时间点的数据,从而判断为获得了所有数据。这是因为,无法确保通过网络从各个照相机适配器120传送来的数据的网络包的接收顺序,并且需要缓冲该数据,直到获得文件生成所需的所有数据为止。在获得了所有数据的情况下,数据同步单元02130将前景图像和背景图像发送至图像处理器02150,将3D模型数据发送至3D模型结合单元02160,并且将声音数据发送至摄像数据文件生成单元02180。注意,要获得的数据是以下所述的摄像数据文件生成单元02180进行的文件生成所需的。此外,可以按不同的帧频拍摄背景图像和前景图像。例如,在背景图像的帧频为1fps的情况下,每一秒拍摄一个背景图像,因此可以判断为:在没有获得背景图像的时间段内,在不存在背景图像的状态下获得了所有的数据。此外,在预定时间段之后没有获得数据的情况下,数据同步单元02130将表示没有获得所有数据的信息发送至数据库250。在后级的数据库250存储数据时,将表示缺少数据的信息连同照相机编号和帧编号一起存储。因此,可以根据从虚拟照相机操作UI 330向后端服务器270发出的视点指示来在绘制之前自动发送与是否要由数据库250中所收集的照相机112拍摄到的图像形成期望图像有关的判断的结果。结果,可以减轻虚拟照相机操作UI 330的操作员的目视确认的负荷。

  CAD数据存储单元02135将从控制器02110接收到的表示体育馆的形状的3D数据存储在诸如DRAM、HDD或NAND存储器等的存储介质中。然后,CAD数据存储单元02135在接收到对体育馆形状数据的请求时,将所存储的体育馆形状数据发送至图像结合单元02170。

  校准单元02140进行照相机校准操作,并且将通过校准获得的照相机参数发送至非摄像数据文件生成单元02185。同时,校准单元02140将照相机参数存储在其存储区域中,并且将与照相机参数有关的信息供给至以下所述的3D模型结合单元02160。

  图像处理器02150对前景图像和背景图像进行照相机112的颜色和亮度值的调整、在输入RAW图像数据的情况下的显像处理、以及照相机镜头的失真的校正。将经过了图像处理的前景图像和背景图像分别发送至摄像数据文件生成单元02180和图像结合单元02170。

  3D模型结合单元02160使用校准单元02140所生成的照相机参数将从照相机适配器120同时获得的3D模型数据彼此结合。然后,3D模型结合单元02160使用所谓的VisualHull方法生成整个体育馆的前景图像的3D模型数据。将所生成的3D模型发送至摄像数据文件生成单元02180。

  图像结合单元02170从图像处理器02150获得背景图像,从CAD数据存储单元02135获得体育馆的3D形状数据(体育馆形状数据),并且指定与所获得的体育馆的3D形状数据的坐标相对应的背景图像的位置。在指定了各个背景图像中的与体育馆的3D形状数据的坐标相对应的位置的情况下,背景图像彼此结合,由此获得一个背景图像。注意,背景图像的3D形状数据的生成可以由后端服务器270进行。

  摄像数据文件生成单元02180从数据同步单元02130获得声音数据,从图像处理器02150获得前景图像,从3D模型结合单元02160获取3D模型数据,并且从图像结合单元02170获得以3D形状结合的背景图像。然后,摄像数据文件生成单元02180将所获得的数据输出至DB访问控制器02190。这里,摄像数据文件生成单元02180在输出数据之前,基于数据的时间信息来使数据彼此关联。注意,在输出数据之前,数据的一部分可以彼此关联。例如,摄像数据文件生成单元02180在输出前景图像和背景图像之前,基于前景图像的时间信息和背景图像的时间信息来使前景图像和背景图像彼此关联。此外,例如,摄像数据文件生成单元02180在输出前景图像、背景图像和3D模型数据之前,基于前景图像的时间信息、背景图像的时间信息和3D模型数据的时间信息来使前景图像、背景图像和3D模型数据彼此关联。注意,摄像数据文件生成单元02180可以在输出之前针对数据的各类型以数据为单位生成关联数据的文件,或者可以针对利用时间信息表示的时间点以数据为单位生成多个类型的数据的文件。在将这样关联的摄像数据从用作进行关联的图像处理设备的前端服务器230输出至数据库250的情况下,后端服务器270可以使用具有相同时间信息的前景图像和背景图像来生成虚拟视点图像。

  在数据输入控制器02120所获得的前景图像和背景图像的帧频彼此不同的情况下,摄像数据文件生成单元02180难以在输出之前使同一时间点所获得的前景图像和背景图像彼此关联。因此,摄像数据文件生成单元02180在输出之前,使前景图像和具有与前景图像的时间信息存在基于预定规则的关系的时间信息的背景图像彼此关联。这里,具有与前景图像的时间信息存在基于预定规则的关系的时间信息的背景图像例如是指摄像数据文件生成单元02180所获得的背景图像中的、具有与前景图像的时间信息最相似的时间信息的背景图像。这样,通过基于预定规则使前景图像与背景图像相关联,即使前景图像和背景图像的帧频彼此不同,也可以使用在相似时间点拍摄到的前景图像和背景图像来生成虚拟视点图像。注意,用于关联前景图像和背景图像的方法不限于上述方法。例如,具有与前景图像的时间信息存在基于预定规则的关系的时间信息的背景图像可以是所获得的具有与前景图像的时间点之前的时间点相对应的时间信息的背景图像中的、具有与前景图像的时间信息最接近的时间信息的背景图像。根据该方法,可以在无需等待具有比前景图像的帧频低的帧频的背景图像的获得的情况下,以较少的延迟输出彼此关联的前景图像和背景图像。具有与前景图像的时间信息存在基于预定规则的关系的时间信息的背景图像可以是所获得的具有与前景图像的时间点之后的时间点相对应的时间信息的背景图像中的、具有与前景图像的时间信息最接近的时间信息的背景图像。

  非摄像数据文件生成单元02185从校准单元02140获得照相机参数并从控制器02110获得体育馆的3D形状数据,并且在将照相机参数和3D形状数据转换成采用文件格式的照相机参数和3D形状数据之后,将这些照相机参数和3D形状数据发送至DB访问控制器02190。注意,根据文件格式来各自对要输入至非摄像数据文件生成单元02185的照相机参数和体育馆形状数据进行转换。具体地,在接收到数据其中之一的情况下,非摄像数据文件生成单元02185独立地将该数据发送至DB访问控制器02190。

  DB访问控制器02190连接至数据库250,使得通过InfiniBand进行高速通信。然后,DB访问控制器02190将从摄像数据文件生成单元02180和非摄像数据文件生成单元02185供给的文件发送至数据库250。在本实施例中,摄像数据文件生成单元02180基于时间信息所关联的摄像数据经由DB访问控制器02190被输出至用作经由网络连接至前端服务器230的存储装置的数据库250。注意,关联的摄像数据的输出的目的地不限于此。例如,前端服务器230可以将基于时间信息所关联的摄像数据输出至用作图像生成装置的后端服务器270,该图像生成装置生成虚拟视点图像并且经由网络连接至前端服务器230。此外,前端服务器230可以将摄像数据输出到数据库250和后端服务器270这两者。

  尽管在本实施例中前端服务器230使前景图像和背景图像彼此关联,但本发明不限于此,并且数据库250可以进行关联。例如,数据库250从前端服务器230获得具有时间信息的前景图像和背景图像。然后,数据库250在将前景图像和背景图像输出至数据库250中所包括的存储单元之前,可以基于前景图像的时间信息和背景图像的时间信息使前景图像和背景图像彼此相关联。

  图5是示出前端服务器230中所包括的数据输入控制器02120的功能框图。

  数据输入控制器02120包括服务器网络适配器06210、服务器传输单元06220和服务器图像处理器06230。服务器网络适配器06210包括服务器数据接收单元06211,并且具有接收从照相机适配器120发送来的数据的功能。

  服务器传输单元06220具有处理从服务器数据接收单元06211供给的数据的功能,并且包括以下所述的功能单元。服务器数据解压缩单元06221具有对压缩数据进行解压缩的功能。

  服务器数据路由处理器06222根据以下所述的服务器数据路由信息存储单元06224中所存储的诸如地址等的路由信息来确定数据的传送目的地,并且传送从服务器数据接收单元06211供给的数据。

  服务器图像/声音传输处理器06223经由服务器数据接收单元06211从照相机适配器120接收消息,并且根据该消息中所包括的数据类型将碎片化的数据恢复成图像数据或声音数据。注意,在恢复后的图像数据或恢复后的声音数据已被压缩的情况下,服务器数据解压缩单元06221进行解压缩处理。

  服务器数据路由信息存储单元06224具有存储用于确定服务器数据接收单元06211所接收到的数据的发送目的地的地址信息的功能。以下将说明路由方法。

  服务器图像处理器06230具有进行与从照相机适配器120供给的图像数据或声音数据相关联的处理的功能。该处理的内容包括转换成如下的适当格式的处理,其中采用该适当格式,根据图像数据的数据实体(前景图像、背景图像和3D模型信息)而指派了照相机编号、图像帧的摄像时刻、图像大小、图像格式和图像的坐标的属性信息。

  图6是示出数据库250的功能框图。控制器02410包括CPU和存储介质(诸如动态随机存取存储器(DRAM)、存储程序数据和各种数据的硬盘驱动器(HDD)、或者反向AND(NAND)存储器等)、以及诸如以太网等的硬件。然后,控制器02410控制数据库250的各种功能块和数据库250的整个系统。

  数据输入单元02420通过诸如InfiniBand等的高速通信从前端服务器230接收摄像数据或非摄像数据的文件。所接收到的文件被发送至高速缓存器02440。此外,数据输入单元02420读取所接收到的摄像数据的元数据,并且使用该元数据中所记录的时间记录信息、路由信息和与照相机标识符有关的信息来生成数据库表,以便访问所获得的数据。

  数据输出单元02430确定高速缓存器02440、主存储器02450和辅助存储器02460中的、存储后端服务器270所请求的数据的存储器。然后,数据输出单元02430从存储目的地读取数据,并且通过诸如InfiniBand等的高速通信将所读取的数据发送至后端服务器270。

  高速缓存器02440包括能够实现高速输入/输出吞吐量的诸如DRAM等的存储装置,并且将从数据输入单元02420供给的摄像数据和非摄像数据存储在存储装置中。保持所存储的数据直到达到预定量为止,并且每当数据量超过预定量时,从较旧数据起顺次向主存储器02450写入数据并且将新数据写入写有主存储器02450中已写入的数据的部分中。高速缓存器02440中所存储的一定量的数据对应于至少一帧的摄像数据。因此,在后端服务器270进行图像绘制处理时,可以将数据库250中的吞吐量抑制到最低限度,并且可以以较小的延迟连续地绘制新的图像帧。这里,为了实现上述目的,需要将背景图像包括在高速缓存的数据中。因此,对不包括背景图像的帧的摄像数据进行高速缓存,而无需更新高速缓存器中的背景图像。根据预先在系统中设置的高速缓存帧大小或者控制站310所发出的指示来确定能够高速缓存数据的DRAM的容量。注意,由于非摄像数据的输入/输出的频率低并且在比赛等之前不需要高速吞吐量,因此将非摄像数据立即复制在主存储器02450中。利用数据输出单元02430读取高速缓存的数据。

  主存储器02450通过并行连接诸如SSD等的存储介质构成,并且能够同时进行从数据输入单元02420的大量数据的写入和利用数据输出单元02430的数据的读取,由此实现了高速处理。将高速缓存器02440中所存储的数据从高速缓存器02440中所存储的较旧数据起顺次写入主存储器02450。

  辅助存储器02460包括HDD或磁带介质等。在辅助存储器02460中大容量比高速处理更重要,并且要求辅助存储器02460是适合比主存储器02450便宜的长期存储器的介质。在摄像完成之后,将主存储器02450中所存储的数据作为数据的备份写入辅助存储器02460。

  图7是示出本实施例的后端服务器270的结构的图。后端服务器270包括数据接收单元03001、背景纹理添加单元03002、前景纹理确定单元03003、纹理边界颜色调整单元03004、虚拟视点前景图像生成单元03005和绘制单元03006。后端服务器270还包括虚拟视点声音生成单元03007、合成单元03008、图像输出单元03009、前景对象确定单元03010、请求列表生成单元03011、请求数据输出单元03012和绘制模式管理单元03014。

  数据接收单元03001接收从数据库250和控制器300发送来的数据。此外,数据接收单元03001从数据库250接收表示体育馆的形状的3D数据(体育馆形状数据)、前景图像、背景图像、前景图像的3D模型(以下称为“前景3D模型”)和声音。

  此外,数据接收单元03001接收从用作指定装置的控制器300所输出的虚拟照相机参数,该指定装置指定虚拟视点图像的生成的视点(虚拟视点)。虚拟照相机参数是表示虚拟视点的位置以及取向的数据,并且例如使用外部参数的矩阵和内部参数的矩阵。

  注意,数据接收单元03001从控制器300获得的数据不限于虚拟照相机参数。从控制器300输出的信息例如可以包括表示视点的指定的状态的信息,诸如用于指定视点的方法、用于指定控制器300所操作的应用程序的信息、用于识别控制器300的信息、以及用于使用控制器300识别用户的信息等。此外,数据接收单元03001可以从最终用户终端190获得与从控制器300输出的上述信息相同的信息。此外,数据接收单元03001可以从诸如数据库250或控制器300等的外部装置获得与多个照相机112有关的信息。与多个照相机112有关的信息的示例包括与摄像的状态有关的信息,诸如与照相机112的数量有关的信息和与多个照相机112的操作状态有关的信息等。例如,照相机112的操作状态的示例包括照相机112的正常状态、故障状态、等待状态、启动准备状态和重启状态至少之一。这里,正常状态表示摄像可用的状态,故障状态表示摄像受限的状态,等待状态表示摄像停止的状态,启动准备状态表示进行用于开始摄像的处理的状态,并且重启状态表示进行预定初始设置的状态。

  背景纹理添加单元03002将背景图像作为纹理添加到利用从背景网格模型管理单元03013获得的背景网格模型(体育馆形状数据)所表示的3D空间形状。由此,背景纹理添加单元03002生成具有纹理的背景网格模型。网格模型表示通过诸如CAD数据等的面的集合表现3D空间形状的数据。纹理意味着为了表现对象的表面的纹理而要添加的图像。

  前景纹理确定单元03003使用前景图像和前景3D模型组来确定前景3D模型的纹理信息。

  纹理边界颜色调整单元03004根据前景3D模型的纹理信息和3D模型组来调整纹理的边界的颜色,并且针对各前景对象生成带颜色的前景3D模型组。

  虚拟视点前景图像生成单元03005基于虚拟照相机参数进行透视变换,使得从虚拟视点观看前景图像组。绘制单元03006基于由绘制模式管理单元03014确定的虚拟视点图像的生成所使用的生成方法来绘制背景图像和前景图像,以生成全景虚拟视点图像。在本实施例中,使用包括基于模型的绘制(MBR)和基于图像的绘制(IBR)的两个绘制模式作为用于生成虚拟视点图像的方法。

  在采用MBR的情况下,使用基于通过从多个方向对被摄体摄像所获得的多个拍摄图像而生成的3D模型来生成虚拟视点图像。具体地,MBR是使用通过诸如多视图立体视觉(MVS)等的3D形状恢复方法所获得的目标场景的3D形状(模型)来生成来自虚拟视点的场景的视图作为图像的技术。

  IBR是通过使通过从多个视点拍摄目标场景所获得的输入图像组变形并合成来生成再现来自虚拟视点的视图的虚拟视点图像的技术。在本实施例中,基于至少一个拍摄图像来生成虚拟视点图像。拍摄图像的数量小于使用MBR生成3D模型所用的拍摄图像的数量。

  在绘制模式是MBR的情况下,通过将背景网格模型和纹理边界颜色调整单元03004所生成的前景3D模型组彼此合成来生成全景模型。根据该全景模型生成虚拟视点图像。

  在绘制模式是IBR的情况下,基于背景纹理模型来生成从虚拟视点观看的背景图像,并且将虚拟视点前景图像生成单元03005所生成的前景图像与背景图像合成,使得生成虚拟视点图像。

  注意,绘制单元03006可以采用除MBR和IBR以外的绘制方法。此外,绘制模式管理单元03014所确定的用于生成虚拟视点图像的方法不限于绘制方法,并且绘制模式管理单元03014可以确定除用于生成虚拟视点图像的绘制以外的处理的方法。绘制模式管理单元03014确定作为虚拟视点图像的生成所使用的生成方法的绘制模式,并且存储该确定结果。

  在本实施例中,绘制模式管理单元03014从多个绘制模式中确定要使用的绘制模式。基于数据接收单元03001所获得的信息来进行该确定。例如,在根据所获得的信息所指定的照相机的数量等于或小于阈值的情况下,绘制模式管理单元03014确定为IBR是虚拟视点图像的生成所要使用的生成方法。另一方面,在照相机的数量大于阈值的情况下,绘制模式管理单元03014确定为生成方法是MBR。这样,在照相机的数量大的情况下,使用MBR生成虚拟视点图像,由此实现大的视点指定可用范围。另一方面,在照相机的数量小的情况下,可以使用IBR,由此避免了由使用MBR所生成的3D模型的精度下降引起的虚拟视点图像的图像质量下降。此外,可以根据从进行摄像起直到输出图像为止的时间段内的容许处理延迟时间的长度来确定生成方法。在即使延迟时间长也优先自由度的情况下,使用MBR,而在需要缩短延迟时间的情况下,使用IBR。此外,例如,在数据接收单元03001获得表示控制器300或最终用户终端190能够指定视点高度的信息的情况下,将MBR确定为虚拟视点图像的生成所使用的生成方法。由此,可以避免由于生成方法是IBR因而不接受用户所发出的用于改变视点高度的请求的情况。这样,由于根据情况来从多个生成方法中确定用于生成虚拟视点图像的方法,因此可以通过适当确定的生成方法来生成虚拟视点图像。此外,由于可以根据请求来对多个绘制模式进行彼此切换,因此可以灵活地配置系统,并且本实施例可以应用于除体育馆以外的被摄体。

  注意,绘制模式管理单元03014中所存储的绘制模式可以是系统中预设的方法。可选地,操作虚拟照相机操作UI 330或最终用户终端190的用户可以任意设置绘制模式。

  虚拟视点声音生成单元03007基于虚拟照相机参数来生成在虚拟视点中听到的声音(声音组)。合成单元03008通过将绘制单元03006所生成的图像组和虚拟视点声音生成单元03007所生成的声音彼此合成来生成虚拟视点内容。

  图像输出单元03009将虚拟视点内容通过以太网输出至控制器300和最终用户终端190。注意,向外部的传输所用的方法不限于以太网,并且可以使用诸如SDI、显示端口和HDMI(注册商标)等的各种信号传输方法。注意,后端服务器270可以输出绘制单元03006所生成的并且不包括声音的虚拟视点图像。

  前景对象确定单元03010使用虚拟照相机参数和表示前景3D模型中所包括的前景对象的空间中的位置的前景对象的位置信息来确定要显示的前景对象组,并且输出前景对象列表。具体地,前景对象确定单元03010进行用于将虚拟视点的图像信息映射到物理照相机112的处理。虚拟视点根据绘制模式管理单元03014所确定的绘制模式而具有不同的映射结果。因此,用于确定多个前景对象的控制器包括在前景对象确定单元03010中,并且与绘制模式组合进行控制。

  请求列表生成单元03011生成请求列表,该请求列表用于请求数据库250发送与指定时间点的前景对象列表相对应的前景图像组和前景3D模型组、背景图像以及声音数据。关于前景对象,向数据库250请求考虑到虚拟视点所选择的数据。然而,关于背景图像和声音数据,请求与关注帧相关联的所有数据。在从启动后端服务器270起直到获得背景网格模型为止的时间段内生成背景网格模型请求列表。

  请求数据输出单元03012基于所输入的请求列表向数据库250输出数据请求命令。背景网格模型管理单元03013存储从数据库250供给的背景网格模型。

  注意,在本实施例中主要说明后端服务器270进行用于生成虚拟视点图像的方法的确定和虚拟视点图像的生成这两者的情况。具体地,后端服务器270输出虚拟视点图像作为与生成方法的确定结果相对应的数据。然而,本发明不限于此,并且前端服务器230可以基于与多个照相机112有关的信息和从指定与虚拟视点图像的生成相关联的视点的装置所输出的信息来确定虚拟视点图像的生成所要使用的生成方法。然后,前端服务器230可以将基于照相机112所进行的摄像的图像数据和表示所确定的生成方法的信息输出至诸如数据库250等的存储装置和诸如后端服务器270等的图像生成装置至少之一。在这种情况下,例如,后端服务器270基于由前端服务器230作为与生成方法的确定结果相对应的数据而输出的表示生成方法的信息,来生成虚拟视点图像。在前端服务器230确定生成方法的情况下,可以减少由数据库250或后端服务器270对采用除所确定的方法以外的方法的图像生成所用的数据进行的处理而引起的处理负荷。然而,在如本实施例所述、后端服务器270确定生成方法的情况下,数据库250可以存储符合多个生成方法的数据,因此可以生成与多个生成方法相对应的多个虚拟视点图像。

  图8是示出虚拟照相机操作UI 330的功能结构的框图。将参考图37A来说明虚拟照相机08001。虚拟照相机08001能够以与所安装的照相机112的视点不同的视点进行摄像。具体地,图像处理系统100所生成的虚拟视点图像对应于虚拟照相机08001所拍摄到的图像。在图37A中,安装在圆周上的多个传感器系统110具有各自的照相机112。例如,可以通过生成虚拟视点图像来生成看起来仿佛由安装在足球门附近的虚拟照相机08001拍摄图像的图像。通过对所安装的多个照相机112所拍摄的图像进行图像处理来生成作为虚拟照相机08001所拍摄到的图像的虚拟视点图像。在操作员(用户)操作虚拟照相机08001的位置的情况下,可以获得以任意视点拍摄到的图像。

  虚拟照相机操作UI 330包括虚拟照相机管理单元08130和操作UI单元08120。虚拟照相机管理单元08130和操作UI单元08120可以在同一装置中实现,或者可以分别在用作服务器的装置和用作客户端的装置中实现。在例如广播站中所使用的虚拟照相机操作UI 330中,可以在转播车内的工作站中实现虚拟照相机管理单元08130和操作UI单元08120。此外,例如,可以通过在web服务器中实现虚拟照相机管理单元08130并且在最终用户终端190中实现操作UI单元08120来实现类似的功能。

  虚拟照相机操作单元08101在接收到对虚拟照相机08001进行的操作(即,用户为了指定虚拟视点图像的生成所用的视点而发出的指示)时进行处理。例如,操作员的操作的内容包括位置的改变(移动)、取向的改变(转动)和变焦倍率的改变。操作员使用包括操纵杆、轻推转盘、触摸面板、键盘和鼠标的输入装置来操作虚拟照相机08001。预先确定输入装置的输入和虚拟照相机08001的操作之间的对应关系。例如,键盘的“w”键对应于使虚拟照相机08001向前移动1m的操作。此外,操作员可以在指定轨迹之后操作虚拟照相机08001。例如,操作员通过触摸触摸板使得在触摸板上绘制圆形来指定在以球门柱为中心的圆周上移动的虚拟照相机08001的轨迹。虚拟照相机08001沿着所指定的轨迹绕球门柱移动。在这种情况下,可以自动改变虚拟照相机08001的取向,使得虚拟照相机08001始终面向球门柱。可以将虚拟照相机操作单元08101用于实时图像和重放图像的生成。在要生成重放图像时,进行除指定照相机位置和取向外还指定时间的操作。在重放图像中,例如,可以在时间停止的情况下移动虚拟照相机08001。

  虚拟照相机参数获得单元08102获得表示虚拟照相机08001的位置和取向的虚拟照相机参数。可以通过计算或者参考查找表等来求出虚拟照相机参数。作为虚拟照相机参数,例如使用外部参数矩阵和内部参数的矩阵。这里,虚拟照相机08001的位置和取向包括在外部参数中,并且变焦值包括在内部参数中。

  虚拟照相机限制管理单元08103获得并管理用于指定限制区域的限制信息,在该限制区域中,基于虚拟照相机操作单元08101所接收的指示的视点的指定受到限制。限制信息表示与虚拟照相机08001的位置、取向和变焦值等相关联的限制。不同于照相机112,虚拟照相机08001可以在任意移动视点的情况下进行摄像。然而,没有必要是虚拟照相机08001可以不断地从各种视点生成图像的情况。例如,如果虚拟照相机08001面向存在未被任何照相机112拍摄的对象的方向,则可能无法拍摄该对象的图像。此外,如果虚拟照相机08001的变焦倍率增大,则由于分辨率的限制而导致图像质量劣化。因此,可以将维持特定标准的图像质量的范围中的变焦倍率设置为虚拟照相机限制。可以根据照相机112的配置预先获得虚拟照相机限制。此外,传输单元06120可以根据网络的负荷来减少传输数据量。数据量的减少动态地改变了与拍摄的图像相关联的参数,并且改变了可以生成图像的范围和维持图像质量的范围。虚拟照相机限制管理单元08103可以接收表示用于减少从传输单元06120输出的数据量的方法的信息,并且根据该信息来动态地更新虚拟照相机限制。由此,传输单元06120可以实现数据量的减少,同时将虚拟视点图像的图像质量保持于特定标准。

  此外,虚拟照相机08001的限制不限于上述限制。在本实施例中,视点的指定受到限制的限制区域(不满足虚拟照相机限制的区域)至少根据图像处理系统100中包括的装置的操作状态或者与虚拟视点图像的生成所用的图像数据相关联的参数而改变。例如,限制区域基于在图像处理系统100中传输的图像数据的数据量的限制,根据用于将该数据量控制在预定范围内的参数而改变。该参数包括图像数据的帧频、分辨率、量化步长和摄像范围至少之一。在降低图像数据的分辨率以减少传输数据量的情况下,可以维持特定图像质量的变焦倍率的范围发生改变。在这种情况下,在虚拟照相机限制管理单元08103获得用于表示因参数而改变的限制区域的信息的情况下,虚拟照相机操作UI 330可以进行控制,使得用户在与该参数的变化相对应的范围内指定视点。注意,参数的内容不限于上述内容。此外,尽管在本实施例中基于照相机112所拍摄到的多个图像之间的差异来生成数据量受到控制的图像数据,但本发明不限于此。图像数据可以是拍摄图像本身,或者可以是前景图像或背景图像。

  此外,例如,限制区域根据图像处理系统100中所包括的装置的操作状态而改变。这里,图像处理系统100中所包括的装置包括照相机112和照相机适配器120至少之一,该照相机适配器120通过对照相机112所拍摄到的图像进行图像处理来生成图像数据。例如,装置的操作状态包括装置的正常状态、故障状态、启动准备状态和重启状态至少之一。例如,在照相机112其中之一处于故障状态或重启状态的情况下,可以不在照相机112附近的位置指定视点。在这种情况下,在虚拟照相机限制管理单元08103获得用于表示根据装置的操作状态而改变的限制区域的信息时,虚拟照相机操作UI 330可以进行控制,使得用户在与装置的操作状态的变化相对应的范围内指定视点。注意,与限制区域的变化相关联的装置和操作状态不限于上述这些。

  冲突判断单元08104判断虚拟照相机参数获得单元08102所获得的虚拟照相机参数是否满足虚拟照相机限制。在该判断为否定的情况下,取消操作员所进行的操作输入,并且对虚拟照相机08001进行控制以不从满足限制的位置移动或者虚拟照相机08001返回到满足限制的位置。

  反馈输出单元08105将冲突判断单元08104所进行的判断的结果反馈回操作员。例如,在由于操作员所进行的操作而导致不满足虚拟照相机限制的情况下,冲突判断单元08104向操作员发送通知。假定尽管操作员进行向上移动虚拟照相机08001的操作、但移动的目的地并不满足虚拟照相机限制。在这种情况下,反馈输出单元08105将表示可能无法使虚拟照相机08001进一步向上移动的通知发送至操作员。可以通过声音、消息输出、画面的颜色变化或虚拟照相机操作单元08101的锁定等来进行该通知。此外,可以使虚拟照相机08001的位置自动返回到满足限制的位置,由此可以简化操作员所进行的操作。在通过图像显示进行反馈的情况下,反馈输出单元08105基于虚拟照相机限制管理单元08103所获得的限制信息来将基于与限制区域相对应的显示控制的图像显示在显示单元中。例如,反馈输出单元08105将表示与虚拟照相机操作单元08101所接收的指示相对应的视点处于限制区域内的图像显示在显示单元中。如此,操作员可以识别出所指定的视点包括在限制区域中,因此可以不生成期望的虚拟视点图像。因此,操作员可以在限制区域外的位置(满足限制的位置)中再次指定视点。具体地,在虚拟视点图像的生成中,可以在根据情况而改变的范围内指定视点。注意,由用作用于进行与限制区域相对应的显示控制的控制装置的虚拟照相机操作UI 330在显示单元中所显示的内容不限于此。例如,可以显示表示限制区域的图像,诸如用预定颜色填充作为视点的指定目标的区域(诸如体育馆内部等)中的与限制区域相对应的部分的图像等。尽管在本实施例中显示单元是连接至虚拟照相机操作UI 330的外部显示器,但本发明不限于此,并且显示单元可以并入虚拟照相机操作UI 330中。

  虚拟照相机路径管理单元08106管理与操作员所进行的操作相对应的虚拟照相机08001的路径(虚拟照相机路径08002)。虚拟照相机路径08002是表示虚拟照相机08001在各个帧中的位置和取向的信息行。将参考图37B来进行说明。例如,使用虚拟照相机参数作为表示虚拟照相机08001的位置和取向的信息。例如,帧频为60帧/秒的设置中的1秒的信息对应于60个虚拟照相机参数的行。虚拟照相机路径管理单元08106将冲突判断单元08104所判断出的虚拟照相机参数发送至后端服务器270。后端服务器270使用所接收到的虚拟照相机参数来生成虚拟视点图像和虚拟视点声音。此外,虚拟照相机路径管理单元08106具有在将虚拟照相机参数添加到虚拟照相机路径08002之后存储虚拟照相机参数的功能。在例如使用虚拟照相机操作UI 330生成1小时的虚拟视点图像和虚拟视点声音的情况下,将1小时的虚拟照相机参数存储为虚拟照相机路径08002。通过存储虚拟照相机路径08002,可以通过稍后参考数据库250的辅助存储器02460中所存储的图像信息以及虚拟照相机路径08002来再次生成虚拟视点图像和虚拟视点声音。也就是说,其它用户可以再使用进行高级虚拟照相机操作的操作员所生成的虚拟照相机路径08002以及辅助存储器02460中所存储的图像信息。注意,与多个虚拟照相机路径相对应的可选择的多个场景可以存储在虚拟照相机管理单元08130中。在多个虚拟照相机路径存储在虚拟照相机管理单元08130中的情况下,还可以输入并存储包括与虚拟照相机路径相对应的场景的脚本、比赛的经过时间、场景前后的规定时间以及选手信息的元数据。虚拟照相机操作UI 330将这些虚拟照相机路径作为虚拟照相机参数通知到后端服务器270。

  最终用户终端190可以通过向后端服务器270请求用于选择虚拟照相机路径的选择信息,来从场景的名称、选手或比赛的经过时间中选择虚拟照相机路径。后端服务器270向最终用户终端190通知可选择的虚拟照相机路径的候选。最终用户通过操作最终用户终端190来从候选中选择期望的虚拟照相机路径。最终用户终端190向后端服务器270请求与所选择的虚拟照相机路径相对应的图像的生成,以交互地获得图像传送服务。

  创作单元08107具有在操作员生成重放图像时进行编辑的功能。创作单元08107响应于用户操作,提取虚拟照相机路径管理单元08106中所存储的虚拟照相机路径08002的一部分作为重放图像所用的虚拟照相机路径08002的初始值。如上所述,虚拟照相机路径管理单元08106存储与虚拟照相机路径08002相关联的包括场景名称、选手、经过时间以及场景前后的规定时间的元数据。例如,提取场景名称为“球门场景”并且场景前后的规定时间总共为10秒的虚拟照相机路径08002。此外,创作单元08107在编辑后的照相机路径中设置再现速度。例如,在球飞向球门期间将慢速再现设置到虚拟照相机路径08002。注意,在图像被来自另一视点的另一图像替代的情况下、即在虚拟照相机路径08002改变的情况下,用户使用虚拟照相机操作单元08101来再次操作虚拟照相机08001。

  虚拟照相机图像/声音输出单元08108输出从后端服务器270供给的虚拟照相机图像和声音。操作员在确认所输出的图像和所输出的声音的同时操作虚拟照相机08001。注意,根据反馈输出单元08105所进行的反馈的内容,虚拟照相机图像/声音输出单元08108使显示单元显示基于与限制区域相对应的显示控制的图像。在例如操作员所指定的视点的位置包括在限制区域中的情况下,虚拟照相机图像/声音输出单元08108可以显示具有在所指定的位置附近并且在限制区域外的特定位置作为视点的虚拟视点图像。由此,减轻了操作员在限制区域外再次指定视点的负担。

  接着,将说明观看者(用户)所使用的最终用户终端190。图9是示出最终用户终端190的结构的图。

  操作服务应用程序的最终用户终端190例如是个人计算机(PC)。注意,最终用户终端190不限于PC,并且可以是智能电话、平板终端或高清大型显示器。

  最终用户终端190经由因特网9001连接至用于传送图像的后端服务器270。例如,最终用户终端190(PC)经由局域网(LAN)线缆或无线,该显示器9003用于显示观看者所观看的诸如体育广播图像等的虚拟视点图像,以及该用户输入装置9002用于接受观看者所进行的改变视点等的操作。显示器9003例如是液晶显示器,并且经由显示端口线缆连接至PC。用户输入装置9002是鼠标或键盘,并且经由通用串行总线(USB)线缆连接至PC。

  现在将说明最终用户终端190的内部功能。图10是最终用户终端190的功能框图。

  应用程序管理单元10001将操作系统单元10002所输入的用户输入信息转换成后端服务器270的后端服务器命令,以输出到操作系统单元10002。此外,应用程序管理单元10001将用于将操作系统单元10002所输入的图像绘制在预定显示区域中的图像绘制指示输出到操作系统单元10002。

  操作系统单元10002例如是操作系统(OS),并且将从以下所述的用户输入单元10004供给的用户输入信息输出到应用程序管理单元10001。此外,操作系统单元10002将从以下所述的网络通信单元10003供给的图像和声音输出到应用程序管理单元10001,并且将从应用程序管理单元10001供给的后端服务器命令输出到网络通信单元10003。此外,操作系统单元10002将从应用程序管理单元10001供给的图像绘制命令输出到图像输出单元10005。

  网络通信单元10003将从操作系统单元10002供给的后端服务器命令转换成经由LAN线缆可以传输的LAN通信信号,并且将该LAN通信信号供给至后端服务器270。之后,网络通信单元10003将从后端服务器270供给的图像数据和声音数据供给至操作系统单元10002,使得可以处理该数据。

  用户输入单元10004获得基于键盘输入(物理键盘或软键盘)或者按钮输入的用户输入信息、以及从用户输入装置经由USB线缆输入的用户输入信息,以输出到操作系统单元10002。

  图像输出单元10005将基于从操作系统单元10002供给的图像显示指示的图像转换成图像信号,以输出到外部显示器或一体型显示器。

  声音输出单元10006将基于操作系统单元10002所发出的声音输出指示的声音数据输出到外部扬声器或一体型扬声器。终端属性管理单元10007管理最终用户终端190的分辨率、图像编码编解码器类型和终端类型(诸如智能电话或大型显示器等)。

  服务属性管理单元10008管理与向最终用户终端190提供的服务类型有关的信息。服务属性管理单元10008管理例如最终用户终端190中所安装的应用程序的类型和可用的图像传送服务。

  计费管理单元10009进行由用户登记在图像传送服务中的结算状况以及与计费金额相对应的可接收图像传送场景的数量等的管理。

  接着,将说明本实施例的工作流程。将说明在诸如体育馆或音乐厅等的设施中安装多个照相机112和多个麦克风111并进行摄像的情况下的工作流程。

  图11是整个工作流程的流程图。除非另外说明,否则在控制器300的控制下实现以下所述的工作流程的处理。具体地,在控制器300控制图像处理系统100中所包括的其它装置(诸如后端服务器270和数据库250等)的情况下,实现对工作流程的控制。

  在图11的处理开始之前,安装并操作图像处理系统100的操作员(用户)收集在安装之前所需的信息(先前信息)并进行计划。此外,假定操作员在图11的处理开始之前在目标设施中安装器材。

  在步骤S1100中,控制器300的控制站310接受用户基于先前信息所输入的设置。以下将参考图12来详细说明步骤S1100的处理。接着,在步骤S1101中,图像处理系统100中所包括的装置根据用户操作基于控制器300所发出的命令来进行用于确认系统的操作的处理。以下将参考图13来详细说明步骤S1101的处理。

  在步骤S1102中,虚拟照相机操作UI 330在用于比赛等的摄像开始之前输出图像和声音。由此,用户可以在比赛等之前确认麦克风111所收集的声音和照相机112所拍摄到的图像。以下将参考图14来详细说明步骤S1102的处理。

  在步骤S1103中,控制器300的控制站310使麦克风111收集声音并使照相机112拍摄图像。尽管该步骤中的摄像包括使用麦克风111的声音收集,但本发明不限于此并且可以仅拍摄图像。以下将参考图15和16来详细说明步骤S1103的处理。在要改变步骤S1101中所进行的设置的情况下或者在要终止摄像的情况下,处理进入步骤S1104。在步骤S1104中,在要改变步骤S1101中所进行的设置并且要继续摄像的情况下,处理进入步骤S1105,而在要终止摄像的情况下,处理进入步骤S1106。通常根据向控制器300的用户输入来进行步骤S1104中的判断。然而,本发明不限于该示例。在步骤S1105中,控制器300改变步骤S1101中所进行的设置。改变后的内容通常由在步骤S1104中获得的用户输入确定。在该步骤中的设置的改变中要停止摄像的情况下,摄像暂时停止并且在改变设置之后开始。此外,在无需停止摄像的情况下,与摄像并行地进行设置的改变。

  在步骤S1106中,控制器300对多个照相机112所拍摄到的图像和多个麦克风111所收集的声音进行编辑。通常基于经由虚拟照相机操作UI 330输入的用户操作来进行该编辑。

  注意,可以并行地进行步骤S1106和步骤S1103的处理。例如,在实时地传送体育比赛或音乐会(例如,在比赛期间传送比赛的图像)的情况下,同时进行步骤S1103中的摄像和步骤S1106中的编辑。此外,在比赛之后要传送体育比赛的精彩图像的情况下,在步骤S1104中终止摄像之后进行编辑。

  接着,将参考图12来详细说明步骤S1100的处理(安装预处理)。首先,在步骤S1200中,控制站310接受与同要拍摄的设施有关的信息(体育馆信息)相关联的用户输入。

  该步骤中的体育馆信息表示体育馆的形状、声音、亮度、电源、传输环境和体育馆的3D模型数据。具体地,体育馆信息包括上述的体育馆形状数据。注意,在本实施例中说明要拍摄的设施是体育馆的情况。在这种情况下,假定生成在体育馆中举行的体育比赛的图像。注意,一些体育比赛是在室内举行的,因此摄像目标的设施不限于体育馆。此外,可以生成音乐厅中的音乐会的虚拟视点图像,并且可以生成体育馆中的室外音乐会的图像,因此摄像目标的事件不限于比赛。

  在步骤S1201。

本文链接:http://buffaloruse.net/duanyingshe/548.html