多眼视图像生成系统以及多眼视图像生成方法

技术领域

本发明涉及一种裸眼立体显示器显示用的多眼视图像生成系统以及多眼视(muliti-ocular views)图像生成方法。

背景技术

当前广泛使用的立体显示器以佩戴眼镜观看的类型为主，但是近年来多个公司争着开发裸眼立体显示器。但是，现状是裸眼立体显示器还未普及。作为其主要原因，列举出了内容的不足。相对于用两个视差摄影佩戴眼镜观看的立体显示器的内容，为了在裸眼立体显示器上进行立体显示，需要用多眼摄影的多个图像或影像。因此，需要用多眼摄像机等特殊器材摄影，这点成为障碍，从而导致内容不足。

通过特开平9-27969号公报(专利文献1)，已知在计算机上通过软件从用左右摄像机摄影的左右2张的2眼视立体图像生成3张以上的多眼视立体图像的多眼视图像生成系统以及方法。该现有的多眼视图像生成系统以及方法，是从左右一组共2张立体图像生成与两个图像之间的任意的视点对应的中间位置图像的技术。根据该现有技术，以左右2张立体图像的图案匹配为基础，根据视点位置以线性插补法求出中间图像的像素数据。

然而，在该现有的多眼视图像生成技术中，能够自动生成中间位置的图像，但是存在从左右2张立体图像无法生成进一步外侧的左外图像、右外图像的不方便。另外，为了以图案匹配为基础、根据视点位置生成中间图像的像素数据，仅在包含探索对象像素在内其左右相邻的规定数量的像素之间实施图案匹配，在包含对象图像的左右的同时还包含上下相邻的像素的四周的规定数量的像素之间不实施图案匹配。因此，存在对于视差较大的图像难以体现出深度感的问题。

【专利文献1】特开平9-27969号公报

发明内容

本发明是鉴于上述现有技术的课题而形成的，其目的在于提供一种从左右2张的2眼视立体图像生成中间位置图像的同时还能够自动地生成左右外图像的多眼视图像生成系统以及方法。

本发明的特征是一种多眼视图像生成方法，该方法对于左右2台摄像机摄影的左眼图像(05)、右眼图像(02)(S1)，以所述左眼图像、右眼图像中的任意一方的立体图像为基准，在与另一方的立体图像之间实施图案匹配，确定每一像素的匹配图像(S2、S3)，在所述左右每一像素的匹配图像之间，通过像素间距离的内插求出中间位置图像(S4)，在所述左右每一像素的匹配图像之间，通过像素间距离的外插求出右外图像、左外图像(S4)。

在上述发明的多眼视图像生成方法中，可以做成：所述中间位置图像为在所述左眼图像、右眼图像之间等间隔地分离的多张图像(S32)，对于离所述左眼图像近的位置的中间位置图像以及左外图像，以该左眼图像为基准，在与所述右眼图像之间实施图案匹配，来确定每一像素的匹配图像(S33～S35)，对于离所述右眼图像近的位置的中间位置图像以及右外图像，以该右眼图像为基准，在与所述左眼图像之间实施图案匹配，来确定每一像素的匹配图像(S36)。

另外，在上述发明的多眼视图像生成方法中，可以做成：所述图案匹配(S3)，对于以对象像素为中心与该对象像素上下左右相邻的规定数的像素实施(S31)。

而且，在上述发明的多眼视图像生成方法中，可以做成：在所述图案匹配(S3)中，在将所述规定数的像素的明暗归一化后求出类似度。

本发明的另一特征是一种多眼视图像生成系统(1)，具有：存储单元(12)，其存储左右2台摄像机摄影的左眼图像、右眼图像；图案匹配运算单元(13)，其读出存储在所述存储单元中的所述左眼图像(05)、右眼图像(02)，以任意一方的立体图像为基准，在与另一方的立体图像之间实施图案匹配，确定每一像素的匹配图像；以及内外插图像生成单元(14、15)，其在所述图案匹配运算单元确定的所述左右每一像素的匹配图像之间，通过像素间距离的内插求出中间位置图像，在所述左右每一像素的匹配图像之间，通过像素间距离的外插求出左外图像、右外图像。

在上述发明的多眼视图像生成系统中，所述内外插图像生成单元(14、15)生成在所述左眼图像(05)、右眼图像(02)之间等间隔地分离的多张图像(03、04)作为所述中间位置图像；所述图案匹配运算单元(13)，对于离所述左眼图像(05)近的位置的中间位置图像(04)以及左外图像(06)，通过以该左眼图像为基准的、与所述右眼图像(02)之间的图案匹配，确定每一像素的左基准匹配图像，而对于离所述右眼图像(02)近的位置的中间位置图像(03)以及右外图像(01)，通过该以右眼图像为基准的、与所述左眼图像(05)之间的图案匹配，确定每一像素的右基准匹配图像；所述内外插图像生成单元(14、15)，对于离所述左眼图像近的位置的中间位置图像(04)以及左外图像(06、07)，在所述左基准匹配图像和左眼图像(05)之间通过像素间距离的内外插求出靠左侧中间位置图像、左外图像，而对于离所述右眼图像(02)近的位置的中间位置图像(03)以及右外图像(01、00)，在所述右基准匹配图像和右眼图像(02)之间通过像素间距离的内外插求出靠右侧中间位置图像、右外图像。

另外，在上述发明的多眼视图像生成系统中，可以做成：所述图案匹配运算单元(13)，对于以对象像素为中心与该对象像素上下左右相邻的规定数的像素实施图案匹配。

而且，在上述发明的多眼视图像生成系统中，可以做成：所述图案匹配运算单元(13)在将所述规定数的像素的明暗归一化后求出类似度。

根据本发明的多眼视图像生成系统以及方法，对于左右2台摄像机摄影的左眼图像、右眼图像，以左眼图像、右眼图像中的任意一方的立体图像为基准，在与另一方的立体图像之间实施图案匹配，确定每一像素的匹配图像，在左右每一像素的匹配图像之间通过像素间距离的内插求出中间位置图像，另外，在左右每一像素的匹配图像之间通过像素间距离的外插求出右外图像、左外图像，因此从左右2张立体图像能够与规定数的中间位置图像一起自动生成规定数的右外图像、左外图像。

另外，根据本发明的多眼视图像生成系统以及方法，对于离左眼图像近的位置的中间位置图像以及左外图像，以该左眼图像为基准，在与右眼图像之间实施图案匹配来确定每一像素的匹配图像，对于离右眼图像近的位置的中间位置图像以及右外图像，以该右眼图像为基准，在与左眼图像之间实施图案匹配来确定每一像素的匹配图像，这样，就能够生成可再生真实的立体图像的多眼视图像。

另外，根据本发明的多眼视图像生成系统以及方法，通过对于以对象像素为中心与该对象像素上下左右相邻的规定数的像素实施图案匹配，能够生成可再生深度深的立体图像的多眼视图像。

而且，根据本发明的多眼视图像生成系统以及方法，在图案匹配中采用在将规定数的像素的明暗归一化后求出类似度的步骤，由此能够进行精度高的类似度运算，可提高图案匹配的精度。

附图说明

图1是本发明的一个实施方式的多眼视图像生成系统的框图。

图2是由上述实施方式的多眼视图像生成系统进行的多眼视图像生成处理的流程图。

图3是上述多眼视图像生成处理的流程图中的图案匹配处理的详细的内部处理的流程图。

图4是通过上述实施方式的多眼视图像生成系统生成的多眼视图像的文件名的生成规则的说明图。

图5是上述实施方式的多眼视图像生成系统中的图案匹配处理部的类似度计算的说明图。

图6是上述实施方式的多眼视图像生成系统中的插补处理的说明图。

图7是在上述实施方式的多眼视图像生成系统中，追加从右眼图像进行左眼图像的类似度探索之前的生成图像、追加之后的生成图像。

图8是上述实施方式的多眼视图像生成系统的从右眼图像探索左眼图像用的数组的说明图。

图9是上述实施方式的多眼视图像生成系统的类似度运算中的与前像素之间的类似度计算重复部分的说明图。

图10是在上述实施方式的多眼视图像生成系统中使用类似度计算重复部分进行计算时的坐标的说明图。

具体实施方式

下面，根据附图详细说明本发明的具体实施方式。

(第一实施方式)

图1表示本发明的一个实施方式的多眼视图像生成系统的结构。本系统是通过在计算机上安装多眼视图像生成程序、并使其执行该程序来实现，但是也可以做成专用的装置。

本实施方式的多眼视图像生成系统1具有：输入输出部11，其处理除了图像的其他数据的输入输出；存储部12，其存储除了图像的其他数据；灰度等级转换处理部13B，从存储部12读出左右立体图像各自数据，并将左眼图像数据、右眼图像数据转换为灰度等级；图案匹配处理部13，其执行以左眼图像数据为基准的与右眼图像的图案匹配处理、相反以右眼图像为基准的与左眼图像的图案匹配处理，以抽出左眼基准的右眼最类似图像以及右眼基准的左眼最类似图像；内插处理部14，其通过内插运算处理生成靠左侧中间位置图像以及靠右侧中间位置图像并存储在存储部12中；外插处理部15，其通过外插运算处理生成左外图像以及右外图像并存储在存储部12中；插补处理部16，其对于未找出类似像素的像素，从周围的相邻像素的图像求出平均值来插补并将其结果存储在存储部12中；以及图像合成部17，其将存储在存储部12中的像素单位的图像合成为规定的像素数的图像并再次保存。

存储部12包含大容量存储装置、非易失性存储器、易失性存储器等存储单元，对应于运算处理阶段存储在相应的存储单元中。

图案匹配处理部13，具有统一控制后述的图案匹配处理的各阶段的处理的图案匹配控制部13A、灰度等级转换部13B、左基准类似度运算部13C以及右基准类似度运算部13D。

下面，对上述结构的多眼视图像生成系统1的多眼视图像生成方法进行说明。图2、图3表示由本多眼视图像生成系统1进行的多眼视图像生成处理的流程图。如图2的流程图所示，本多眼视图像生成方法主要由以下的5个处理步骤构成。

步骤S1：图案匹配处理部13中的图案匹配控制部13A，通过输入输出部11从外部的存储装置或系统、或者本系统1内的存储部12读入作为处理对象的左右2张立体图像。

步骤S2：通过图案匹配处理部13中的灰度等级转换处理部13B将读入的左眼图像、右眼图像分别转换为灰度等级，并进行将其值分别代入一维数组的前处理。

步骤S3：根据图案匹配控制部13A的指示，通过左基准类似度运算部13C、右基准类似度运算部13D、内插处理部14以及外插处理部15，从左眼图像探索右眼图像的最类似像素，按照中间位置图像的相应像素设置颜色，以及按照外侧图像的相应像素设置颜色。另外，从右眼图像探索左眼图像的最类似像素，对于中间位置图像，按照相应像素设置颜色，以及按照外侧图像的相应像素设置颜色。对于对象图像的像素列的每一列交互执行这些图案匹配处理。

步骤S4：由插补处理部16，对在图案匹配处理中从未设置过颜色的像素，用取周围8个近旁的平均的值来插补。

步骤S5：遵照规定的规则，如图4所示从右眼图像的外侧顺序标注号码00～07，作为“文件名+号码.bmp”以位图(bit map)的形式保存在规定的文件夹中。此外，该图像的格式并不限定于此。

使用图3的流程图更详细地说明步骤S3的图案匹配处理。首先，在左基准类似度运算部13C中，为了从左眼图像探索右眼图像的最类似图像，将左眼图像的像素中存在左眼图像的像素的坐标的周围作为探索范围，对于各个像素顺序计算与左眼图像的像素周围的像素的类似度，找出最类似的像素。关于该类似度计算，将在后面叙述(步骤S31)。

接着，在内插处理部14中，将左眼图像的像素的坐标和右眼图像的得到的最类似像素的坐标之间的距离用在左右2张立体图像之间插补的像素的张数等分(步骤S32)。在外插处理部15中，将坐标向外侧延长相当于在立体图像的外侧插补的图像的张数(步骤S33)。

对位于生成的多眼视图像的靠左侧的图像各自，对位于得到的坐标中从左侧开始数与图像的顺序相同位置的坐标的图像，设置与左眼图像的像素相同的颜色。同样，对靠右侧的图像各自，设置与右眼图像的像素相同的颜色(步骤S35)。

接着，在右基准类似度运算部13D中，从右眼图像探索左眼图像的最类似像素，同样设置颜色。此时，不是再次进行类似度的计算，而是如后面所述地预先保存从左眼图像探索到右眼图像时的类似度的值，从中探索最类似的像素并设置颜色(步骤S36)。

以上的图案匹配处理，对于像素列一行一行地交互进行从左眼图像探索右眼图像的处理和从右眼图像探索左眼图像的处理(步骤S30、S37)。

详细说明上述图案匹配处理中的类似度运算。在左基准类似度运算中，使用了计算对于左眼图像的像素从右眼图像中查找最类似的像素时的类似度的模板匹配(template matching)方法。这是使用后述的规定的公式计算与原来的图像(模板)比较的图像的类似度，并判断在基准值的上下是否相同的图像。

图5表示最类似点探索的图像(image)。此外，此时的探索范围或模板的大小因图像而其最佳的大小不同，因此根据初始文件由用户指定大小。公式1是为了计算类似度而使用的模板匹配的公式。

【公式1】

$E(x,y)=\underset{j=0}{\overset{N-1}{\Sigma }}\underset{i=0}{\overset{M-1}{\Sigma }}|F^{(x,y)}(i,j)-T(i,j)|$

其中，T(i，j)是模板，F(x，y)是探索对象图像，(x，y)是以原图像的坐标为基准的模板的中心坐标，(i，j)是以模板内的坐标为基准的坐标，M是模板的宽度，N是模板的高度。

在公式1中，E为类似度，该E的值越小类似度就越高，完全相同的图像的值成为0。但是，公式1没有将亮度的差异考虑在内。因此，因为左右2台摄像机特性的不同而存在亮度的差异的图像也可以进行类似度计算。此时，使用公式2所示的归一化相关函数。

【公式2】

$\sigma (x,y)=\frac{\underset{j=0}{\overset{N-1}{\Sigma }}\underset{i=0}{\overset{M-1}{\Sigma }}\left\{F^{(x,y)}(i,j)\mathrm{gT}(i,j)\right\}}{\sqrt{\underset{j=0}{\overset{N-1}{\Sigma }}\underset{i=0}{\overset{M-1}{\Sigma }}{F}^{(x,y)2}(i,j)}g\sqrt{\underset{j=0}{\overset{N-1}{\Sigma }}\underset{i=0}{\overset{M-1}{\Sigma }}{T}^2(i,j)}}$

在式2中，σ(x，y)为将亮度的差异考虑在内的类似度。σ取从-1到1之间的值，越接近1类似度就越高，完全相同的图像的值成为1。

此外，在本实施方式中，以准确地进行了摄像机的设定为前提，设右眼和左眼的亮度大约相同，为了缩短计算时间而使用式1进行类似度计算。

接着，使用图6来说明求出最类似像素的坐标之后内插处理部14、外插处理部15为了求出设置颜色的像素而执行的坐标计算以及颜色的设置方法。首先，根据左眼图像的像素和求出的右眼图像的最类似像素的坐标，计算对于多眼视图像的每一个像素设置颜色的坐标。坐标计算，通过内插处理部14将右眼图像的像素和左眼图像的像素之间的距离用中间图像的张数等分来计算中间图像的坐标，另外，通过外插处理部15对于外侧的图像使用比例式进行在直线上延长坐标的计算。

设左眼图像的注目像素的坐标为(x，y)，右眼图像的最类似像素的坐标为(x₀，y₀)，左眼图像的左侧的图像的张数为n₁，左眼图像和右眼图像之间的张数为n_m，则左眼图像的左侧的第t₁+1(t₁＝0，1，2，...，n₁-1)张图像的坐标(x₁，y₁)用公式3表示。

【公式3】

$x_l=x-\frac{(x\prime -x)(n_l-t_l)}{n_m+1}$

$y_l=y-\frac{(y\prime -y)(n_l-t_l)}{n_m+1}$

同样，左眼图像和右眼图像之间的第t_m+1(t_m＝0，1，2，...，n_m-1)张图像的坐标(x_m，y_m)、右眼图像的右侧的第t_r+1(t_r＝0，1，2，...，n_r-1)张图像的坐标(x_r，y_r)张图像的坐标(x_r，y_r)用公式4表示。

【公式4】

$x_m=x+\frac{(x\prime -x)(t_m+1)}{n_m+1}(t_m\le \frac{n_m}{2})$

$y_m=y+\frac{(y\prime -y)(t_m+1)}{n_m+1}(t_m\le \frac{n_m}{2})$

$x_m=x\prime -\frac{(x\prime -x)(n_m-t_m)}{n_m+1}(t_m>\frac{n_m}{2})$

$y_m=y\prime -\frac{(y\prime -y)(n_m-t_m)}{n_m+1}(t_m>\frac{n_m}{2})$

$x_r=x\prime +\frac{(x\prime -x)(t_r+1)}{n_m+1}$

$y_r=y\prime +\frac{(y\prime -y)(t_r+1)}{n_m+1}$

这里，之所以就其t_m分情况是为了在坐标计算后设置颜色时将靠近左眼图像的t_m≦n_m/2用左眼图像的像素的颜色设置颜色，将靠近右眼图像的t_m>n_m/2用右眼图像的像素的颜色设置颜色。

接着，关于多眼视图像的各个图像，在通过上述式求出的坐标设置颜色。位于求出的坐标的像素，若为靠近左眼图像的注目像素，则设置左眼图像的颜色，若为靠近右眼图像的最类似像素，则设置右眼图像的颜色。即，对于左眼图像的左侧的左外图像以及左眼图像和右眼图像之间的图像的到第n_m/2张为止的靠左侧图像，设置左眼图像的像素的颜色，对于左眼图像和右眼图像之间的第n_m/2+1张起的靠右侧图像以及右眼图像的右侧的右外图像的像素，设置右眼图像的像素的颜色。

由插补部16进行的未设定像素的插补处理如下：对于左眼图像和右眼图像的所有像素求出移动后的坐标，由此生成了多眼视图像的各个图像，但是由于在坐标计算的阶段也未变成任何一个像素的移动后的坐标，而会出现一次也未设置颜色的像素。因此，要将坐标计算和设置颜色的处理重复相当于所有像素数的次数后，将未设置颜色的像素使用周围的像素的值进行插补。该插补处理使用对象像素的周围8个近旁的平均。

这样，对于每一组左右2张立体图像，将包含其图像的内外8张多眼视图像依次存储在存储部12中。在立体动画的情况下也通过对其动画的每一帧图像重复上述多眼视图像生成处理来得到多眼视动画。此外，中间位置图像或左右的外侧图像的张数并不特别限定，可任意设定。例如，也可以设定为中间位置4张、左右外侧各一张。

根据本实施方式的多眼视图像生成系统以及多眼视图像生成方法，从左右2张立体图像可以生成其中间位置的规定张数的图像和左右各自外侧的规定张数的图像的多眼视图像。

另外，在本实施方式中，从左眼图像对右眼图像进行类似度计算，另外，从右眼图像对左眼图像实施类似度计算，由此得到如下的画像质量的改善。在只进行从左眼图像探索右眼图像的处理、而对于没有填充颜色的像素中仅进行取8个附近的平均的值的处理时，如图7(a)所示，虽然在右眼图像中拍摄到但在左眼图像中被前面的物体遮挡而隐藏的埋住部分附近也不是左眼图像的任何一个像素的最类似像素，出现空穴，一部分成为模糊不清的图像。而且，当延长坐标时空穴的端和端之间的距离也变大，因此空穴裂开，越靠近右眼图像的外侧，其空穴越明显。因此，在本实施方式中，在进行从左眼图像探索右眼图像，并仅对靠左侧中间位置图像、左外图像设置颜色后，进行从右眼图像探索左眼图像的处理，并进行对靠右侧中间位置图像、右外图像设置颜色的处理。由此，对于右眼图像的埋住部分也查找最类似像素的坐标并设置颜色，因此空穴变小，得到如图7(b)所示更鲜明的图像。

另外，如果在从左眼图像探索到右眼图像后从右眼图像探索左眼图像，则因为分别计算类似度并进行探索，所以需要2倍的处理时间。因此，在本实施方式中，对于图像一行一行地交互进行左右的探索，并且准备如图8所示的[图像的宽度×(探索范围的高度+1)][探索范围]的尺寸的2维数组，保存从左眼图像探索右眼图像时的图案匹配的值，以使在从右眼图像探索左眼图像时通过调用该值，用一次就能够完成类似度的计算。即，在求出类似度的数组计算中，通过在新的数组中保存前一像素和探索范围内的各个像素之间的类似度计算结果，再次利用前一像素的类似度计算结果。为了求出下一像素的类似度，如图9所示，从数组中取出计算的探索范围内的像素和前一像素之间的类似度，减去前一像素的计算的左一列，加上求出的像素的计算的右一列。由此，通过公式1的计算只要仅对图像的第一列的像素进行即可，第二列以及其后使用该方法可以省略重复部分的计算。图10表示使用该方法进行计算时的坐标。