利用旋转对称式广角透镜获得复合图像的方法及其成像系统以及以硬件方式进行图像处理的互补金属氧化物半导体图像传感器

技术领域

本发明涉及从安装有以光轴为中心的旋转对称式广角透镜的照相机获得的图像中能够提取复合图像的数学上精确的图像处理方法及利用它的成像系统以及以硬件方式进行图像处理的CMOS图像传感器。

背景技术

一般来讲，在景色优美的旅游地等将360°全景捕捉到一张相片中的全景照相机(panoramic camera)是全方位成像系统的一例。全方位成像系统是指观察者在原地转一圈时所能看得见的景色全部捕捉到一张相片中的成像系统。与此相反，将在观察者的位置所能看得见的全景捕捉到一张图像中的系统称之为全景成像系统(omnidirectional imaging system)。在全景成像系统中，不仅包括观察者在原地转一圈时所能看得见的全部景色还包括仰头或低头时所能看得见的全部景色。从数学角度来讲，是指以成像系统能够捕捉的区域的立体角(solid angle)为4π球面度(steradian)的情况。全方位成像系统或全景成像系统不仅为了适用于如拍摄建筑物、自然景观、天体等的传统的领域，而且为了适用于利用了CCD(charge-coupled device)或CMOS(complementarymetal-oxide-semiconductor：互补金属氧化物半导体)照相机的安保、监视系统、房地产或饭店、旅游地等的虚拟旅游(virtual tour)、或者移动机器人或无人驾驶飞机等领域而在进行着很多研究和开发。

得到全方位图像的一种方法是采用视场角宽的鱼眼透镜(fisheye lens)。例如，若使视场角为180°的鱼眼透镜垂直地朝向天空，则可将天上的星座到地平线都捕捉到一张图像中。基于这种理由，鱼眼透镜也被称之为全天空透镜(all-sky lens)。尤其，尼康(Nikon)公司的一种鱼眼透镜(6mm f/5.6Fisheye-Nikkor)是视场角达到220°，因而若将它安装到照相机上，则尽管是一部分但也能将照相机后方的景色包含到图像中。这样，对使用鱼眼透镜得到的图像进行图像处理(image processing)就能得到全方位图像。

在多数情况下，成像系统安装垂直于的壁面。例如，为了监视建筑物周边将成像系统设置在建筑物的外壁上，或者旨在监视汽车后尾的后方照相机就属于这种情况。在这种情况下，在水平方向的视场角远大于180°的情况下效率反而降低。这是因为监视的必要性较少的壁面较多地占有了画面，因而图像显得枯燥且浪费像素之故。因此，在这种情况下，水平方向的视场角为180°左右的情况比较理想。但为了这种目的而照原样使用视场角为180°的鱼眼透镜却不可取。这是因为，鱼眼透镜产生桶形畸变(barrel distortion)因而诱发审美上的不快感，从而消费者不理会之故。

参考文献1至2提出有从具有给出的视点(viewpoint)以及投影方式(projection scheme)的图像中提取具有其它视点或投影方式图像的核心技术。具体地讲，参考文献2提出有立方体全景(cubic panorama)。简言之，立方体全景是指假设观察者位于用玻璃制作的立方体的中心时将透过玻璃墙向外所能看到的全景描绘在玻璃墙上，而所有风景是以在立方体的中心所观察的视点描绘的。但不存在是使用通过光学透镜而得到的实际风景，而是使用以无畸变的虚拟的透镜即针孔照相机捕捉的图像的缺点。

另一方面，包括人类在内的所有动植物因重力而被约束生存在地球表面，因而需要注意或关注的大部分事件发生在地平线附近。因此，即便有监视地平线周边的360°所有方向的必要，垂直于方向上监视到那种高度即天顶(zenith)或天底(nadir)的必要性却很少。但为了在二维的平面上描绘360°全景，需要进行畸变别无他法。在用于将作为球(sphere)的表面的地球上的地理表现在平面二维地图上的地图制作法中存在同样的难点。

地球上的所有动植物和建筑物等无生物均在重力的影响下，重力的方向为站直的方向即垂直线。然而在所有畸变中人们最感到不自然的畸变是垂直线看成曲线的畸变。因此重要的是，即便有其它畸变也不能有这种畸变。然而，地面虽然大体上垂直于重力的方向，但在倾斜处当然不垂直。因此，从严格的意义上讲，应当以平面为基准，垂直方向是垂直于水平面的方向。

参考文献3中记载有在多种地图制作法中也广为人知的投影方式即等矩形投影(equi-rectangular projection)、墨卡托投影(Mercator projection)以及圆柱投影(cylindrical projection)，参考文献4中简述有多种投影方式历史。其中，等矩形投影方式是我们在为了表现地球上的地理或显示星座而描绘天球时最为熟悉的地图制作法之一。

参照图1，假设地表面或天球(celestial sphere)为半径为S的球面时，地表面上的任意点Q以地球的中心N为基准具有经度值ψ和纬度值δ。另一方面，图2是按照等矩形投影法制作的地表面或天球的平面地图的概念图。具有地表面的经度值ψ和纬度值δ的一点Q在根据等矩形投影法的平面地图234上具有对应的点P″。该对应的点的直角坐标给出为(x″，y″)。而且，具有经度0°与纬度0°的赤道上的基准点在平面地图上具有对应的一点O″，该对应点O″是直角坐标系的原点。此时，根据等矩形投影法，经度上的相同的间距在平面地图上具有相同的横向间距。换言之，平面地图234上的横坐标x″与经度成比例。

数学式1

x″＝cψ

这里，c是比例常数。而且，纵坐标y″与纬度成比例，具有与横坐标相同的比例常数。

数学式2

y″＝cδ

考虑到地表面近似于球面，这种等矩形投影方式可成为自然的投影方式，但存在使地表面的面积严重地畸变的缺点。例如，在北极点附近彼此相隔很近的两点在等矩形投影方式地图上有可能给人以似乎位于地球相反侧的印象。

另一方面，在墨卡托投影方式在中，纵坐标给出为如数学式3那样复杂的函数。

数学式3

$>y^{\prime \prime }=c\ln \left\{\tan (\frac{\pi }{4}+\frac{\delta }{2})\right\}$>

另一方面，图3是圆柱投影(cylindrical projection)或全景投影(panoramicperspective)的概念图。在圆柱投影中，观察者位于半径为S的天球331的中心N，要在以该观察者为中心的天球将除了天顶(zenith)与天底(nadir)之外的大部分区域描绘在二维平面上。换言之，经度包括从-180°到+180°的360°，而纬度包括包含赤道的仅仅一部分亦可。具体地讲，纬度角的范围可假设为从-Δ到+Δ，此时，Δ应小于90°。

在这种投影方式中，假设在赤道303与天球331相接的圆柱334，接着，对于在天球上具有规定的经度值ψ和纬度值δ的点Q(ψ，δ)，使从上述天球的中心N连至上述一点Q的线段延伸直至与上述圆柱面相交。该交点称之为P(ψ，δ)。利用这种方式得到与天球面331上的上述纬度范围内的所有点Q对应的圆柱面334上的点P之后，切开上述圆柱并展开成平面则可得到具有圆柱投影的地图。因此，所展开的圆柱面上的一点P的横坐标x″由数学式4给出，纵坐标y″由数学式5给出。

数学式4

x″＝Sψ

数学式5

y″＝S tan δ

这种圆柱投影是用于照相机沿水平旋转而得到全景图像的全景照相机上的投影方式。尤其在安装于旋转的全景照相机上的透镜为无畸变的直线像差修正透镜的情况下得到的全景图像精确地符合圆柱投影方式。虽然从原理上讲这种圆柱投影是最为精确的全景投影方式但纬度的范围较宽时图像看起来不自然，因而实际上不常用。

在参考文献5和6中描述有具有视场角190°的鱼眼透镜的实施例，在参考文献7中提出有包括赤平投影方式的折射式和反射折射式鱼眼透镜的多种广角透镜的实施例。

另一方面，在参考文献8中描述有从使用包括鱼眼透镜的旋转对称式广角透镜而获得的图像获得符合圆柱投影方式或等矩形投影方式以及墨卡托投影方式的全方位图像的多种实施例。在上述文献中所提出的大部分实施例可参照图4至12简述如下。

图4是包括鱼眼透镜的旋转对称式广角透镜412的的实际投影方式的概念图。描述由广角透镜而捕捉的被摄体(object)的世界坐标系的Z轴与广角透镜412的光轴401一致。对于该Z轴具有天顶角θ的入射光405在由透镜412折射后作为折射光406会聚到焦点面(focal plane)432上的像点(image point)P。从上述透镜的节点N到上述焦点面的距离大致与透镜的有效焦距(effectivefocal length)一致。在上述焦点面中形成有实际像点的部分为图像面(imageplane)433。为了得到清晰图像，上述图像面433与照相机主体414内部的图像传感器面413应当一致。上述焦点面和上述图像传感器面垂直于光轴。从该光轴401与图像面433的交点O(下面称之为第一交点)到上述像点P的距离是r。

通常的广角透镜中的像大小r如数学式6给出。

数学式6

r＝r(θ)

这里，入射角θ的单位为弧度(radian)，上述函数r(θ)是对于入射光的天顶角θ的单调递增函数(monotonically increasing function)。

这种透镜的实际投影方式可以利用实际透镜以实验方式进行测定，或者能够以透镜的设计图利用Code V或Zemax等透镜设计程序进行计算。例如，若在Zemax使用REAY运算符，则能够具有计算已给出的水平方向和垂直方向的入射角的入射光的在焦点面上的y轴方向的坐标y，与此类似地使用REAX运算符即可计算x轴方向的坐标x。

图5是Paul Bourke教授以计算机制作的虚拟的室内风景，假设使用具有理想的等距投影方式的视场角180°的鱼眼透镜。该图像具有横向和竖向大小均为250像素的正方形的形状。因此，光轴的坐标为(125.5，125.5)，天顶角为90°的入射光的像大小r′(π/2)＝125.5-1＝124.5.这里，r′不是实际物理上距离而是以像素距离测定的像大小。由于该虚拟的鱼眼透镜满足等距投影方式，因而该透镜的投影方式如数学式7给出。

数学式7

$>r^{\prime }\left(\theta \right)=\frac{124.5}{\left(\frac{\pi }{2}\right)}\theta =79.26\theta$>

图6至8表示记载在参考文献7中的多种广角透镜的实施例。图6是赤平投影方式的折射式鱼眼透镜，图7是赤平投影方式的反射折射式鱼眼透镜，图8是直线像差修正投影方式的反射折射式全方位透镜。这样，现有的实施例和本发明的广角透镜包括以光轴为中心的旋转对称式的所有广角透镜而并不限定于等距投影方式的鱼眼透镜。

参考文献8的发明的要点是，提供一种对于使用这种旋转对称式广角透镜得到的图像适用数学上精确的图像处理算法而得到全方位图像的方法。参考文献8中记载的多种实施例可参照图9简述如下。图9是现有发明中的世界坐标系(world coordinate system)的概念图。

上述发明的世界坐标系为以旋转对称式广角透镜的节点N为原点，并以通过上述原点的垂直线作为Y轴。这里，垂直线是垂直于地平面、更准确地讲是垂直于水平面917的直线。世界坐标系的X轴与Z轴包括在地平面。一般来讲，上述广角透镜的光轴901不与Y轴一致，可包括在地面(即、可以平行于地面)，还可不平行于地面。此时，将包括上述Y轴和上述光轴901的平面904称之为基准面(reference plane)。该基准面904与地平面917的相交线(intersection line)902与世界坐标系的Z轴一致。另一方面，来自具有世界坐标系中的直角坐标(X，Y，Z)的一物点Q的入射光905对于地面具有仰角δ，对于基准面具有方位角ψ。包括上述Y轴和上述入射光905的平面为入射面906。上述入射光与上述基准面所成的横向入射角ψ如数学式8给出。

数学式8

$>\psi ={\tan }^{-1}\left(\frac{X}{Z}\right)$>

另一方面，上述入射光与X-Z平面所成的竖向入射角(即、仰角)δ如数学式9给出。

数学式9

$>\delta ={\tan }^{-1}\left(\frac{Y}{\sqrt{X^2+Z^2}}\right)$>

上述入射光的仰角(elevation angle)μ如数学式10给出，这里，χ是大于-90°且小于90°的任意角度。

数学式10

μ＝δ-χ

图10是全方位成像系统的概念图，大致包括图像获得单元(imageacquisition means)1010、图像处理单元(image processing means)1016以及图像显示单元(image display means)1015、1017。图像获得单元1010包括具有旋转对称式形状的广角透镜1012和其内部具有图像传感器1013的照相机主体1014。上述广角透镜可以是具有等距投影方式的视场角180°以上的鱼眼透镜，但并非限定于这种鱼眼透镜，可以使用反射折射式鱼眼透镜等多种旋转对称式广角透镜。便于说明起见，下面将广角透镜称之为鱼眼透镜。上述照相机主体具备CCD或CMOS等光电元件，能够获得静止图像或影像。物体面1031的图像由上述鱼眼透镜1012而形成在焦点面1032上。为了得到清晰图像，图像传感器面1013应与上述焦点面1032一致。在图10中符号1001表示光轴。

存在于上述物体面1031上的被摄体的通过鱼眼透镜1012的实像(realimage)在由图像传感器1013而转换成电信号之后，以修正前图像面(uncorrected image plane)1034显示在图像显示单元1015，该修正前图像面1034是由鱼眼透镜而畸变的图像。该被畸变的图像通过图像处理单元1016而修正畸变之后，从如计算机监视器或CCTV监视器的图像显示单元1017显示到修正后图像面(processed image plane)1035上。上述图像处理可以是通过计算机的软件图像处理，也可以是通过在现场可编程门阵列(FPGA:FieldProgrammable Gate Array)或CPLD(Complex Programmable Logic Device)、ARM core processor、ASIC、或数字信号处理器(DSP:Digital Signal Processor)上动作的嵌入式软件(embedded software)的图像处理。

包括鱼眼透镜在内的任意旋转对称式透镜不能提供上面所述的全方位图像或无畸变的直线像差修正图像。因此，为了得到理想的图像就必须执行图像处理过程。图11是与图像传感器面1013对应的图像处理前的修正前图像面1134的概念图。若假设图像传感器面1013的横边长为B，且竖边长为V，则修正前图像面的横边长为gB，且竖边长为gV。这里，g是比例常数。

修正前图像面1134可认为是显示于图像显示单元的未修正畸变的画面，是以倍率g放大了成像于图像传感器面的图像的图像。例如，在为1/3-inch CCD的情况下，是图像传感器面的横边长为4.8mm，且竖边长为3.6mm的长方形的形状。另一方面，若假设监视器的大小是横边长为48cm，且竖边长为36cm，则倍率g成为100。更为理想的是，在数字化的数字图像中将像素的长度假设为1。若是VGA级的1/3-inch CCD传感器，则像素以横向640列且竖向480行的矩阵的形态存在。因此，一个像素为横向和竖向均为4.8mm/640＝7.5μm正方形的形状，在该情况下，放大倍数g是1pixel/7.5μm＝133.3pixel/mm。换言之，修正前图像面1134是将成像于图像传感器面的畸变的图像转换为电信号而得到的被畸变的数字图像。

图像传感器面上的第一交点O是光轴与传感器面的交点。因此，沿着光轴入射的光线在上述第一交点O形成像点。根据定义，与图像传感器面上的第一交点O对应的修正前图像面上的一点O′(下面称之为第二交点)相当于沿着光轴入射的入射光所产生的像点。

假设以通过修正前图像面上的第二交点O′且平行于修正前图像面的横边的轴为x′轴，并以通过上述第二交点且平行于上述修正前图像面的竖边的轴为y′轴的第二直角坐标系。正(+)的x′轴的方向为从左边朝向右边的方向，正的y′轴的方向为从上端朝向下端的方向。此时，修正前图像面1134上的任意一点的横坐标x′具有最小值x′₁＝gx₁至最大值x′₂＝gx₂(即、gx₁≤x′≤gx₂)。与此相同地、上述一点的纵坐标y′具有最小值y′₁＝gy₁至最大值y′₂＝gy₂(即、gy₁≤y′≤gy₂)。

图12是修正了本发明的图像显示单元的畸变的画面，即修正后图像面1235的概念图。修正后图像面1235具有四边形形状，横边长为W，竖边长为H。而且，假设平行于修正后图像面的横边的轴为x″轴，且平行于竖边的轴为y″轴的第三直角坐标系。第三直角坐标系的z″轴与第一直角坐标系的z轴和第二直角坐标系的z′轴一致。上述z″轴与修正后图像面的交点O″(下面称之为第三交点)的位置可具有任意值，甚至还可位于修正后图像面的外部。这里，正的x″轴的方向为从左边朝向右边的方向，正的y″轴的方向为从上端朝向下端的方向。

第一交点和第二交点为光轴的位置。但第三交点不是与光轴的位置对应，而是与主视方向(principal direction of vision)对应。主视方向可与光轴一致，但不必一定与光轴一致。主视方向是理想的全方位或与直线像差修正图像对应的虚拟的全方位或直线像差修正照相机的光轴的方向。便于论述起见，下面将主视方向称之为光轴方向。

修正后图像面1235上的第三点P″的横坐标x″具有最小值x″₁至最大值x″₂(即、x″₁≤x″≤x″₂)。根据定义，横坐标的最大值与最小值之差与修正后图像面的横边长一致(即、x″₂-x″₁＝W)。与此相同地、第三点P″的纵坐标y″具有最小值y″1至最大值y″2(即、y″₁≤y″≤y″₂)。根据定义，纵坐标的最大值与最小值之差与修正后图像面的竖边长一致(即、y″₂-y″₁＝H)。

下面的表1将在物体面与传感器面、修正前/后图像面上的对应的变量汇总在一个表中。

表1

另一方面，若假设与具有上述世界坐标系中的坐标(X，Y，Z)的一物点对应的已被图像处理的画面1235上的像点P″的坐标为(x″，y″)，则上述图像处理单元进行图像处理使得由来自上述物点的入射光所产生的像点显示在上述画面上的坐标(x″，y″)，而上述像点的横坐标x″如数学式11给出。

数学式11

x″＝cψ

这里，c是比例常数。

而且，上述像点的纵坐标y″由数学式12给出。

数学式12

y″＝cF(μ)

这里，F(μ)是通过原点的单调递增函数。从数学角度讲，是指满足数学式13和14。

数学式13

F(0)＝0

数学式14

$>\frac{\partial F\left(\mu \right)}{\partial \mu }>0$>

上述函数F(μ)可具有任意方式，但最佳方式由数学式15至18给出。

数学式15

F(μ)＝tanμ

数学式16

$>F\left(\mu \right)=\frac{\tan \mu }{\cos \chi }$>

数学式17

F(μ)＝μ

数学式18

$>F\left(\mu \right)=\ln \left\{\tan (\frac{\mu }{2}+\frac{\pi }{4})\right\}$>

图13是旨在便于理解根据现有发明的一实施例的全方位成像系统的视场角和投影方式的图。假设本实施例的全方位成像系统附着在垂直于地面的一壁面1330上。壁面与X-Y平面一致，Y轴从地面(即、X-Z平面)朝向天顶。坐标系的原点位于透镜的节点N，透镜的光轴1301的方向与Z轴一致。从严格的意义上讲，光轴的方向是世界坐标系的负的Z轴的方向。这是由于，根据成像光学系统的规定，从被摄体(或物点)朝向像面(或像点)的方向为正方向之故。尽管事实如此，便于说明起见下面就以光轴的方向与世界坐标系的Z轴一致来进行描述。这是由于，本发明不是对于透镜设计的发明而是利用透镜的发明，从使用者的立场来看，将光轴的方向理解成本发明的实施例是更方便之故。

图像传感器面1313是横边长为B且竖边长为V的长方形的形状，而且图像传感器面是垂直于光轴的平面。在本实施例中，世界坐标系的X轴与第一直角坐标系的x轴平行，且方向也相同。另一方面，世界坐标系的Y轴与第一直角坐标系的y轴平行，但方向相反。因此，在图13第一直角坐标系的x轴的正方向为自左向右的方向，正的y轴的方向为自上向下的方向。

一般来讲，第一直角坐标系的Z轴与传感器面1313的交点O(即、第一交点)不位于传感器面1313的中心，甚至还可位于传感器面外部。这种情况在为了得到视场角在垂直方向或水平方向非对称的图像而故意使图像传感器的中心脱离透镜的中心(即、光轴)的情况下可能发生。

符合圆柱投影方式的全方位照相机在垂直方向上符合直线像差修正投影方式(rectilinear projection scheme)，在水平方向上符合等距投影方式(equidistance projection scheme)。这种投影方式相当于假设以Y轴为旋转对称轴的半径S的半圆柱物体面1331，物体面1331上的任意一点Q(下面称之为物点(object point))的图像成为上述传感器面1313上的某一点即像点(imagepoint)P。根据本实施例的优选投影方式，存在于半圆柱形状的物体面1331上的被摄体的图像以依旧保存了竖向比率的状态捕捉到传感器面1313，该像点的横坐标x与上述物体面上的对应的物点的水平方向的弧(arc)长成比例，由物体面1331上的所有物点带来的图像传感器面上的像点形成实像(realimage)。

图14表示图13的物体面在X-Z平面上的截面，图15表示图13的物体面在Y-Z平面上的截面。从图13至图15能够得到由数学式19给出的方程式。

数学式19

$>A=\frac{H}{{\tan \delta }_2-{\tan \delta }_1}=\frac{y^{\prime \prime }}{\tan \delta }=\frac{y_2^{\prime \prime }}{{\tan \delta }_2}=\frac{y_1^{\prime \prime }}{{\tan \delta }_1}=\frac{W}{\mathrm{\Delta \psi }}=\frac{x^{\prime \prime }}{\psi }=\frac{x_1^{\prime \prime }}{{\psi }_1}=\frac{x_2^{\prime \prime }}{{\psi }_2}$>

因此，在进行理想的修正后设定图像面的大小与视场角时，应满足数学式19。

若图12的修正后图像面满足上面所述的投影方式，则与上述修正后图像面上的第三点P″的横坐标x″对应的入射光的横向入射角由数学式20给出。

数学式20

$>\psi =\frac{\mathrm{\Delta \psi }}{W}{x}^{\prime \prime }=\frac{x^{\prime \prime }}{A}$>

与此相同地、与具有纵坐标y″的第三点对应的入射光的竖向入射角从数学式19如数学式21给出。

数学式21

$>\delta ={\tan }^{-1}\left(\frac{y^{\prime \prime }}{A}\right)$>

因此，具有优选投影方式的修正后图像面上的第三点的信号值应为来自具有由数学式20给出的横向入射角(即、经度值)和由数学式21给出的竖向入射角(即、纬度值)的物体面上的物点的光线在图像传感器面上形成的像点的信号值。

根据现有发明，从具有畸变的鱼眼透镜的图像能够如下得到具有优选投影方式的全方位图像。首先，根据使用者的需要定理想的全方位图像的大小(W，H)和第三交点O″的位置。上述第三交点还可位于上述修正后图像面的外部。换言之，修正后图像面上的横坐标的范围(x″₁，x″₂)和纵坐标的范围(y″₁，y″₂)能够具有任意实数值。而且，定该全方位图像(即、修正后图像面)的横向视场角Δψ。这样一来，使用数学式20和21即可求得与该全方位图像内的第三点的直角坐标(x″，y″)对应的入射光的横向入射角ψ和竖向入射角δ。接着，使用数学式22和23求出与该横向入射角和竖向入射角对应的入射光的天顶角θ和方位角φ。

数学式22

$>\phi ={\tan }^{-1}\left(\frac{\tan \delta }{\sin \psi }\right)$>

数学式23

θ＝cos^-1(cosδcosψ)

接着，使用数学式6求出与该入射光的天顶角θ对应的像大小r。使用该像大小r和倍率g以及入射光的方位角φ并使用下面的数学式24和25求出修正前图像面上的像点的直角坐标(x′，y′)。

数学式24

x′＝gr(θ)cosφ

数学式25

y′＝gr(θ)sinφ

在这种过程中，应当精确地确定修正前图像面上的第二交点的坐标或等同地确定传感器面上的第一交点的位置。通过图像处理技术等多种方法可容易求得这种交点的位置，由于是在本领域广为人知的技术，因而在本说明书中不再赘述。最后，代入通过具有该直角坐标的鱼眼透镜的像点的信号(即、RGB信号)作为在上述全方位图像的具有直角坐标(x″，y″)的像点的信号。以这种方法对于全方位图像上的所有像点进行图像处理，则能够得到具有优选投影方式的全方位图像。

但实际上由于存在所有图像传感器和显示器单元均被数字化的事实，因而发生更复杂的问题。修正后图像面具有横向为J_max个列(column)且竖向为I_max个行(low)的二维矩阵形态的像素(pixel)，各像素大体上为横向和竖向长度均为p的正方形的形状，但在图像处理(image processing)领域将像素的横向和竖向边长均看做1。为了指定某一像素P″使用行(low)号I和列(column)号J。

有与上述修正后图像面上的像素P″对应的图像传感器面上的像点(即、第一点)。在该第一点成像的入射光的在世界坐标系的横向入射角可以是ψ_I，J≡ψ(I，J)。而且，竖向入射角可以是δ_I，J≡δ(I，J)。但该第一点的位置并不是与某一像素的位置精确地一致。

此时，若上述修正后图像面为全方位图像则横向入射角如在数学式26给出那样，应为仅与横向像素坐标J相关的函数。

数学式26

ψ_I，J＝ψ_J≡ψ(J)

与此相同地、竖向入射角应为仅与竖向像素坐标I相关的函数。

数学式27

δ_I，J＝δ_I≡δ(I)

若与上面所述的图像处理方法比较，则在数字化的画面上的图像处理方法通过如下过程。首先，依据试验或基于精确的透镜的设计图求出用于获得图像的广角透镜的实际投影方式。这里，透镜的实际投影方式是指对于光轴具有天顶角θ的入射光在通过上述透镜的成像作用而在图像传感器面上形成清晰的像点时，以入射光的天顶角θ的函数求得从上述图像传感器面与光轴的交点O到上述像点的距离r。

数学式28

r＝r(θ)

上述函数是对天顶角θ的单调递增函数。接着，在修正前图像面求出光轴的位置即在图像传感器面与第一交点O对应的修正前图像面上的第二交点O′的位置。将该第二交点的像素坐标假设为(K_o，L_o)。而且，求出与图像传感器面上的像点的大小r对应的修正前图像面上的像素距离r′的放大倍数g。该放大倍数g如数学式29给出。

数学式29

$>g=\frac{r^{\prime }}{r}$>

若这种一系列的预先作业结束，则与地面平行地设置安装有上述鱼眼透镜的照相机的光轴而获得原图像(即、修正前图像面)。接着，定理想的修正后图像面的大小和第三交点的位置(I_o，J_o)，并对于上述修正后图像面内的所有像素(I，J)计算由数学式30和31给出的横向入射角ψ_J和竖向入射角δ_I。

数学式30

$>{\psi }_J=\frac{{\psi }_{J\max }-{\psi }_1}{J_{\max }-1}(J-J_o)$>

数学式31

$>{\delta }_I={\tan }^{-1}\left\{\frac{{\psi }_{J\max }-{\psi }_1}{J_{\max }-1}(I-I_o)\right\}$>

使用数学式32和33从该横向入射角和竖向入射角求出在第一直角坐标系的入射光的天顶角θ_I，J和方位角Φ_I，J。

数学式32

θ_I，J＝cos^-1(cosδ_I cosψ_J)

数学式33

$>{\phi }_{I,J}={\tan }^{-1}\left(\frac{{\tan \delta }_I}{{\sin \psi }_J}\right)$>

接着，使用数学式34和28求出图像传感器面上的像大小r_I，J。

数学式34

r_I，J＝r(θ_I，J)

接着，使用修正前图像面上的第二交点的位置(K_o，L_o)和放大倍数g并使用数学式35和36求出修正前图像面上的第二点的位置。

数学式35

x′_I，J＝L_o+gr_I，J cosφ_I，J

数学式36

y′_I，J＝K_o+gr_I，J sinφ_I，J

上述第二点的位置不是与某一像素的位置精确地一致。因此，可以将(x′_I，J，x′_I，J)看做是与修正后图像面上的第三点对应的修正前图像面上的虚拟的像素坐标，一般来讲，具有实数值。

由于上述第二点不是与某一像素精确地一致，因而为了进行图像处理应使用恰当的插补法(interpolation)。图16是从图5的图像提取的圆柱投影方式的全方位图像，是横边长W与竖边长H均为250像素，第三交点位于修正后图像面的中央。而且，修正后图像面的横向视场角是180°即π。从图16可知，图5的正面壁与左、右壁的垂直线在图16显为直线。另一方面，图17是在与地面平行地设置了参考文献5和6中所记载的视场角190°的鱼眼透镜的光轴的状态下捕捉的室内全景。上述参考文献详细地描述了该鱼眼透镜的实际投影方式。另一方面，图18是从图17的鱼眼图像提取的圆柱投影方式的全方位图像。这里，修正后图像面的横向对竖向之比以16∶9给出，第三交点的位置与修正后图像面的中心一致，水平方向的视场角设定成190°。从图18可知，垂直线均以垂直线表示出，被摄体均显得很自然。稍许的误差主要是由将光轴调节到水平的以及在修正前图像面定光轴的位置的实验性误差引起的。

上面所述的参考文献8的发明提供一种提供数学上精确的全方位图像的图像处理算法及装置。但在多数情况下，无畸变的直线像差修正图像会更重要。或者，一同使用全方位图像和直线像差修正图像从而能够得到更大的满足。图19是记载在参考文献9中的现有发明的一实施例的直线像差修正投影方式的概念图。直线像差修正投影方式的透镜是通常所说的无畸变的透镜，直线像差修正透镜的特性看做与针孔照相机的特性相同。如图19所示，为了得到这种直线像差修正投影方式的图像，考虑世界坐标系的物体面1931与修正后图像面1935。

上述实施例的成像系统朝向任意方向，第三直角坐标系以该成像系统的光轴1901为负的z″轴，并透镜的节点N为原点。图像传感器面是横边长为B且竖边长为V的长方形的形状，图像传感器面是垂直于光轴的平面。另一方面，修正后图像面是横边长为W且竖边长为H的长方形的形状。第一直角坐标系的x轴、第二直角坐标系的x′轴、第三直角坐标系的x″轴、以及世界坐标系的X轴均平行于图像传感器的传感器面的横边。而且，第一直角坐标系的z轴、第二直角坐标系的z′轴、以及第三直角坐标系的z″轴均相同且指向与世界坐标系的Z轴正相反的方向。

在上述实施例中，假设修正后图像面位于距透镜的节点有距离s″的位置。在直线像差修正投影方式中，物体面1931的形状也是垂直于光轴的平面，物体面上的被摄体的图像以依旧保存了横向比率和竖向比率的状态重现在修正后图像面1935上。直线像差修正透镜的优选投影方式与针孔照相机的投影方式相同。考虑到针孔照相机的单纯的几何学特性，便利的是，将物体面1931的大小或形状假设为与修正后图像面的大小或形状相同。因此，从物体面1931到透镜的节点N的距离也假设为s″。

图20图示了图像传感器面与光轴交点O即与第一交点对应的修正后图像面上的第三交点O″与修正后图像面2043的中心C″不一致的情况。因此，相当于在现有发明的一实施例中起了滑动作用的成像系统。在以第三交点为原点的二维直角坐标系中上述中心C″的坐标是(x″_c，y″_c)。由于修正后图像面的横向长度为W，因而横坐标以上述中心C″为基准为最小值x″₁＝-W/2至最大值x″₂＝W/2。这里考虑到中心C″的坐标，修正后图像面上的横坐标的范围是最小值x″₁＝x″_c-W/2至最大值x″₂＝x″_c+W/2。与此相同地、纵坐标的范围是最小值y″₁＝y″_c-H/2至最大值y″₂＝y″_c+H/2。

从修正后图像面上的第三交点O″到第三点P″的距离即像大小r″如数学式37给出。

数学式37

$>r^{\prime \prime }=\sqrt{{\left(x^{\prime \prime }\right)}^2+{\left(y^{\prime \prime }\right)}^2}$>

由于从透镜的节点到修正后图像面的虚拟的距离为s″，因而通过上述直线像差修正透镜到达第三点的入射光具有由数学式38给出的天顶角。

数学式38

$>\theta ={\tan }^{-1}\left(\frac{r^{\prime \prime }}{s^{\prime \prime }}\right)$>

另一方面，上述入射光的方位角如数学式39给出。

数学式39

$>\phi ={\phi }^{\prime \prime }={\tan }^{-1}\left(\frac{y^{\prime \prime }}{x^{\prime \prime }}\right)$>

因此，在具有这种天顶角和方位角的入射光通过透镜的成像作用而在上述图像传感器面形成像点时，其像点的坐标如数学式40和41给出。

数学式40

x′＝gr(θ)cosφ

数学式41

y′＝gr(θ)sinφ

因此，将具有这种直角坐标的修正前图像面上的信号值作为修正后图像面上的第三点的信号值代入即可。

与上面所述的现有的实施例相同地、考虑到所有图像传感器和显示器单元均被数字化的事实，便利的是，图像处理过程使用如下数学式。首先，定修正后图像面的大小(I_max，J_max)和滑动前的横向视场角Δψ。这样一来，可利用数学式42求得从透镜的节点到修正后图像面的像素距离s″。

数学式42

$>s^{\prime \prime }=\frac{J_{\max }-1}{2\tan \left(\frac{\mathrm{\Delta \psi }}{2}\right)}$>

而且，修正后图像面的中心的坐标如数学式43给出。

数学式43

$>(I_o,J_o)=(\frac{1+I_{\max }}{2},\frac{1+J_{\max }}{2})$>

这里，数学式43反映的是在数字化的图像中指定左上的像素坐标为(1，1)的惯例。

接着，根据需要从第三交点定上述中心的位移(ΔI，ΔJ)。若这种设定结束，则对于修正后图像面上的所有像素计算由数学式44给出的天顶角和由数学式45给出的方位角。

数学式44

$>{\theta }_{I,J}={\tan }^{-1}\left\{\frac{\sqrt{{(I-I_o+\mathrm{\Delta I})}^2+{(J-J_o+\mathrm{\Delta J})}^2}}{s^{\prime \prime }}\right\}$>

数学式45

$>{\phi }_{I,J}={\tan }^{-1}\left(\frac{I-I_o+\mathrm{\Delta I}}{J-J_o+\mathrm{\Delta J}}\right)$>

接着，使用数学式46求出图像传感器面上的像大小r_I，J。

数学式46

r_I，J＝r(θ_I，J)

接着，使用修正前图像面上的第二交点的位置(K_o，L_o)和放大倍数g求出修正前图像面上的第二点的位置。

数学式47

x′_I，J＝L_o+gr_I，J cos(φ_I，J)

数学式48

y′_I，J＝K_o+gr_I，J sin(φ_I，J)

这样，若找到了对应的第二点的位置，则使用上面所述的插补法能够求得直线像差修正图像。

图21是从图5的鱼眼图像提取的直线像差修正图像，修正后图像面的大小是横向、竖向均为250像素，表示无滑动作用的直线像差修正图像。从图21可知，所有直线均捕捉成直线。另一方面，图22是从图17的图像提取的直线像差修正图像，横向对竖向之比为4∶3，第三交点的位置位于修正后图像面的中心，横向视场角是60°。从该图像中可知，世界坐标系中的所有直线在修正后图像面显为直线。

参考文献8的全方位成像系统为了提供与具备成像系统的装置对于地面的倾斜无关地总是自然的全方位图像，需要方向指示单元。但如摩托车或无人机那样在费用或重量以及体积等方面有可能不存在易搭载方向指示单元的情况。图23是表示这种情况下可以使用的多视点全景(multiple viewpointpanorama)的定义的概念图。

提供多视点全景的成像系统的特征是，包括：利用以光轴为中心的旋转对称式广角透镜而获得修正前图像面的图像获得单元；基于上述修正前图像面生成修正后图像面的图像处理单元；以及在长方形形状的画面上显示与述修正后图像面的图像显示单元。

在图23中，修正后图像面由第一子直线像差修正图像面2331-1、第二子直线像差修正图像面2331-2、以及第三子直线像差修正图像面2331-3这三个子直线像差修正图像面构成，第一至第三子直线像差修正图像面在修正后图像面上横向排列。更为通常地、上述修正后图像面为多视点全景，上述多视点全景由在上述画面上横向排列的第一至第n子直线像差修正图像面构成，这里，n2为以上的自然数，以上述广角透镜的节点为原点的世界坐标系中的任意直线在上述第一至第n子直线像差修正图像面显示为直线2381A，显示在相邻的两个以上的子直线像差修正图像面的上述世界坐标系中的任意直线在上述修正后图像面显示为相连的线段2381B-1、2381B-2、2381B-3。

图24是提供这种多视点全景方式的图像的物体面的概念图。本实施例的物体面做成2个以上的作为平面的子物体面相连的构造。虽然在图24中图示了使用2431-1、2431-2、以及2431-3这三张子物体面的情况，但一般来讲，对于n个子物体面的情况也能同样容易理解。为了容易理解本实施例，假设以透镜的节点N为中心的半径为T的球。假设用屏风以相接的方式围住了该球，则就是该屏风相当于本实施例的物体面。因此，n个子物体面均距透镜的节点有相同的距离T。其结果，各个子物体面均具有相同的可变焦比(zoom ratio)或图像的放大倍数。

在使用三张子物体面的图24中，第一子物体面2431-1的主视方向2401-1与第二子物体面2431-2的主视方向2401-2具有角度ψ_1-2，第三子物体面2431-3的主视方向2401-3与第二子物体面2431-2的主视方向2401-2具有角度ψ_3-4。第一子物体面的横向视场角的范围为最小值ψ₁至最大值ψ₂，第二子物体面的横向视场角的范围为最小值ψ₂至最大值ψ₃。通过相邻的子物体面的横向视场角以这种方式连续地连接，能够得到自然的多视点方式的全景图像。第一子物体面与第三子物体面通过以适当的角度对第二子物体施以摇摄作用而得到。

图25是另一鱼眼图像的例，可观察到在室内天花板上设置了视场角为190°的鱼眼透镜时得到的效果。另一方面，图26是从图25提取的多视点全景图像。各个物体面具有190°/3的横向视场角。从图26的图像可知这种成像系统对室内保安相机有用。

图27是利用现有发明和本发明的思想的成像系统的实施例的概念图，由图像获得单元2710和图像处理单元2716以及图像显示单元2717构成。本发明的图像处理单元2716具有存储从图像获得单元2710获得的图像的帧(frame)的输入缓冲器(input frame buffer)2771。在输入缓冲器2771中存储有在图像获得单元2710获得的具有二维矩阵的形态的数字图像。该图像即为修正前图像面。另一方面，与能够显示于图像显示单元2717的修正后图像面2735对应的输出信号以二维矩阵的形态存在于输出缓冲器(output framebuffer)2773中。存在从存在于该输入缓冲器中的修正前图像面生成修正后图像面并存储到输出缓冲器的中央处理装置2775。该输出缓冲器与输入缓冲器的对应关系以参照表(LUT:lookup table)的形态存储于如SDRAM的非易失性存储器2779中。换言之，存储有使用相应于本发明实施例的算法而指定与输出缓冲器的特定像素对应的输入缓冲器的像素地址的较长的目录。中央处理装置2775参照存储于该非易失性存储器中的目录而进行图像处理。

另一方面，图像选择装置2777起着接收来自传感器或图像选择单元的信号并向中央处理装置传递的作用。而且，图像选择装置识别使用者按下的按钮而发出照原样输出畸变的鱼眼图像，或者输出圆柱全景或墨卡托投影方式的全景，或者输出直线像差修正图像的指示。在上述非易失性存储器中有与使用者可选择的选项的项数对应的数量之多的目录。

在如此多种情况下，安装于上述图像获得单元的旋转对称式广角透镜可以成为视场角180°以上的折射式鱼眼透镜，但也有需要反射折射式鱼眼透镜的情况。而且，投影方式可以使用等距投影方式，但还可以使用赤平投影方式。一般从多个角度来讲，赤平投影方式的鱼眼透镜更为理想，但赤平投影方式的鱼眼透镜在设计或制作上难易度尤其高，因而等距投影方式的鱼眼透镜可成为现实性的代行方案。

图像显示单元2717根据应用例可以是计算机屏幕、CCTV监视器、CRT监视器、数字电视、LCD projector、network monitor、手机画面、安装在汽车上的导航仪等多种装置。

这种成像系统中有两个缺点。其一是，由于在图像处理单元需要附加如DSP chip或SDRAM的零部件，因而成像系统的制造成本变高。其二是，第个图像处理过程需要几十milliseconds以上的时间，因而在从图像显示单元看到的图像与实际被摄体的现状态之间存在时间上的间距。虽然几十milliseconds并不是较长的时间，但对于高速行驶的汽车来讲，有可能相当于几米的差距。因此，不存在容许那样段的时间间距的应用例。那种差异在如航空器或导弹的领域中将更大。

参考文献10中提出有使图像传感器自身的像素的配置与全方位图像一致从而不进行图像处理即可得到全方位图像的技术思想。图28中图示有通常的反射折射式全方位成像系统的概念图。如图28所示，现有的反射折射式全方位成像系统由截面的形状为近似于双曲线(hyperbola)的旋转对称式全方位镜2811、位于该镜2811的旋转对称轴2801上朝向镜2811配置的成像透镜2812、以及其内部具备图像传感器2813的照相机主体2814构成。此时，在镜2811周边的360°所有方向朝向旋转对称轴2801入射，具有天顶角(zenith angle)θ的入射光2805在镜面2811上的一点M反射而被捕捉到图像传感器2813，此时，像大小由r＝r(θ)给出。

图29是利用图示在图28中的现有的反射折射式全方位成像系统而获得的示例性的田园风景的概念图。如图29所示，虽然胶卷或图像传感器(imagesensor)2813自身的形状是正方形(square)或长方形(rectangle)的形状，但利用全方位成像系统而获得的全方位图像是环(ring)形。图29中除了划有斜线的(hatching)区域之外的其它部分为全方位图像，中央的划有斜线的圆表示因照相机主体遮挡了视线而未能拍摄到的照相机后部区域。在该圆内存在映照到镜2811的照相机自身的图像。另一方面，四个角处的划有斜线的区域是因照相机透镜2812的对角线(diagonal)方向的视场角比全方位镜2811的视场角宽而产生的部分。全方位透镜不存在时所捕捉的照相机前方的图像被捕捉到该部分。另一方面，参照图30，图示有利用图像处理软件并以切割线为基准将图29的未展开的环形全方位图像转换成正常的视点(perspectivelynormal)的图像的展开的全方位图像。

图31表示将例示在图29中的环形全方位图像转换成图30的展开的全方位图像所需几何学上的关系。在图像传感器面3113，直角坐标系(rectangularcoordinate)的原点O位于传感器面的中央，x坐标值自图像传感器面的左向右增加，y坐标值自上端向下端增加。图像面3133在图像传感器面3113具有以同心圆状(concentric)的内部边缘3133a和外部边缘3133b定义的环(ring)形，内部边缘3133a的半径(radius)为r₁，外部边缘3133b的半径为r₂。在直角坐标系中全方位图像面3133中心的坐标为(0，0)，标注内部边缘3133a与外部边缘3133b之间的全方位图像面3133内的一点P的坐标为(x，y)。另一方面，在极坐标系(polar coordinate)中以(r，θ)表示上述一点P的坐标。直角坐标系和极坐标系中变量满足下面的如数学式49至数学式52的单纯的几何学上关系，利用这种关系式能够进行两种坐标系之间的自如的转换。

数学式49

x＝rcosφ

数学式50

y＝rsinφ

数学式51

$>r=\sqrt{x^2+y^2}$>

数学式52

$>\phi ={\tan }^{-1}\left(\frac{y}{x}\right)$>

这里，所展开的全方位图像的横坐标与方位角φ成比例，纵坐标与半径r成比例。

如上面所述，在参考文献10中提出有不必进行旨在将环形未展开的全方位图像转换为长方形形状的展开的全方位图像的图像处理的CMOS图像传感器。

如图32所示，通常的CMOS图像传感器面3213包括排列成格子状的多个像素(pixel)3281、垂直移位寄存器(vertical shift resister)3285、以及水平移位寄存器(horizontal shift register)3284。各像素3281具备将所受光的光的强度转换为电荷的量的光电元件3282和以电压表示电荷的量的电荷检测用放大器3283。捕捉到某一像素上的光在像素单位转换为电压之后，通过水平移位寄存器和垂直移位寄存器输出到信号线。这里，垂直移位寄存器能够选择性地选择互不相同的行的像素，水平移位寄存器能够选择性地选择互不相同的列的像素。具有这种构成的CMOS图像传感器可在低压、单一电源驱动且耗电小。

在每一个像素3281占有一定面积的电荷检测用放大器3283部分是不能对受光作贡献的区域。对于像素的面积的受光面积即光电元件的面积的比称为占空因数(Fill Factor)，该占空因数越大光检测效率就越高。

具有这种构造特性的现有的CMOS图像传感器与CCD图像传感器相比设计自由度高且容易排列像素。图33是表示根据现有发明的一实施例的全方位成像系统用CMOS图像传感器的像素的排列的平面图。CMOS图像传感器具有排列像素3381的传感器面(imaging plane)3313。虽然在图33中以一个点表示了像素3381，但该点相当于表示像素的位置的中心点，实质上像素3381占有以上述一点为中心的周边的一定面积。各像素3381排列在以传感器面上的一点O为起点(starting point)的M个辐射线(radial lines)3305与以上述一点O为中心的N个同心圆(concentric circles)3306的交点(inter section)。M和N均为自然数(natural number)，从中心点O到第n个同心圆的半径r_n如下面的数学式53定义。

数学式53

$>r_n=\frac{n-1}{N-1}(r_N-r_1)+r_1$>

在数学式53，n为1至N的自然数，r₁为从中心点O到第一个同心圆的半径，r_n为从中心点O到第n个同心圆的半径。M个辐射线均保持一定的角距离(angular distance)。即、一个同心圆内的像素均以相同的角距离沿着同心圆的圆周隔着一定间距排列。而且，各像素由数学式53而以相同的间距排列在辐射方向(radial direction)上。

考虑到全方位图像的特性，从有效性来讲传感器面3313最好具有正方形(right rectangle)的形状。更为理想的是，传感器面3313的一个边长不小于2r_N，且同心圆的中心点O位于传感器面3313的中央。

如图33那样在沿辐射方向具有相同间距的同心圆3306的各圆周上以一定的角距离相隔排列有像素3381的全方位成像系统用CMOS图像传感器，虽未图示但进一步包括辐射方向移位寄存器(radial shift register)或r-寄存器和圆周方向移位寄存器(circumferential shift register)或θ-寄存器。利用辐射方向移位寄存器能够选择性地选择位于互不相同的同心圆上的像素，利用圆周方向移位寄存器能够选择性地选择位于相同同心圆上的互不相同的辐射线上的像素。

上面所述的根据现有发明的一实施例的CMOS图像传感器的各像素具备相同的大小的光电元件。但像素的辐射照度越是从CMOS图像传感器面3313的中心趋近边缘越是按照广为人知的余弦四次方定律减少。余弦四次方定律在视场角较大的照相机透镜系统决定拍摄时的曝光时间(exposuretime)，或决定捕捉到位于图像传感器的中心边缘的像素上的亮度之比时成为重要指标。图34表示旨在解决图像传感器面的中心与边缘的亮度之差的根据现有发明的另一实施例的全方位成像系统用CMOS图像传感器的构造。与上面所述的实施例相同地、各像素在CMOS图像传感器面3413以相同的间距排列在具有相同的角距离的辐射线上。即、各像素在沿辐射方向隔着相同间距位于传感器面上的各同心圆上沿着圆周隔着相同的间距排列。虽然在图34中也以一个点表示了像素，但该点相当于表示像素的位置的中心点，实质上像素占有以上述点为中心的周边的一定面积。

由于图像传感器面的所有像素沿圆周方向具有相同的角距离，因而某一像素所能最大地占有的图像传感器面的区域与半径比例而增加。即、存在于距图像传感器面的中心为半径r_j的圆上的像素3430_j与存在于半径为r_i(这里，r_i≤r_j的圆上的像素3430i相比，能够占有更宽的区域。这样，远离图像传感器面的中心的像素与靠近中心的像素相比，能够确保更大的面积，因而在以相同的大小形成各像素的电荷检测用放大器的情况下，远离中心的边缘的像素上形成相对较大面积的光电元件而增加受光面积，从而不仅能够增加占空因数(fillfactor)还能抵消按照余弦四次方定律的辐射照度的减少。此时，光电元件的大小能够与同心圆的半径成比例。

另一方面，参考文献11中提出有为了补偿透镜的亮度随远离光轴而降低，而具有像素的光电元件的面积随远离光轴而变大的构造的CMOS图像传感器。

[参考文献1]J.F.Blinn and M.E.Newell，″Texture and reflection in computergenerated images″，Communications of the ACM，19，542-5479(1976).

[参考文献2]N.Greene，″Environment mapping and other applications ofworld projections″，IEEE Computer Graphics and Applications，6，21-29(1986).

[参考文献3]E.W.Weisstein，″Cylindrical Projection″，http://mathworld.wolfram.com/CylindricalProjection.html.

[参考文献4]W.D.G.Cox，″An introduction to the theory ofperspective-part1″，The British Journal of Photography，4，628-634(1969).

[参考文献5]权琼一，M.Laikin，″鱼眼透镜″，韩国专利第10-0888922号，授权日2009年3月10日。

[参考文献6]G.Kweon，Y.Choi，and M.Laikin，″Fisheye lens for imageprocessing applications″，J.of the Optical Society of Korea，12，79-87(2008).

[参考文献7]权琼一，M.Laikin，″广角透镜″，韩国专利第10-0826571号，授权日2008年4月24日。

[参考文献8]权琼一，“利用旋转对称式广角透镜获得全方位图像的方法及装置”，韩国专利第10-0882011号，授权日2009年1月29日.

[参考文献9]权琼一，“利用旋转对称式广角透镜获得全方位图像和直线像差修正图像的方法及其成像系统”，韩国专利第10-0898824号，授权日2009年5月14日。

[参考文献10]权琼一，“CMOS图像传感器及包括它的全方位图像系统”，韩国专利第10-0624051号，授权日2006年9月7日。

[参考文献11]A.Silverstein，″Method，apparatus，and system providingarectilinear pixel grid with radially scaled pixels″，PCT/US2008/060185，国际申请日2008年4月14日。

发明内容

技术课题

本发明目的在于提供一种旨在从通过安装有以光轴为中心的旋转对称式广角透镜的照相机获得的数字化的图像中得到产业上有用的复合图像的图像处理方法、以及用于这种成像系统且通过硬件方式进行图像处理而不是通过另外的软件方式进行图像处理的CMOS图像传感器。

技术解决方法

本发明基于对具有畸变的广角透镜的成像作用的几何光学上的定律和对产业上有用的图像的数学上的定义而提供原理上精确的图像处理算法，而且提供以物理方法实现这种算法的CMOS图像传感器。

有利的效果

由于在CMOS图像传感器以硬件方式进行图像处理，因而不仅不存在图像信号的滞后，而且与基于软件方式的图像处理的成像系统相比，能够以明显低廉的费用实现全方位或广角成像系统。

附图说明

图1是纬度与经度的概念图。

图2是等矩形投影方式的地图的概念图。

图3是圆柱投影的概念图。

图4是通常的旋转对称式透镜的实际投影方式的概念图。

图5是根据以计算机制作的虚拟的等距投影鱼眼透镜的图像的例。

图6是表示赤平投影方式的折射式鱼眼透镜的光学构造和光线的路径的图。

图7是表示赤平投影方式的反射折射式鱼眼透镜的光学构造和光线的路径的图。

图8是表示直线像差修正投影方式的反射折射式全方位透镜的光学构造和光线的路径的图。

图9是在现有发明中的世界坐标系的概念图。

图10是基于现有发明的图像处理的成像系统的概念图。

图11是修正前图像面的概念图。

图12是显示在图像显示单元的修正后图像面的概念图。

图13是在根据现有发明的圆柱投影方式的全方位照相机中假设的物体面的概念图。

图14是图13的物体面的X-Z平面上的剖视图。

图15是图13的物体面的Y-Z平面上的剖视图。

图16是从图5的图像提取的圆柱投影方式的全方位图像的例。

图17是使用现有发明的鱼眼透镜而拍摄的室内全景的例。

图18是从图17的鱼眼图像提取的水平视场角190°的圆柱投影方式的全方位图像。

图19是表示根据现有发明的直线像差修正投影方式的概念图。

图20是旨在便于理解视场角随修正后图像面的相对位置变化的概念图。

图21是从图5的鱼眼图像提取的水平视场角120°的直线像差修正图像。

图22是从图17的鱼眼图像提取的水平视场角60°的直线像差修正图像。

图23是表示多视点全景的定义的概念图。

图24是多视点全景方式的物体面的概念图。

图25是使用现有发明的鱼眼透镜而拍摄的另一室内全景的例。

图26是从图25的鱼眼图像提取的多视点全景图像的例。

图27是现有发明的图像处理单元的优选实施例的概念图。

图28是现有的反射折射式全方位成像系统的概念图。

图29是以图28图示的反射折射式全方位成像系统捕捉的未展开的全方位图像的示例图。

图30是与图29的未展开的全方位图像对应的已展开的全方位图像的示例图。

图31是旨在便于理解全方位图像的几何学上的转换的概念图。

图32是表示通常的CMOS图像传感器的构成的概念图。

图33是表示根据现有发明的一实施例的全方位成像系统用CMOS图像传感器内的像素排列的概念图。

图34是表示根据现有发明的一实施例的全方位成像系统用CMOS图像传感器的构造的概念图。

图35是根据本发明的第一实施例的物体面的概念图。

图36是根据本发明的第一实施例的与圆柱全方位图像面对应的物体面的概念图。

图37是根据本发明的第一实施例的与多视点全景图像面对应的物体面的概念图。

图38是与图37对应的多视点全景图像面的例。

图39是根据本发明的第一实施例的与复合型图像面对应的物体面的概念图。

图40是从与图39对应的图5提取的复合型图像面的例。

图41是从与图39对应的图17提取的复合型图像面的另一例。

图42是根据本发明的第二实施例的复合型物体面的Y-Z平面剖视图。

图43是按照本发明的第二实施例从图5提取的复合型图像面的例。

图44是使用现有发明的鱼眼透镜而拍摄的室外全景的例。

图45是按照本发明的第二实施例从图44提取的复合型图像面的例。

图46是根据本发明的第三实施例的复合型图像面的概念图。

图47是与图46的复合型图像面对应的复合型物体面的概念图。

图48是从图44的鱼眼图像提取的复合型图像面的例。

图49是表示图47的物体面的对Z轴的依赖性的概念图。

图50是按照本发明的第五实施例从图51提取的赤平投影方式的鱼眼图像的例。

图51是使用现有发明的鱼眼透镜而拍摄的室内全景的例。

图52是按照本发明的第五实施例从图51提取的赤平投影方式的鱼眼图像的例。

图53是按照本发明的第五实施例从图5提取的等距投影方式的鱼眼图像的例。

图54是按照本发明的第六实施例从图5提取的另一复合图像的例。

图55是根据本发明的第七实施例的CMOS图像传感器面上的像素中心点的配置例。

图56是在图55中仅将像素另行图示的图。

图57是旨在便于理解根据本发明的第七实施例的CMOS图像传感器的图像传感器面上的像素排列的图。

图58是旨在便于理解本发明在的开口曲线的方向的概念图。

图59是符合根据本发明的第七实施例的等矩形投影方式的CMOS图像传感器的图像传感器面上的像素排列的例。

图60是符合根据本发明的第七实施例的墨卡托投影方式的CMOS图像传感器的图像传感器面上的像素排列的例。

图61是符合根据本发明的第七实施例圆柱投影方式的CMOS图像传感器的图像传感器面上的像素排列的例，是反映了透镜的实际畸变的情况的例。

图62是根据本发明的第八实施例的直线像差修正投影方式的CMOS图像传感器的图像传感器面上的像素排列的例。

图63是符合根据本发明的第八实施例直线像差修正投影方式的CMOS图像传感器的图像传感器面上的像素排列的例。

图64是符合根据本发明的第九实施例的多视点全景投影方式的CMOS图像传感器的图像传感器面上的像素排列的例。

图65是符合根据本发明的第九实施例的复合型投影方式的CMOS图像传感器的图像传感器面上的像素排列的例。

图66是图示了在通常的CMOS图像传感器中的像素构造的概念图。

图67是在图64中为了在子图像面之间显示边界线而形成了钝感像素的情况的示例图。

图68是在图65中为了在子图像面之间显示边界线而形成了钝感像素的情况的示例图。

具体实施方式

下面参照图35至图68详细说明根据本发明的优选实施例。

(第一实施例)

图35是具有已一般化的圆柱面(generalized cylinder)的形状的本发明第一实施例的物体面3531的概念图。若假设这种虚拟的物体面是由不会伸缩但容易弯曲或折叠的材质做成则较易理解。另一方面，该物体面的未弯曲或未折叠的状态与修正后图像面精确地相同。即、意思就是说物体面一旦平坦地展开则与修正后图像面完全相同。

如上面所述，物体面在世界坐标系以弯曲或折叠的状态存在。描述物体面上的虚拟的一物点Q的世界坐标系的三个坐标由X，Y，Z给出，与参考文献8和9的世界坐标系有稍许差异。即、本发明的世界坐标系的原点位于广角透镜的节点N，Z轴与广角透镜的光轴3501一致，Y轴通过上述原点并与上述照相机内部的图像传感器面的竖边平行且自图像传感器面的上端向下端的方向为正(+)的方向。或者，是在原点观察物体面时自上向下的方向为正方向。另一方面，X轴是平行于图像传感器面3513的横边且在原点N观察物体面3531时自左向右的方向。上述世界坐标系是右手坐标系(right-handedcoordinate system)。因此，一旦定下Z轴与Y轴的方向则X轴的方向就自动地定下来。

另一方面，描述图像传感器面上的像点的第一直角坐标系的基准点(reference point)O位于光轴3501与图像传感器面3513的交点，x轴平行于图像传感器面的横边，在广角透镜的节点观察图像传感器面时自上述传感器面的左向右的方向为正(+)的方向，y轴平行于图像传感器面的竖边，在广角透镜的节点观察图像传感器面时自上述传感器面的上端向下端的方向为正(+)的方向。另一方面，描述修正前图像面的第二直角坐标系的x′轴与描述修正后图像面的第三直角坐标系的x″轴的方向均与第一直角坐标系的x轴方向相同。而且，第二直角坐标系的y′轴与第三直角坐标系的y″轴的方向均与第一直角坐标系的y轴方向相同。

由于平坦地展开的物体面与修正后图像面相同，因而修正后图像面上的各像素(I，J)在虚拟的物体面上具有对应的虚拟的物点。因此，可考虑物体面上的二维坐标为(I，J)。具有物体面上的二维坐标(I，J)的物点Q＝Q(I，J)具有修正后图像面上的对应的像点P＝P(I，J)。另一方面，具有物体面上的坐标(I，J)的一物点Q＝Q(I，J)在世界坐标系具有三维空间坐标(X_I，J，Y_I，J，Z_I，J)。各个坐标X_I，J，Y_I，J，Z_I，J均为I与J的函数。即、X_I，J＝X(I，J)，与此相同地、Y_I，J＝Y(I，J)且Z_I，J＝Z(I，J)。

若在物体面上像素坐标从(I，J)变为(I，J+1)即横向变化仅为1，则三维空间坐标也从(X_I，J，I_I，J，Z_I，J)变到(X_I，J+1，Y_I，J+1，Z_I，J+1)。但是，由于物体面不伸缩，因而若假设物体面并未折叠而是以弯曲的程度相对较弱，则物体面上的二维像素坐标变化1左右时，世界坐标系中的空间坐标也变化大致1左右的距离。更为严谨地讲，世界坐标系中的空间坐标可变化大致常数C，但对图像处理方法不带来任何影响，因而为了方便起见假设变化距离1左右。因此，数学式54的关系式成立。

数学式54

$>{(X_{I,J+1}-X_{I,J})}^2+{(Y_{I,J+1}-Y_{I,J})}^2+{(Z_{I,J+1}-Z_{I,J})}^2\cong 1$>

与此相同地、若像素坐标从(I，J)变为(I+1，J)即竖向变化仅为1，则世界坐标系中的空间坐标也变化大致1左右的距离。因此，数学式55的关系式成立。

数学式55

$>{(X_{I+1,J}-X_{I,J})}^2+{(Y_{I+1,J}-Y_{I,J})}^2+{(Z_{I+1,J}-Z_{I,J})}^2\cong 1$>

像素的坐标在修正后图像面和物体面给出为(I，J)，I与J给出为自然数。但从数学上讲，能够假设像素坐标可具有实数值。修正后图像面的大小以具有I_max行和J_max列的二维矩阵的形态给出。若假设各个像素具有正方形形态(square pixel)，且以自然数给出的像素坐标是正方形像素的中心坐标，则物体面的二维坐标的范围是，纵坐标I具有0.5至I_max+0.5的范围(0.5≤I≤I_max+0.5)，横坐标J也具有0.5至J_max+0.5的范围(0.5≤J≤J_max+0.5)。若利用物体面不伸缩的事实和二维坐标I与J为实数变量的假设，则数学式54向下面的数学式56给出，数学式55向数学式57给出。

数学式56

$>{\left(\frac{{\partial X}_{I,J}}{\partial J}\right)}^2+{\left(\frac{{\partial Y}_{I,J}}{\partial J}\right)}^2+{\left(\frac{{\partial Z}_{I,J}}{\partial J}\right)}^2=1$>

数学式57

$>{\left(\frac{{\partial X}_{I,J}}{\partial I}\right)}^2+{\left(\frac{{\partial Y}_{I,J}}{\partial I}\right)}^2+{\left(\frac{{\partial Z}_{I,J}}{\partial I}\right)}^2=1$>

这种物体面的形状自动地决定成像系统的投影方式。三维空间上的一物点Q＝Q(X，Y，Z)在球面极坐标系中给出为Q＝Q(R，θ，φ)。以(X，Y，Z)给出的直角坐标与以(R，θ，φ)给出的球面极坐标满足下面的关系式。

数学式58

X＝Rsinθcosφ

数学式59

Y＝Rsinθsinφ

数学式60

Z＝Rcosθ

数学式61

$>R=\sqrt{X^2+Y^2+Z^2}$>

因此，来自上述物点Q的入射光的方位角φ由三维直角坐标向数学式62给出，天顶角θ向数学式63给出。

数学式62

$>\phi ={\tan }^{-1}\left(\frac{Y}{X}\right)$>

数学式63

$>\theta ={\cos }^{-1}\left(\frac{Z}{\sqrt{X^2+Y^2+Z^2}}\right)$>

因此，将具有修正后图像面的像素坐标(I，J)的像点的信号值代入具有由数学式64和65给出的坐标的修正前图像面上的虚拟的像点的信号即可。

数学式64

x′＝gr(θ)cosφ

数学式65

y′＝gr(θ)sinφ

利用数学式62至65从具有畸变的鱼眼透镜的图像能够得到具有优选投影方式的复合图像如下。首先，根据使用者的需要而定理想的物体面的大小(W，H)和弯或曲的形状以及世界坐标系中的位置。如上面所述，定物体面的形状和位置相当于设计复合图像的投影方式。这样一来，使用数学式62和63就能求得与具有该物体面上的二维坐标(I，J)的三维直角坐标(X(I，J)，Y(I，J)，Z(I，J))对应的入射光的方位角φ和天顶角θ。接着，求出与该入射光的天顶角θ对应的像大小r。使用该像大小r和倍率g以及入射光的方位角Φ并使用数学式64和65求出修正前图像面上的像点的直角坐标(x′，y′)。最后，将具有该直角坐标的通过鱼眼透镜的像点的信号(即、RGB信号)作为具有在上述复合图像的像素坐标(I，J)的像点的信号代入。若以这种方法对于复合图像上的所有像素进行图像处理，则能够得到具有所设计的投影方式的复合图像。

鉴于图像传感器面和修正前、后图像面均已数字化的事实，第一实施例的复合图像获得装置包括：利用安装有以光轴为中心的旋转对称式成像用广角透镜的照相机而获得修正前图像面图像获得单元；基于上述修正前图像面而生成修正后图像面的图像处理单元；以及显示上述修正后图像面的图像显示单元。上述修正前图像面为具有K_max行和L_max列的二维矩阵，在上述修正前图像面，光轴的像素坐标为(K_o，L_o)，上述透镜的实际投影方式由与数学式66相同的函数给出。

数学式66

r＝r(θ)

这里，透镜的实际投影方式是指，将像大小r以对应的入射光的天顶角θ的函数求出，上述照相机的放大倍数g如数学式67给出，这里，r′是与像大小r对应的修正前图像面上的像素距离。

数学式67

$>g=\frac{r^{\prime }}{r}$>

上述修正后图像面和物体面是具有I_max行和J_max列的二维矩阵。与理想的复合图像的形态对应的物体面的形状由数学式68至70决定。

数学式68

X_I，J＝X(I，J)

数学式69

Y_I，J＝Y(I，J)

数学式70

Z_I，J＝Z(I，J)

由数学式68至70给出的直角坐标应满足数学式71和72。

数学式71

$>{\left(\frac{{\partial X}_{I,J}}{\partial J}\right)}^2+{\left(\frac{{\partial Y}_{I,J}}{\partial J}\right)}^2+{\left(\frac{{\partial Z}_{I,J}}{\partial J}\right)}^2=1$>

数学式72

$>{\left(\frac{{\partial X}_{I,J}}{\partial I}\right)}^2+{\left(\frac{{\partial Y}_{I,J}}{\partial I}\right)}^2+{\left(\frac{{\partial Z}_{I,J}}{\partial I}\right)}^2=1$>

但是，由于在物体面被折的情况下在被折的点上不存在微分，因而数学式71或72就不能成立。因此，这种物体面的形状可简述如下。根据本发明的第一实施例的物体面的形状即X＝X(I，J)、Y＝Y(I，J)以及Z＝Z(I，J)为对于I与J连续的函数，在可微分的点上满足数学式71和72。

这样，在定了物体面的形状之后，对于物体面上的具有自然数坐标的所有物点Q＝Q(I，J)求出由数学式73给出的方位角和由数学式74给出的天顶角。

数学式73

$>{\phi }_{I,J}={\tan }^{-1}\left(\frac{Y_{I,J}}{X_{I,J}}\right)$>

数学式74

$>{\theta }_{I,J}={\cos }^{-1}\left(\frac{Z_{I,J}}{\sqrt{X_{I,J}^2+Y_{I,J}^2+Z_{I,J}^2}}\right)$>

使用数学式75求出图像传感器面上的像大小。

数学式75

r_I，J＝r(θ_I，J)

利用修正前图像面上的第二交点即光轴的像素坐标(K_o，L_o)和放大倍数g而定修正前图像面上的第二点即虚拟的像点的位置。

数学式76

x′_I，J＝L_o+gr_I，J cosφ_I，J

数学式77

y′_I，J＝K_o+gr_I，J sinφ_I，J

这样，若找到了对应的第二点的位置，则使用nearest-neighbor或双线性插值法(bilinear interpolation)，bicubic interpolation等多种插补法能够求得全方位图像。

旨在得到如参考文献9的第一实施例的直线像差修正图像面的物体面的形状由数学式78至80给出。这里，修正后图像面的大小为(I_max，J_max)＝(250，250)，(I_o，J_o)为修正后图像面的中心坐标。修正后图像面设定成平行于X-Y平面，并垂直于光轴。而且，修正后图像面的横向视场角为Δψ＝120°，由数学式80给出从世界坐标系的原点N到物体面的距离s″以具有这种横向视场角。

数学式78

X_I，J＝J-J_o

数学式79

Y_I，J＝I-I_o

数学式80

$>Z_{I,J}=s^{\prime \prime }=\frac{J_{\max }-1}{2\tan \left(\frac{\mathrm{\Delta \psi }}{2}\right)}$>

能够容易确认由数学式78至80给出的物体面的形状满足数学式71和72。而且，利用本发明的第一实施例的算法提取的直线像差修正图像与图21一致。因此，可知直线像差修正图像是本发明的第一实施例的一种形态。

另一方面，图36是与对应于参考文献8的第一实施例的圆柱全景图像面对应的虚拟的物体面的X-Z平面剖视图，为了方便起见假设横向视场角为Δψ180°。由于修正后图像面和物体面的横向大小给出为J_max-1，因而物体面的离轴半径ρ由数学式81给出。

数学式81

$>\rho =\frac{J_{\max }-1}{\mathrm{\Delta \psi }}$>

另一方面，物体面的中心坐标给出为(I_o，J_o)，Z轴通过该物体面的中心坐标。因此，具有横向像素坐标J和竖向像素坐标I的物点与Y-Z平面所成的横向视场角ψ_I，J由数学式82给出。

数学式82

$>{\psi }_{I,J}=\frac{J-J_o}{\rho }$>

因此，X轴方向的坐标X_I，J由数学式83给出，Z轴方向的坐标Z_I，J由数学式84给出。

数学式83

$>X_{I,J}=\rho \sin \left(\frac{J-J_o}{\rho }\right)$>

数学式84

$>Z_{I,J}=\rho \cos \left(\frac{J-J_o}{\rho }\right)$>

另一方面，由于物体面的形状为圆柱面，因而Y轴方向的坐标Y_I，J由数学式85给出。

数学式85

Y_I，J＝I-I_o

与这种物体面的形状对应的修正后图像面与图16相同地给出。因此，圆柱全景图像也是本发明的第一实施例的形态。与圆柱全景图像面对应的物体面具有以Z轴为中心并卷成离轴半径ρ的形态。

图37图示的是图24的多视点全景的物体面。图36中的物体面弯成曲线，与此相反，图37中的物体面3731被折曲，与图24的多视点全景的物体面相同。折曲点的坐标如下面的数学式86至90给出。

数学式86

$>T=\frac{J_{\max }-1}{6\tan \frac{\pi }{6}}$>

数学式87

$>X_4=-X_1=\frac{T}{\cos \frac{\pi }{6}}$>

数学式88

Z₁＝Z₄＝0

数学式89

$>X_3=-X_2=\frac{J_{\max }-1}{6}$>

数学式90

Z₂＝Z₃＝T

另一方面，参照图37，与修正后图像面上的像素(I，J)对应的物体面3731上的物点的坐标由数学式91至93给出。当

数学式91

数学式92

数学式93

Y_I，J＝I-I_o

图38是使用这种物体面而从图5的鱼眼图像提取的修正后图像面，设定成J_max＝601，I_max＝240。由此清楚，如参考文献9的图51的多视点全景图像面的物体面也是本发明的第一实施例的物体面之一。

另一方面，图39是根据本发明的第一实施例的复合型物体面3931的X-Z平面剖视图。该物体面设定成，使以光轴为中心的横向视场角相当于60°的区域符合直线像差修正投影方式从而得到正常的无畸变的图像，与此同时，使其左右的横向视场角各自相当于60°的区域符合一看就像圆柱投影方式的方式。物体面在其两个边界面之间光滑地连接，并不折曲。另一方面，左右的图像可看成真正的全景图像。这是因为，物体面对于相同的横向视场角的横向间距不一定之故。

图示在图39的物体面的形状如下面的数学式94至103描述。

数学式94

$>T=\frac{J_{\max }-1}{\pi +2\tan \frac{\pi }{6}}$>

数学式95

$>X_3=-X_2=T\tan \frac{\pi }{6}$>

数学式96

X₄＝-X₁＝X₃+T

数学式97

Z₁＝Z₄＝0

数学式98

Z₂＝Z₃＝T

数学式99

$>J_a=1+T\frac{\pi }{2}$>

数学式100

$>J_b=1+T\frac{\pi }{2}+2T\tan \frac{\pi }{6}$>

数学式101

数学式102

数学式103

Y_I，J＝I-I_o

图40是从图5的图像提取的复合图像。从图40可知，所有直线在中央部分均显示为直线。另一方面，垂直线在其左右显示为垂直线，并显示与全景图像类似的视场角180°的图像。另一方面，图41为在图17提取的图像，与图18相比，可知是所有直线在中央附近均显示为直线的直线像差修正图像。

如数学式104和105所示，根据本发明的第一实施例的物体面上的物点的X坐标和Z坐标由仅与修正后图像面上的横向像素坐标J相关的函数给出。

数学式104

X_I，J≡X(I，J)＝X(J)≡X_J

数学式105

Z_I，J≡Z(I，J)＝Z(J)≡Z_J

而且，如数学式106所示，物点的Y坐标由仅与修正后图像面上的竖向像素坐标I相关的函数给出。

数学式106

Y_I，J≡Y(I，J)＝Y(I)≡Y_I

另一方面，对于具有修正后图像面上的图像信号的所有像素，能够如数学式107和108定义与参考文献8的经度角ψ和纬度各δ对应的横向方位角(azimuth angle)ψ和竖向仰角(elevation angle)δ。

数学式107

$>{\psi }_{I,J}\equiv \psi (I,J)={\tan }^{-1}\left(\frac{X_{I,J}}{Z_{I,J}}\right)$>

数学式108

$>{\delta }_{I,J}\equiv \delta (I,J)={\tan }^{-1}\left(\frac{Y_{I,J}}{\sqrt{X_{I,J}^2+Z_{I,J}^2}}\right)$>

这里，在Y轴的方向与垂直线一致时，横向方位角与经度角一致，竖向仰角与纬度角一致。进而考虑到数学式104至106，其特征是横向方位角ψ以仅与横向像素坐标J相关的函数给出。

数学式109

$>{\psi }_{I,J}={\psi }_J={\tan }^{-1}\left(\frac{X_J}{Z_J}\right)$>

但一般来讲，竖向仰角并不以仅与竖向像素坐标I相关的函数给出。

数学式110

$>{\delta }_{I,J}={\tan }^{-1}\left(\frac{Y_I}{\sqrt{X_J^2+Z_J^2}}\right)$>

与本发明的第一实施例相当的成像系统的特征是，横向方位角ψ_I，J由横向像素坐标J的单调函数给出，竖向仰角δ_I，J由竖向像素坐标I的单调函数给出。这可定义为已一般化的全方位图像。

而且，在与本发明的第一实施例相当的成像系统中，其特征是，平行于Y轴的直线在修正后图像面捕捉为与图像传感器面的竖边平行的直线。

而且，与本发明的第一实施例相当的成像系统中的物体面在可微分的区域满足下面的数学式111与112。

数学式111

$>{\left(\frac{{\partial X}_J}{\partial J}\right)}^2+{\left(\frac{{\partial Z}_J}{\partial J}\right)}^2=1$>

数学式112

$>{\left(\frac{{\partial Y}_I}{\partial I}\right)}^2=1$>

(第二实施例)

图35是具有已一般化的圆柱面形状的本发明第一实施例的物体面的概念图，此时所得到的复合图像可看作是已一般化的横向全方位图像(generalizedhorizontal panoramic image)。本发明的第二实施例的复合图像系统是能够得到与此对应的已一般化的竖向全方位图像(generalized vertical panoramic image)的成像系统。

图42表示能够得到这种已一般化的垂直方向全方位图像的物体面的一实施例的在Y-Z平面的截面。

该物体面由能够得到以光轴4201为中心无畸变的直线像差修正图像的区间(1≤I≤I_a)、能够得到与圆柱全方位图像相似的图像的区间(I_a≤I≤I_b)、以及能够得到倾斜的直线像差修正图像的区间(I_b≤I≤I_max)构成。这种物体面的形状由下面的数学式113至126给出。

数学式113

$>c=\frac{I_{\max }-1}{L_1+L_2+T\frac{\pi }{2}+L_3}$>

数学式114

I_o＝1+cL₁

数学式115

I_a＝I_o+cL₂

数学式116

$>I_b=I_a+\mathrm{cT}\frac{\pi }{2}$>

数学式117

Y₁＝-cL₁

数学式118

Y₂＝0

数学式119

Y₃＝cL₂

数学式120

Y₄＝Y₅＝Y₃+cT

数学式121

Z₁＝Z₂＝Z₃＝cT+cL₃

数学式122

Z₄＝cL₃

数学式123

Z₅＝0

数学式124

数学式125

数学式126

X_I，J＝J-J_o

图43是利用图42的物体面从图5提取的复合图像，变量为I_max＝240，J_max＝240，L₁＝50，L₂＝30，T＝50，L₃＝80。在图43中可知所有直线在上部和下部均显示为直线，在其中间区域如全方位图像那样连续地变化。

另一方面，图44是参考文献9中的另一鱼眼图像样品，图45是使用图42的物体面从图44提取的复合图像。变量给出为I_max＝800，J_max＝600，L₁＝200，L₂＝100，T＝100，L₃＝200。图45中上部的图像为普通的如通常的照相机图像那样无畸变的图像，而在下部显示就像照相机对准地面的图像，因而便于确认停车线。如在该例中所述，这种形态的复合图像可以用作汽车的前、后方照相机若适用在可视门口电话上则不仅可以确认访客还可以确认放在门口的报纸或牛奶。

本发明的第二实施例的物体面的形状可更为一般性地定义如下。

如数学式127所示，根据本发明的第二实施例的物体面上的物点的X坐标由仅与修正后图像面上的横向像素坐标J相关的函数给出。

数学式127

X_I，J≡X(I，J)＝X(J)≡X_J

另一方面，如数学式128和129所示，物点的Y坐标与Z坐标由仅与修正后图像面上的竖向像素坐标I相关的函数给出。

数学式128

Y_I，J≡Y(I，J)＝Y(I)≡Y_I

数学式129

Z_I，J≡Z(I，J)＝Z(I)≡Z_I

另一方面，对于修正后图像面上的所有像素，可以如数学式107和108那样定义横向方位角ψ和竖向仰角δ，考虑到数学式128和129，如下面的数学式130和131给出。

数学式130

$>{\psi }_{I,J}={\tan }^{-1}\left(\frac{X_J}{Z_I}\right)$>

数学式131

$>{\delta }_{I,J}={\tan }^{-1}\left(\frac{Y_I}{\sqrt{X_J^2+Z_I^2}}\right)$>

因此，在本实施例中，横向方位角与竖向仰角均由横向像素坐标J和竖向像素坐标I的函数给出。但与本发明的第一实施例相同地、横向方位角ψ_I，J由横向像素坐标J的单调函数给出，竖向仰角δ_I，J由竖向像素坐标I的单调函数给出。

在与本发明的第二实施例相应的成像系统中，平行于X轴的直线在修正后图像面捕捉为与图像传感器面的横边平行的直线。而且，与本发明的第二实施例相应的成像系统中的物体面在可微分的区域满足下面的数学式132和133。

数学式132

$>{\left(\frac{{\partial X}_J}{\partial J}\right)}^2=1$>

数学式133

$>{\left(\frac{{\partial Y}_I}{\partial I}\right)}^2+{\left(\frac{{\partial Z}_I}{\partial I}\right)}^2=1$>

另一方面，在成像系统中，描述与修正后图像面上的像素坐标(I，J)对应的修正前图像面上的虚拟的像点的坐标的数学式与第一实施例相同。

(第三实施例)

本发明的第一实施例的成像系统提供已一般化的横向全方位图像，第二实施例的成像系统提供已一般化的竖向全方位图像。但能够以一个图像均包括已一般化的横向全方位图像和竖向全方位图像的方式设计修正后图像面与物体面。

图46表示本发明的第三实施例中的修正后图像面4635的形态。修正后图像面4635包括以具有I_max行和J_max列的二维矩阵的形态排列的像素(pixel)。该修正后图像面上的像素包括具有图像信号的动态像素(live pixel)和不具有图像信号的静止像素(dormant pixel)。在图46中，属于修正后图像面4635上的一部分区域4635L、4635F、4635R、3635T、4635B的像素为动态像素，属于其它区域4635D的像素为静止像素。

在图46光轴的位置给出为(I_o，J_o)，包括光轴的小区域4635F显示无畸变地表示照相机正面的图像的直线像差修正图像。而且，具有识别号4635L、4635F、以及4635R的小区域表示已一般化的横向全方位图像，其形态可以具有包括图示在图37或图39的物体面的通常的形态。而且，具有识别号4635F、4635T、4635B的小区域表示已一般化的竖向全方位图像，其形态可以具有包括图示在图42的物体面的通常的形态。另一方面，属于识别号4635D₁、4635D₂的子图像面不显示任何图像。

图47表示具体的虚拟的物体面4731的一个形态，横向上具有如图37中示出的三视点全景形态的物体面4731L、4731F、4731R且竖向上具有如图42中示出的物体面4731F、4731T、4731B。图48表示使用这种物体面从图44提取的复合图像。在与识别号4731F对应的区域显示照相机正面的无畸变的直线像差修正图像。若将这种照相机适用到汽车用前、后方照相机上，则使用该区域的图像就能在行驶过程中确认汽车前方或后方的图像。另一方面，由于识别号4731L、4731F、以及4731R的图像构成多视点全景图像，因而便于在停车时或驶出窄胡同时确认车辆周边的障碍物。另一方面，若使用与识别号4731B的小区域对应的图像，则便于在停车时确认停车线。另一方面，由于识别号4731F、4731T、以及4731B的图像构成已一般化的垂直方向的全方位图像，因而若使用该图像，则如在图48中那样容易把握车辆前、后方的如步行人那样的障碍物。

图49表示上述物点的Z坐标对像素坐标的依赖性。参照图47和图49，具有识别号4731F的小区域在Z坐标以常数(constant)给出。这可考虑为是对横向像素坐标J的最为单纯的函数(即、常数函数)。而且还可考虑为是对竖向像素坐标I的最为单纯的函数。在具有像素坐标4731L和4731R的小区域，上述物点的Z坐标由仅与横向像素坐标J相关的函数给出。而且，在具有识别号4731T和4731B的小区域，上述物点的Z坐标由仅与竖向像素坐标I相关的函数给出。即、与上述动态像素对应的物点中某一物点的Z坐标由横向像素坐标J或竖向像素坐标I的函数给出，而不同时依赖于两坐标。另一方面，与上述动态像素对应的所有物点的X坐标由仅与横向像素坐标J相关的函数给出，Y坐标由仅与竖向像素坐标I相关的函数给出。

如此地同时提供横向已一般化的全方位图像和竖向已一般化的全方位图像的本发明的第三实施例的复合图像获得装置具有如下特征。这种复合图像获得装置包括：利用安装有以光轴为中心的旋转对称式成像用广角透镜的照相机而获得修正前图像面的图像获得单元；基于上述修正前图像面生成修正后图像面的图像处理单元；以及显示上述修正后图像面的图像显示单元。上述修正前图像面为具有K_max行和L_max列的二维矩阵，上述修正后图像面为具有I_max行和J_max列的二维矩阵，在上述修正后图像面具有图像信号并具有像素坐标(I，J)的动态像素的信号以入射光所带来的修正前图像面上的虚拟的像点的信号给出，该入射光来自具有世界坐标系中的虚拟的物体面上的坐标(X_I，J，Y_I，J，Z_I，J)≡(X(I，J)，Y(I，J)，Z(I，J))的虚拟的物点。在世界坐标系，上述物点的X坐标如下面的数学式134那样由仅与横向像素坐标J相关的函数给出，上述物点的Y坐标如下面的数学式135那样由仅与竖向像素坐标I相关的函数给出。

数学式134

X_I，J≡X(I，J)＝X(J)≡X_J

数学式135

Y_I，J≡Y(I，J)＝Y(I)≡Y_I

而且，上述物点中某一物点的Z坐标如下面的数学式136那样由仅与横向像素坐标J相关的函数给出，或者如下面的数学式137那样由仅与竖向像素坐标I相关的函数给出。

数学式136

Z_I，J≡Z(I，J)＝Z(J)≡Z_J

数学式137

Z_I，J≡Z(I，J)＝Z(I)≡Z_I

而且，由下面的数学式138给出的上述物点的横向方位角作为对横向像素坐标J的单调函数给出，由下面的数学式139给出的上述物点的竖向仰角作为对竖向像素坐标I的单调函数给出。

数学式138

$>{\psi }_{I,J}={\tan }^{-1}\left(\frac{X_J}{Z_{I,J}}\right)$>

数学式139

$>{\delta }_{I,J}={\tan }^{-1}\left(\frac{Y_I}{\sqrt{X_J^2+Z_{I,J}^2}}\right)$>

而且，上述物体面在可微分的区域满足下面的数学式140以及141。

数学式140

$>{\left(\frac{{\partial X}_J}{\partial J}\right)}^2+{\left(\frac{{\partial Z}_{I,J}}{\partial J}\right)}^2=1$>

数学式141

$>{\left(\frac{{\partial Y}_I}{\partial I}\right)}^2+{\left(\frac{{\partial Z}_{I,J}}{\partial I}\right)}^2=1$>

(第四实施例)

用于符合圆柱投影方式的全方位成像系统的虚拟的物体面的形状由下面的数学式142至146给出。这里，ψ₁是来自具有横向像素坐标J＝1的物点的入射光的横向入射角(即、经度角)，ψ_Jmax是来自具有横向像素坐标J＝J_max的物点的入射光的横向入射角。

数学式142

$>\rho =\frac{J_{\max }-1}{{\psi }_{J_{\max }}-{\psi }_1}\equiv \frac{J_{\max }-1}{\mathrm{\Delta \psi }}$>

数学式143

$>{\psi }_{I,J}=\frac{J-J_o}{\rho }$>

数学式144

$>X_{I,J}=\rho \sin \left(\frac{J-J_o}{\rho }\right)$>

数学式145

$>Z_{I,J}=\rho \cos \left(\frac{J-J_o}{\rho }\right)$>

数学式146

Y_I，J＝I-I_o

这种物体面的形状满足由数学式111和112给出的数学式。另一方面，用于符合等矩形投影方式(Equi-rectangular projection scheme)的全方位成像系统的物体面满足数学式142至145以及下面的数学式147。

数学式147

$>Y_{I,J}=\rho \tan \left(\frac{I-I_o}{\rho }\right)$>

而且，用于符合墨卡托投影方式(Mercator projection scheme)的全方位成像系统物体面满足数学式142至145以及下面的数学式148。

数学式148

$>Y_{I,J}=\rho \sinh \left(\frac{I-I_o}{\rho }\right)$>

具有这种圆柱投影方式或等矩形投影方式和墨卡托投影方式的物体面上的物点的X坐标和Z坐标由仅与横向像素坐标J相关的函数给出，Y坐标由仅与竖向像素坐标I相关的函数给出。而且，如此地符合墨卡托投影方式或等矩形投影方式的物体面不具有如本发明第一实施例的单纯的几何学上意义。即、横向上满足数学式111或149，而竖向上不满足对应的数学式。

数学式149

$>{\left(\frac{{\partial X}_J}{\partial J}\right)}^2+{\left(\frac{{\partial Z}_J}{\partial J}\right)}^2=1$>

数学式150

$>{\left(\frac{{\partial Y}_I}{\partial I}\right)}^2\ne 1$>

用于包括本发明第一实施例在内的最为普通的横向全方位成像系统中的物体面的形状消除由数学式111和112给出的限制条件而得到。即、第四实施例的物体面的形状通过设定与修正后图像面上的各像素(I，J)对应的世界坐标系中的物点Q的三维坐标(X(I，J)，Y(I，J)，Z(I，J))而得到。对于该各个物点，使用除了数学式71和72或数学式111和112之外的数学式66至77即可得到已一般化的横向全方位图像。

与此相同地、在提供竖向已一般化的全方位图像或者均包括横向已一般化的全方位图像和竖向已一般化的全方位图像的复合图像的成像系统中也能消除由在第三实施例的数学式140和141给出的限制条件而实现通常的成像系统。但为了使所提供的图像成为理想的图像，应当满足如在本发明的第三实施例中提出的几个条件。

(第五实施例)

在第一至第四实施例中提出有得到与通常的物体面的形状对应的修正后图像面的图像处理方法。但在如第四实施例那样物体面不具有单纯的几何学上意义的情况下，不是非要假设物体面的图像处理方法有可能更简便。在这种情况下，对于修正后图像面上的各个动态像素(I，J)可直接设定入射光的天顶角θ和方位角φ。因此，入射光的天顶角θ与方位角φ如数学式151和152那样作为修正后图像面上的像素坐标(I，J)的函数给出。

数学式151

θ_I，J＝θ(I，J)

数学式152

φ_I，J＝φ(I，J)

使用由数学式66给出的鱼眼透镜的实际投影方式和由数学式67给出的图像的放大倍数g并利用数学式153和154能够求得与这种入射光的天顶角和方位角对应的修正前图像面上的虚拟的像点的像素坐标。

数学式153

x′_I，J＝L_o+gr(θ_I，J)cosφ_I，J

数学式154

y′_I，J＝K_o+gr(θ_I，J)sinφ_I，J

作为这种第五实施例的一个有用的形态可考虑赤平投影方式(stereographic projection)的鱼眼图像。大部分鱼眼透镜按等距投影方式制作，鱼眼透镜的实际投影方式与理想的等距投影方式多少有误差。而肉眼感觉最为自然的鱼眼图像是符合赤平投影方式的鱼眼图像，在赤平投影方式的鱼眼图像中的像大小由数学式155给出。

数学式155

$>r^{\prime \prime }\left(\theta \right)=\frac{r_2^{\prime \prime }}{\tan \left(\frac{{\theta }_2}{2}\right)}\tan \left(\frac{\theta }{2}\right)$>

这里，r″(θ)是以像素距离测定了与天顶角θ对应的修正后图像面上的像大小的值。下面为了区分传感器面上的物理上的像大小与以像素单位测定的像大小，前者称为像大小，后者称为像素距离。另一方面，θ₂是成为鱼眼图像中的基准的天顶角，r″₂是与成为该基准的天顶角对应的像素距离。一般来讲，成为基准的天顶角可设定为鱼眼图像中的最大天顶角，但不必一定如此。另一方面，与像素(I，J)对应的像素距离r″_I，J由数学式156给出。

数学式156

$>r_{I,J}^{\prime \prime }\equiv r^{\prime \prime }\left({\theta }_{I,J}\right)=\sqrt{{(I-I_o)}^2+{(J-J_o)}^2}$>

因此，与符合这种赤平投影方式的鱼眼图像中的像素距离r″_I，J对应的入射光的天顶角由数学式157给出。

数学式157

$>\theta (I,J)={2\tan }^{-1}\left[\frac{\tan \left(\frac{{\theta }_2}{2}\right)}{r_2^{\prime \prime }}{r}_{I,J}^{\prime \prime }\right]$>

另一方面，入射光的方位角由数学式158给出。

数学式158

$>\phi (I,J)={\tan }^{-1}\left(\frac{I-I_o}{J-J_o}\right)$>

图50是从图5的鱼眼图像提取的赤平投影方式的鱼眼图像。这种成像系统在需要以肉眼观察鱼眼图像的情况下提供理想的图像。另一方面，图51是在室内天花板安装视场角190°的鱼眼透镜而捕捉的另一室内风景，图52是从图51的鱼眼图像提取的赤平投影方式的鱼眼图像，且I_max＝J_max＝800，r″₂＝J_max-J_o，θ₂＝90°。另一方面，理想的等距投影方式由数学式159给出。

数学式159

$>r^{\prime \prime }\left(\theta \right)=\frac{r_2^{\prime \prime }}{{\theta }_2}\theta$>

因此，为了从与理想的等距投影方式多少有的误差的鱼眼图像得到数学上精确的等距投影方式的鱼眼图像，可以使用数学式160而求得与修正后图像面上的像素坐标(I，J)对应的入射角的天顶角，方位角可用数学式158求得。

数学式160

$>\theta (I,J)=\frac{{\theta }_2}{r_2^{\prime \prime }}{r}_{I,J}^{\prime \prime }$>

图53是从图51的鱼眼图像提取的等距投影方式的鱼眼图像。这种成像系统能够为了在如天体的观测或航空管制的特殊的领域得到细致的全天空图像(all sky image)而使用。

(第六实施例)

在第五实施例中，对于修正后图像面上的各个动态像素(I，J)直接设定了入射光的天顶角θ和方位角φ。但将与包括全方位图像在内的理想的复合图像对应的入射光的天顶角和方位角决定起来有可能相当困难。在与全方位图像相似的复合图像中，与那种复合图像对应的入射光的天顶角和方位角直观上并不清楚，但入射光的横向入射角(即、方位角)ψ和竖向入射角(即、仰角)δ可清楚地定义。因此，如数学式161和162那样设定与修正后图像面上的各个动态像素(I，J)对应的入射光的横向入射角ψ和竖向入射角δ的图像处理算法有可能较为理想。

数学式161

ψ_I，J＝ψ(I，J)

数学式162

δ_I，J＝δ(I，J)

从这种入射光的横向入射角ψ和竖向入射角δ通过数学式163就能求得入射光的方位角，入射角的天顶角可通过数学式164求得。

数学式163

$>{\phi }_{I,J}={\tan }^{-1}\left(\frac{{\tan \delta }_{I,J}}{{\sin \psi }_{I,J}}\right)$>

数学式164

θ_I，J＝cos^-1(cosδ_I，J cosψ_I，J)

利用数学式165和166能够求得与这种入射光的方位角和天顶角对应的修正前图像面上的像点的坐标。

数学式165

x′_I，J＝L_o+gr(θ_I，J)cosφ_I，J

数学式166

y′_I，J＝K_o+gr(θ_I，J)sinφ_I，J

图54是从图5的鱼眼图像提取的具有由数学式167给出的横向入射角ψ和由数学式168给出的竖向入射角δ的复合图像。

数学式167

$>\psi \left(J\right)=\pi \{\frac{J-1}{J_{\max }-1}-\frac{1}{2}\}$>

数学式168

$>\delta \left(I\right)=\frac{\pi }{2}\{\frac{I-1}{I_{\max }-1}-\frac{1}{2}\}$>

这种成像系统通过强制指定给出的监视器画面上所能看到的视野范围即与修正后图像面上的动态像素对应的入射光的视场角的范围，从而能够达到预定的目的。例如在图54中，虽然修正后图像面的大小在横向与竖向相同，但所能看到的视野范围在横向为180°，在竖向为90°。

在这种算法中，横向入射角和竖向入射角可由对于横向像素坐标J和竖向像素坐标I的任意函数给出，但在那种条件下得到的复合图像有可能不理想。为了在全方位图像的延伸线上得到理想的图像，有可能更为理想的是，横向入射角如在数学式167那样由仅与横向像素坐标J相关的函数给出，竖向入射角如在数学式168那样由仅与竖向像素坐标I相关的函数给出。

(第七实施例)

在本发明的第一至第六实施例中，提出了使用旨在得到理想的复合图像的图像处理算法的复合图像获得装置。但若如数字摇摄效果、倾斜那样不必变更修正后图像面的投影方式，且若成像系统的需求较多，则可变更CMOS图像传感器面上的像素的排列，从而无需另设图像处理过程即可得到理想的复合图像。可认为这种的情况是硬件图像处理(hard-wired image processing)。在这种情况下，应配合成一组使用的广角透镜而制作CMOS图像传感器。

旨在无需另设的软件图像处理即可得到横向全方位图像的CMOS图像传感器的传感器面上的各个像素的中心坐标(x_I，J，y_I，J)可如下求得。首先，假设CMOS图像传感器具有I_max行和J_max列，且希望得到横向视场角Δψ的全方位图像，则虚拟的物体面的半径由下面的数学式169给出。

数学式169

$>\rho =\frac{J_{\max }-1}{\mathrm{\Delta \psi }}$>

这里，上述全方位图像的横向视场角Δψ应大于0且小于2π。

CMOS图像传感器能够以独立于鱼眼透镜的物件存在。在与鱼眼透镜分离的CMOS图像传感器中光轴的位置为CMOS图像传感器的传感器面上的一个基准点，该基准点作为描述像素的中心位置的第一直角坐标系的原点使用。而且，以鱼眼或广角透镜的实际投影方式能够看做是对于角度θ的通过原点的单调递增函数r＝r(θ)。

假设与CMOS图像传感器成一组使用的鱼眼透镜的图像传感器面上的光轴的位置相当于横向像素坐标J_o和竖向像素坐标I_o，则入射到具有横向像素坐标J和竖向像素坐标I的像素P(I，J)的入射光的横向入射角应如数学式170给出。

数学式170

$>{\psi }_J=\frac{J-J_o}{\rho }$>

而且，与该像素对应的虚拟的物体面上的物点的坐标由数学式171至173给出。

数学式171

$>X_J=\rho \sin \left(\frac{J-J_o}{\rho }\right)$>

数学式172

$>Z_J=\rho \cos \left(\frac{J-J_o}{\rho }\right)$>

数学式173

Y_I＝F(I)

这里，F(I)是对于竖向像素坐标I的通过原点的单调递增函数(monotonically increasing function)，应满足数学式174和175。

数学式174

F(I)＝0

数学式175

$>\frac{\partial F\left(I\right)}{\partial I}>0$>

若符合全方位图像圆柱投影方式，则上述函数F(I)如数学式176给出。

数学式176

F(I)＝I-I_o

另一方面，若全方位图像符合等矩形投影方式，则上述函数F(I)如数学式177给出，若符合墨卡托投影方式，则上述函数F(I)如数学式178给出。

数学式177

$>F\left(I\right)=\rho \tan \left(\frac{I-I_o}{\rho }\right)$>

数学式178

$>F\left(I\right)=\rho \sinh \left(\frac{I-I_o}{\rho }\right)$>

另一方面，上述图像传感器面上的像素的中心坐标在第一直角坐标系中以(x_I，J，y_I，J)给出。上述第一直角坐标系以上述光轴的位置为基准点，并以通过上述基准点且平行于上述图像传感器面的横边的轴为x轴，而自上述传感器面的左向右的方向为x轴正(+)方向。而且，以通过上述基准点且平行于上述图像传感器面的竖边的轴为y轴，并以自上述传感器面的上端向下端的方向为y轴正方向。参照图35即可容易理解图像传感器面与物体面、世界坐标系与第一直角坐标系的关系。

但这里有应当注意的一点。在世界坐标系中的被摄体由广角透镜的成像作用而在CMOS图像传感器面上形成图像时，该图像成为上下颠倒的图像。但由于不便鉴赏上下颠倒的图像，因而将图像人为地重新倒过来以使上下正常地显示。因此，应理解为无言中在图35的坐标系已进行了上下反转图像的过程。

在这种第一直角坐标系中上述基准点的坐标为(0，0)，上述像素的中心坐标由下面的数学式179至183给出。

数学式179

$>{\phi }_{I,J}={\tan }^{-1}\left(\frac{Y_I}{X_J}\right)$>

数学式180

$>{\theta }_{I,J}={\cos }^{-1}\left(\frac{Z_J}{\sqrt{X_J^2+Y_I^2+Z_J^2}}\right)$>

数学式181

r_I，J＝r(θ_I，J)

数学式182

x_I，J＝r_I，J cosφ_I，J

数学式183

y_I，J＝r_I，J sinφ_I，J

这里，r(θ)是对于角度θ的通过原点的单调递增函数，应满足数学式184和185。

数学式184

r(0)＝0

数学式185

$>\frac{\partial r\left(\theta \right)}{\partial \theta }>0$>

具体地讲，r(θ)是与CMOS图像传感器一起使用的广角透镜的实际投影方式，是由对于入射光的天顶角θ的像大小r给出的函数。

图55是将从符合图5的等距投影方式的鱼眼图像得到横向视场角为180°且符合圆柱投影方式的全方位图像所需的像素的位置与图5的鱼眼图像叠加而显示的图。这里设定为J_max＝16，I_max＝12，这样一来具有4∶3的画面比率，这是将具有480行和640列的VGA级图像缩小为1/40的大小。另一方面，图56是仅将像素另行图示的图，具有相同的列号J的像素均位于一个竖向曲线上，与此相同地、具有相同的行号I的像素也均位于一个横向曲线上。

图57是旨在更为具体地理解图56的像素的配置的图。这种全方位成像系统用CMOS图像传感器在传感器面5713内包括以I_max行和J_max列的矩阵的形态给出的多个像素。上述CMOS图像传感器包括具有行号I_o和列号J_o的基准点，这是与CMOS图像传感器一起使用的鱼眼透镜的光轴的位置。由于光轴的位置不必与某一像素的位置一致，因而上述行号I_o是大于1且小于I_max的实数，上述列号J_o是大于1且小于J_max的实数。但，某一像素P(I，J)的行号I和列号J均为自然数。

描述第一直角坐标系如下。某一像素的位置以通过上述基准点O且平行于上述图像传感器面的横边的轴为x轴，但以自上述传感器面的左向右的方向为x轴正(+)方向，并以通过上述基准点且平行于上述图像传感器面的竖边的轴为y轴，但以自上述传感器面的上端向下端的方向为y轴正(+)方向。因此，上述基准点的坐标以(0，0)给出，具有行号I和列号J的像素P(I，J)的中心坐标以(x_I，J，y_I，J)给出。这里应注意在使用两种坐标。其一是在数字化的数字图像以像素单位测定的像素坐标，另一是在传感器面上描述实际像素的位置的物理上的坐标。由于实际像素的光电元件具有有限的面积，因而假设相当于该光电元件的重心的支点为像素的中心坐标。方便起见，像素的中心坐标可以使用毫米单位。但应注意像素坐标没有单位。而且，在图57中，实际像素的中心坐标的配置就像具有绕线板形状，但应注意的一点是，从数字图像的观点来看是就像围棋盘那样较好地整列的矩阵。

最近在大力进行旨在加大CMOS图像传感器的动态范围(dynamic range)的技术开发，这种图像传感器被称为HDR(High Dynamic Range)或WDR(WideDynamic Range)传感器等。为了实现这种技术而在使用多种方法，作为其中方法之一，使所有像素同时具有面积较小的光电元件和面积较大的光电元件之后，通过图像处理来加大动态范围。即、仅以面积较小的光电元件得到的图像适当地曝光在较亮的被摄体上，仅以面积较大的光电元件得到的图像适当地曝光在较暗的被摄体上。这样一来，合成该两种图像即可得到同时适当地曝光在较亮的被摄体和较暗的被摄体上的图像。在使用这种技术的情况下，本发明在的像素的中心坐标应看做是面积较大的光电元件和面积较小的光电元件整体的重心。

对于具有相同的行号I的像素，若以线段连接彼此相邻的所有像素，则其整体形状呈通过所有上述像素的曲线H(I)的形态，大体上具有横向延伸的形状。与此相同地、对于具有相同的列号J的像素，若以线段连接彼此相邻的所有像素，则其整体形状呈通过所有上述像素的曲线V(J)的形态，大体上具有向垂直方向延伸的形状。具有相同的行号的像素由垂直移位寄存器(vertical shift register)而同时被调出，具有相同的列号的像素由水平移位寄存器(horizontal shift register)而同时被调出。

旨在得到这种横向全方位图像的CMOS图像传感器中，属于列号J小于J_o的J列的像素P(I，J＜J_o)形成向x轴正方向开口的曲线V(J＜J_o)(pixels belongingto columm number J with J smaller than J_o form a curve open toward the positivex-axis)，属于列号J大于J_o的J列J的像素P(I，J＞J_o)形成向x轴负方向开口的曲线V(J＞J_o)。如果光轴的列号J_o以自然数给出，则属于列号J与J_o相同的列的像素P(I，J_o)形成垂直线而不是曲线。

与此相同地、行号I小于属于I_o的I行的像素P(I＜I_o，J)形成向y轴负方向开口的曲线H(I＜I_o)，属于行号I大于I_o的I行的像素P(I＞I_o，J)形成向y轴正方向开口的曲线。如果光轴的行号I_o以自然数给出，则属于行号I与I_o相同的行的像素P(I_o，J)形成水平线而不是曲线。

图58是旨在清楚地理解本发明的向某一方向开口的曲线的意义的图。在图58的传感器面上，上述基准点位于x轴与y轴的交点，该基准点的虚拟的像素坐标是(I_o，J_o)。对于具有列号J小于J_o的列号J的像素，若以线段连接彼此相邻的所有像素，则大体上呈竖向延伸的曲线的形态。通过所有这些像素的光滑的曲线例如Spline曲线称之为V(J)。以该曲线为基准大致可划分为左边L和右边R。

在图58中由于列号J小于J_o，因而上述基准点(I_o，J_o)相对于上述曲线位于右边R，而且，这也可以描述为位于x轴正(+)方向。另一方面，考虑位于上述曲线V(J)上的任意两个像素P(I₁，J)和P(I₂，J)。图58中表示有通过第一像素P(I₁，J)的第一切线(tangent line)t(I₁，J)和通过第二像素P(I₂，J)的切线t(I₂，J)。而且，还表示有通过第一像素且垂直于第一切线的第一法线(normal)n(I₁，J)和通过第二像素且垂直于第二切线的第二法线n(I₂，J)。

第一法线与第二法线可以具有交点，还可以不具有交点。例如，在通常的CMOS图像传感器中，由于上述曲线V(J)是竖向直线，因而第一切线和第二切线也平行于上述曲线V(J)，从而第一法线与第二法线也相互平行。因此，第一法线与第二法线即便延长也不具有交点。另一方面，在如图58那样上述像素不位于直线上的情况下，第一法线与第二法线具有一个交点C(I₁，I₂，J)。在图58的例中，上述交点与基准点相同地相对于上述曲线位于右边，与此同时，位于x轴正方向。这种情况意味着在本发明形成向x轴正方向开口的曲线。向x轴负方向开口的曲线或向y轴正方向开口的曲线也可以与此相同地理解。

另一方面，图59表示旨在得到具有等矩形投影方式的全方位图像的CMOS图像传感器上的像素的配置，图60表示旨在得到具有墨卡托投影方式的全方位图像的CMOS图像传感器的像素的配置。比较图57和图59以及图60，则可知旨在得到横向全方位图像的CMOS图像传感器的形态相似。

另一方面，图61表示旨在对具有横边长为4.8mm且竖边长为3.6mm的传感器面的CMOS图像传感器使用现有发明的鱼眼透镜而得到具有横向视场角190°的圆柱投影方式的全方位图像的像素的配置形态。从图61可知尽管反映有上述鱼眼透镜的矫正畸变但其形态并没有多大变化。

(第八实施例)

在本发明的第七实施例中，提出有旨在无需另设的软件图像处理即可得到横向全方位图像的CMOS图像传感器。与此类似地、旨在无需另设的软件图像处理即可得到直线像差修正图像的CMOS图像传感器上的各个像素的中心坐标(x_I，J，y_I，J)可如下求得。首先，假设CMOS图像传感器具有I_max行和J_max列，且希望得到横向视场角为Δψ的直线像差修正图像，则虚拟的物体面的距世界坐标系的原点的距离s″由下面的数学式186给出。

数学式186

$>s^{\prime \prime }=\frac{J_{\max }-1}{2\tan \left(\frac{\mathrm{\Delta \psi }}{2}\right)}$>

这里，根据直线像差修正图像的数学性质，上述直线像差修正图像的横向视场角Δψ应大于0且小于π。

另一方面，假设与CMOS图像传感器成一组使用的广角透镜的图像传感器面上的光轴的位置相当于横向像素坐标J_o和竖向像素坐标I_o，则入射到具有横向像素坐标J和竖向像素坐标I的像素P(I，J)的入射光的天顶角应当如数学式187给出，且方位角如数学式188给出。

数学式187

$>{\theta }_{I,J}={\tan }^{-1}\left\{\frac{\sqrt{{(I-I_o)}^2+{(J-J_o)}^2}}{s^{\prime \prime }}\right\}$>

数学式188

$>{\phi }_{I,J}={\tan }^{-1}\left(\frac{I-I_o}{J-J_o}\right)$>

由此，上述像素的中心坐标(x_I，J，y_I，J)如下面的数学式189至191给出。

数学式189

r_I，J＝r(θ_I，J)

数学式190

x_I，J＝r_I，J cos(φ_I，J)

数学式191

y_I，J＝r_I，J sin(φ_I，J)

这里，r(θ)是对于角度θ的通过原点的单调递增函数，应满足数学式192和193。

数学式192

r(0)＝0

数学式193

$>\frac{\partial r\left(\theta \right)}{\partial \theta }>0$>

具体地讲，r(θ)是与CMOS图像传感器一起使用的广角透镜的实际投影方式，是以对于入射光的天顶角θ的像大小r给出的函数。

图62是将从符合图5的等距投影方式的鱼眼图像得到横向视场角为120°且符合直线像差修正投影方式的广角图像所需的像素的位置与图5的鱼眼图像叠加而显示的图。这里，设定为J_max＝16，I_max＝12，基准点位于传感器面的中央。另一方面，图63是仅将像素P(I，J)另行图示的图，具有相同的列号J的像素均位于一个竖向曲线上，与此相同地、具有相同的行号I的像素也均位于一个横向曲线上。

旨在得到这种直线像差修正图像的CMOS图像传感器中，属于列号J小于J_o的J列的像素P(I，J＜J_o)形成向x轴正方向开口的曲线，属于列号J大于J_o的J列的像素P(I，J＞J_o)形成向x轴负方向开口的曲线。与此相同地、属于行号I小于I_o的I行的像素P(I＜I_o，J)形成向y轴正方向开口的曲线，属于行号I大于I_o的I行的像素P(I＞I_o，J)形成向y轴负方向开口的曲线。

(第九实施例)

在本发明的第一至第六实施例中，提出了使用旨在得到理想的复合图像的图像处理算法的复合图像获得装置。即便在这种情况下，若对成像系统的需求较多，则可变更CMOS图像传感器面上的像素的排列，从而无需另设图像处理过程即可得到理想的复合图像。

在这种情况下，选定修正后图像面的大小即CMOS图像传感器的像素数量(I_max，J_max)，并对于上述传感器面上的所有像素(I，J)决定投影方式。即、赋予由数学式151和152给出的入射光的天顶角和方位角，或者可以赋予由数学式161和162给出的入射光的横向入射角和竖向入射角，或者以如本发明的第一实施例至第四实施例的物体面的形状赋予。

例如，对应于本发明的第一实施例的CMOS图像传感器与以光轴为中心的旋转对称式成像用广角透镜成一组使用。上述CMOS图像传感器在传感器面内包括以I_max行和J_max列的矩阵的形态给出的多个像素。上述透镜的实际投影方式以对应的入射光的天顶角θ的函数求得传感器面上的像大小r，如r＝r(θ)给出。

以上面所述的第一直角坐标系描述CMOS图像传感器面上的某一像素的位置。因此，具有行号I和列号J的像素P(I，J)的中心坐标以(x_I，J，y_I，J)给出。该中心坐标为来自具有虚拟的物体面上的坐标(X_I，J，Y_I，J，Z_I，J)≡(X(I，J)，Y(I，J)，Z(I，J))的虚拟的物点的入射光由上述广角透镜而在上述传感器面上形成的虚拟的像点的坐标，由数学式194至202给出。

数学式194

r＝r(θ)

数学式195

X_I，J＝X(I，J)

数学式196

Y_I，J＝Y(I，J)

数学式197

Z_I，J＝Z(I，J)

数学式198

$>{\phi }_{I,J}={\tan }^{-1}\left(\frac{Y_{I,J}}{X_{I,J}}\right)$>

数学式199

$>{\theta }_{I,J}={\cos }^{-1}\left(\frac{Z_{I,J}}{\sqrt{X_{I,J}^2+Y_{I,J}^2+Z_{I,J}^2}}\right)$>

数学式200

r_I，J＝(θ_I，J)

数学式201

x_I，J＝r_I，J cosφ_I，J

数学式202

y_I，J＝r_I，J sinφ_I，J

这里，由数学式195至197给出的直角坐标应满足数学式203和204。

数学式203

$>{\left(\frac{{\partial X}_{I,J}}{\partial J}\right)}^2+{\left(\frac{{\partial Y}_{I,J}}{\partial J}\right)}^2+{\left(\frac{{\partial Z}_{I,J}}{\partial J}\right)}^2=1$>

数学式204

$>{\left(\frac{{\partial X}_{I,J}}{\partial I}\right)}^2+{\left(\frac{{\partial Y}_{I,J}}{\partial I}\right)}^2+{\left(\frac{{\partial Z}_{I,J}}{\partial I}\right)}^2=1$>

但是，由于在物体面被折的情况下在折点不存在微分，因而数学式203或204不能成立。因此，这种物体面的形状可简述如下。根据本发明的第九实施例的物体面的形状即X＝X(I，J)、Y＝Y(I，J)、以及Z＝Z(I，J)是对于I与J连续的函数，在可微分的点上满足数学式203和204。

使用这种方法就能提供与第一至第六实施例中提出的任何图像处理方法也对应的、无需另行图像处理的CMOS图像传感器。图64与图38对应而表示旨在得到多视点全景图像的CMOS图像传感器内的像素的配置，图65表示旨在得到如图46至图49的复合图像的CMOS图像传感器内的像素的配置。

(第十实施例)

图65中有以圆(circle)表示的敏感像素(sensitive pixel)和以点(dot)表示的钝感像素(insensitive pixel)这两种像素。具有行号I₁和列号J₁的像素P(I₁，J₁)是敏感像素的例，具有行号I₂和列号J₂的像素P(I₂，J₂)是钝感像素的例。敏感像素是在通常的CMOS图像传感器中发现的像素，在敏感像素具有图像信号时该像素即为本发明中的动态像素，不具有图像信号时为静止像素。

另一方面，在本发明的钝感像素是指图像信号或者不产生或者相对非常弱的像素，并不是指因CMOS传感器制作工序上的错误而导致不产生信号的不合格像素(bad pixel)，而是指以故意阻止产生图像信号的方式制作CMOS传感器的情况。因此，在图像中相当于钝感像素的部分显为黑色，具有如图48中左下角和右下角的效果。因此，图48的左下角和右下角有可能是在正常的敏感像素中因不存在图像信号而导致的静止像素，还可能是因为对应的CMOS图像传感器的像素当初就是钝感像素之故。不管原因如何，在数字化的数字图像在两图像之间无差异。

图66图示的是通常的CMOS图像传感器的像素构造。CMOS图像传感器大体上以在p型基板(p-type substrate)6655上形成n型光电元件(n-PD，n-typephotodiode)6656的形态制作。在CMOS图像传感器的表面在每一个像素上各形成有一个微透镜(micro lens)6651，起着利用成像用透镜将照射到CMOS图像传感器上的光线会集到光电元件6656一侧的作用。仅使三原色中的与某一颜色相应的光透过的滤色片(color filter)6652位于微透镜的下方。相应像素的color由该滤色片而定。另一方面，为了防止像素之间的光的串扰(crosstalk)，在滤色片的下方形成遮光膜(shield)6653。通过了微透镜和滤色片的光线经遮光膜的开口部(open area)而到达光电元件后转换成电荷(charge)。而且，为了引出在光电元件的表面光电转换的电流，形成布线6654。

考虑到这种通常的CMOS图像传感器的构造，可知能够以多种方法形成钝感像素。首先，不形成光电元件(PD:photodiode)或者使光电元件的面积小，则不引起光电转换或者引起很少，从而实质上不存在图像信号。而且，用遮光膜完全覆盖光电元件，或者使开口部非常小使得到达光电元件的光线的量小。而且，不是形成滤色片而是形成黑色的吸收滤光片或反射滤光片也能得到相同的效果。而且，微透镜能够以不是聚光而是散光的凹透镜形成，即便不形成微透镜也能减少到达光电元件的光量。可知除此之外也能用多种方法在CMOS图像传感器内形成钝感像素。

在图65考虑成一组使用的鱼眼透镜的实际投影方式和理想的复合图像的投影方式而数学上精确地决定敏感像素的位置。但钝感像素不具有对应的世界坐标系中的物点，因此，能够任意定钝感像素的位置。实际上，可以考虑CMOS图像传感器的制作工序而定钝感像素的位置，此时，定位应注意钝感像素与共有行号或列号的敏感像素相近，与此同时，钝感像素之间的间距不能太远或太近。

这种钝感像素形成为具有在图像显示单元故意制定的图案从而不同于不合格像素。在图48中图示了为了在左下和右下角形成不存在图像的长方形形状的区域而形成了静止像素的情况，而图65是为了在左下和右下角形成不存在图像的长方形形状的区域而形成了钝感像素的情况。另一方面，在图67中，图示了为了在多视点全景区分各子图像面之间而沿着相邻的子图像面之间的边界面形成了钝感像素的情况。在这种情况下，即便无另行图像处理也能得到如图26的多视点全景图像，这里，竖向黑色的边界线由钝感像素而形成。另一方面，这里，图68是如在图49中那样为了区分各个子图像面而追加形成了钝感像素的情况。

产业上利用可能性

这种CMOS图像传感器不仅可以应用于室内外保安、监视，还可以广泛地应用于公寓出入口的视频电话、汽车的后方照相机、机器人的视觉传感器等。