利用手机单目摄像头对虚拟现实眼镜进行增强现实的方法

技术领域

本发明属于图像处理技术领域，特别涉及一种对虚拟现实眼镜进行增强现实的方法，可用于工业、教育、娱乐的虚拟可视化。

背景技术

增强现实技术,简称AR技术，是一种实时地计算摄影机影像的位置及角度并加上相应虚拟图像的技术，这种技术的目标是将真实的环境和虚拟的物体实时地叠加到同一个画面使二者同时存在。随着AR技术的发展，其在教育、医疗、艺术等领域的应用越来越广泛，相应地，可穿戴式AR立体显示技术也处于飞速地更新换代中。

目前，可穿戴式AR立体显示设备主要为AR眼镜，AR眼镜的功能是让用户在观看到现实场景的前提下，为当前场景添加上虚拟物体模型，并对模型进行立体显示。

市面上AR眼镜主要分为开放式和封闭式两种。开放式AR眼镜与人们日常佩戴的眼镜外形相似，具有透明的开放式视野，通过微型投影仪在佩戴者视野投影虚拟画面来形成立体显示感。封闭式AR眼镜普遍使用双目摄像头捕捉场景并为摄像机画面加上虚拟数据，为了模拟人眼的双目视差，即模拟人眼立体视觉，这两个摄像头需按照人眼瞳距距离安置，然后通过对显示屏分屏操作使佩戴者双眼看见不同的屏幕画面，经过人脑合成后就产生了立体视感。这两种系统存在以下问题：

1)开放式AR眼镜使用了投影技术，整个系统成本较高，且对硬件要求高，不能很好地普及市场；

2)封闭式AR眼镜由于有两个摄像头，较为笨重，而且成本较高，同时软件需同时处理两路视频纹理，对处理器性能有很高要求。

目前市场上普及的一种虚拟现实眼镜，即VR眼镜，利用双目视差原理，对双目的视野进行挡隔，分别提供给左右眼两幅符合双目视差的虚拟场景画面，再对视距进行调整，最终实现对虚拟场景的立体显示。此类眼镜成本较低，显示屏可用手机屏幕替代，使用户能完全沉浸于开发者搭建的虚拟场景中。但是这种VR眼镜，它提供给用户双眼的两路画面仅包含虚拟场景的信息，用户佩戴上VR眼镜后无法看见现实场景，不能实现对现实场景以及在场景中添加的虚拟物体模型的同时显示。

发明内容

本发明的目的在于针对上述问题，提出一种利用手机单目摄像头对虚拟现实眼镜进行增强现实的方法，以实现对现实场景以及在场景中添加的虚拟物体模型的同时显示。

为实现上述目的，本发明的技术方案包括如下：

(1)将标识图放置于现实场景中的一个平面上，建立大地坐标系OXYZ，并用标识图构成大地坐标系的XOY平面，大地坐标系的Z轴垂直于标识图；

(2)用手机后置摄像头C，拍摄含有标识图的场景；

(3)利用标识图上的特征点分别在大地坐标系和手机摄像头成像平面坐标系下的坐标值，求解标识图平面与手机摄像头的成像平面之间的单应性变换矩阵H，由H分解出大地坐标系到手机摄像头成像平面坐标系的摄像头投影矩阵P，从而得到手机摄像头C的位置参数；

(4)利用建模软件建立虚拟物体三维模型，得到模型上所有点的信息，定义模型在标识图平面上的具体位置，获得三维模型上所有点在大地坐标系下的坐标；

(5)定义两个虚拟摄像头C₁和C₂，且使第一虚拟摄像头C₁和第二虚拟摄像头C₂的位置与用户佩戴VR眼镜时双眼在显示屏后的位置一致，得到手机摄像头的坐标系分别到第一虚拟摄像头C₁的第一旋转平移矩阵H₁和到第二虚拟摄像头C₂坐标系的第二旋转平移矩阵H₂；

(6)利用步骤(5)中求出的两个旋转平移矩阵H₁、H₂和步骤(3)中求出的摄像头投影矩阵P，计算三维模型上的点分别在第一虚拟摄像头C₁下的成像I_m1和在第二虚拟摄像头C₂下的成像I_m2，计算场景中所有点分别在第一虚拟摄像头C₁下的成像I_e1和在第二虚拟摄像头C₂下的成像I_e2，将I_m1与I_e1叠加，得到场景和模型在第一虚拟摄像头C₁下的总成像I₁，将I_m2与I_e2叠加，得到场景和模型在第二虚拟摄像头C₂下的总成像I₂；

(7)将手机屏幕横向放置，并从中间分为左右两屏，用代码形式将步骤(6)中得到两个成像I₁和I₂分别写入到手机的左、右屏；再将手机置于VR眼镜前端，用手机屏幕充当VR眼镜的显示屏，用户带上该眼镜看向标识图，即可实现真实场景中虚拟三维模型的立体显示。

本发明与现有技术相比，具有以下优点：

本发明由于将手机与虚拟现实眼镜组合在一起，改进了虚拟眼镜只能显示虚拟场景的弊端，实现了对现实场景以及在场景中添加的虚拟物体模型的同时显示；同时由于VR实眼镜原理简单，价格低廉，大大消减了制作成本；此外由于手机作为日常生活中随处可得的物品，只需安装相应的安装包就可以投入使用，普及度高受众广。

附图说明

图1为本发明的实现流程图；

图2为本发明构建两个虚拟摄像机C₁和C₂以及各坐标系之间位置关系的示意图。

具体实施方式

下面结合附图对本发明做进一步详细说明。

参照图1，本发明具体实施步骤如下：

步骤1，根据标识图建立大地坐标系

将标识图放置于现实场景中的一个平面上，建立大地坐标系OXYZ，并用标识图构成大地坐标系的XOY平面，大地坐标系的Z轴垂直于标识图。

步骤2，用手机后置摄像头C，拍摄含有标识图的场景，得到含有标识图的图片。

步骤3，利用步骤2中含有标识图的图片求解单应性变换矩阵H和摄像头的投影矩阵P。

本步骤的求解方法采用摄像机标定的方法，其实现如下：

3a)将标识图上的特征点在大地坐标系下的坐标值记为(X,Y,Z)，由于Z轴分量为0，则将标识图上点的齐次坐标表示为

3b)通过对手机拍摄图片中标识图特征点的检测与定位，得到这些特征点在手机摄像头成像平面坐标系下的坐标值，记为(μ,ν)，齐次表达形式为

3c)求解单应性变换矩阵H：

3c1)定义H＝K[r₁,r₂,t]，其中K为3×3维矩阵，表示相机内部参数：

默认为已知，(f_x，f_y)为相机焦距，(μ₀，ν₀)表示相机主光轴与相机成像平面的交点；

3c2)设r₁与r₂均为两个未知的3×1维旋转向量，记t为未知的3×1维平移向量，记

3c3)根据标识图平面到手机摄像头成像平面之间的投影方程，建立以下方程，并带入H表达式，即：

$\lambda \left(\begin{array}{c}\mu \\ \nu \\ 1\end{array}\right)=H·\left(\begin{array}{c}X\\ Y\\ 1\end{array}\right)=\left(\begin{array}{ccc}{f}_x& 0& {\mu }_0\\ 0& f_y& {\nu }_0\\ 0& 0& 1\end{array}\right)·\left(\begin{array}{ccc}{\alpha }_1& {\beta }_1& {\tau }_1\\ {\alpha }_2& {\beta }_2& {\tau }_2\\ {\alpha }_3& {\beta }_3& {\tau }_3\end{array}\right)·\left(\begin{array}{c}X\\ Y\\ 1\end{array}\right)---<1>$

定义一个3×3参数矩阵W：

$W=\left(\begin{array}{ccc}{\omega }_1& {\omega }_2& {\omega }_3\\ {\omega }_4& {\omega }_5& {\omega }_6\\ {\omega }_7& {\omega }_8& {\omega }_9\end{array}\right)=\left(\begin{array}{ccc}{f}_x& 0& {\mu }_0\\ 0& f_y& {\nu }_0\\ 0& 0& 1\end{array}\right)·\left(\begin{array}{ccc}{\alpha }_1& {\beta }_1& {\tau }_1\\ {\alpha }_2& {\beta }_2& {\tau }_2\\ {\alpha }_3& {\beta }_3& {\tau }_3\end{array}\right)---<2>$

其中ω₁、ω₂、ω₃、ω₄、ω₅、ω₆、ω₇、ω₈、ω₉为待求的9个未知参数，由于坐标为齐次形式，所以取ω₉为1，即只需求出ω₁、ω₂、ω₃、ω₄、ω₅、ω₆、ω₇、ω₈这八个参数，即将式<2>带入式<1>，则式<1>简为：

$\lambda \left(\begin{array}{c}\mu \\ \nu \\ 1\end{array}\right)=H·\left(\begin{array}{c}X\\ Y\\ 1\end{array}\right)=\left(\begin{array}{ccc}{\omega }_1& {\omega }_2& {\omega }_3\\ {\omega }_4& {\omega }_5& {\omega }_6\\ {\omega }_7& {\omega }_8& {\omega }_9\end{array}\right)·\left(\begin{array}{c}X\\ Y\\ 1\end{array}\right)---<3>$

展开式<3>：

λμ＝ω₁X+ω₂Y+ω₃

λν＝ω₄X+ω₅Y+ω₆

λ＝ω₇X+ω₈Y+ω₉>

对式<4>进一步化简得到：

$\mu =\frac{({\omega }_{1}X+{\omega }_{2}Y+{\omega }_3)}{({\omega }_{7}X+{\omega }_{8}Y+{\omega }_9)}$

$\nu =\frac{({\omega }_{4}X+{\omega }_{5}Y+{\omega }_6)}{({\omega }_{7}X+{\omega }_{8}Y+{\omega }_9)}---<5>$

式<5>有8个未知参数ω₁、ω₂、ω₃、ω₄、ω₅、ω₆、ω₇、ω₈，只需找出4对对应点，即可求解出这八个参数；

由式<2>可得到：

$\left(\begin{array}{ccc}{\alpha }_1& {\beta }_1& {\tau }_1\\ {\alpha }_2& {\beta }_2& {\tau }_2\\ {\alpha }_3& {\beta }_3& {\tau }_3\end{array}\right)={\left(\begin{array}{ccc}{f}_x& 0& {\mu }_0\\ 0& f_y& {\nu }_0\\ 0& 0& 1\end{array}\right)}^{-1}·\left(\begin{array}{ccc}{\omega }_1& {\omega }_2& {\omega }_3\\ {\omega }_4& {\omega }_5& {\omega }_6\\ {\omega }_7& {\omega }_8& {\omega }_9\end{array}\right)---<6>$

由式<6>可求出α₁、α₂、α₂、β₁、β₂、β₃、τ₁、τ₂、τ₃，即求解出H；

3d)由H求出大地坐标系到手机摄像头成像平面坐标系的投影矩阵P：

P＝K[r₁,r₂,r₃,t]，

P中K、r₁、r₂、t均与H中K、r₁、r₂、t相同，r₃为未知的待求3×1维旋转向量，记则P可以表达为：

$P=\left(\begin{array}{ccc}{f}_x& 0& {\mu }_0\\ 0& f_y& {\nu }_0\\ 0& 0& 1\end{array}\right)·\left(\begin{array}{cccc}{\alpha }_1& {\beta }_1& {\gamma }_1& {\tau }_1\\ {\alpha }_2& {\beta }_2& {\gamma }_2& {\tau }_2\\ {\alpha }_3& {\beta }_3& {\gamma }_3& {\tau }_3\end{array}\right),$

其中：

$r_3=\left(\begin{array}{c}{\gamma }_1\\ {\gamma }_2\\ {\gamma }_3\end{array}\right)=r_1\times r_2=\left(\begin{array}{c}{\alpha }_1\\ {\alpha }_2\\ {\alpha }_3\end{array}\right)\times \left(\begin{array}{c}{\beta }_1\\ {\beta }_2\\ {\beta }_3\end{array}\right),$

至此求出P中所有参数，得到P。

步骤4，建立虚拟物体三维模型。

利用建模软件建立虚拟物体三维模型，得到模型上所有点的信息，定义模型在标识图平面上的具体位置，获得三维模型上所有点在大地坐标系下的坐标。

步骤5，定义两个虚拟摄像头C₁和C₂，并计算手机摄像头分别到C₁和C₂的旋转平移矩阵H₁和H₂。

5a)定义两个虚拟摄像头C₁和C₂，按照附图2，将第一虚拟摄像头C₁放置于用户佩戴VR眼镜时左眼所处的位置，将第二虚拟摄像头C₂放置于用户佩戴VR眼镜时右眼所处的位置，用手机屏幕充当VR眼镜显示屏；

5b)通过测量手机摄像头到第一虚拟摄像头C₁的距离，计算该距离分别在手机摄像头坐标系各轴方向上的投影，得到手机摄像头坐标系到第一虚拟摄像头C₁坐标系的旋转平移矩阵，即第一旋转矩阵H₁：

$H_1=\left(\begin{array}{cccc}{r}_{c1}& r_{c2}& r_{c3}& t_c\\ 0& 0& 0& 1\end{array}\right)$

其中r_c1为第一个从手机摄像头坐标系到第一虚拟摄像头C₁坐标系的3×1维旋转变换向量，r_c2第二个从手机摄像头坐标系到第一虚拟摄像头C₁坐标系的3×1维旋转变换向量，r_c3为第三个从手机摄像头坐标系到第一虚拟摄像头C₁坐标系的3×1维旋转变换向量，t_c为从手机摄像头坐标系到第一虚拟摄像头C₁坐标系的3×1维平移向量。

5c)通过测量手机摄像头到第二虚拟摄像头C₂的距离，计算该距离分别在手机摄像头坐标系各轴方向上的投影，得到手机摄像头坐标系到第二虚拟摄像头C₂坐标系的旋转平移矩阵H₂，即第二旋转矩阵：

$H_2=\left(\begin{array}{cccc}{r^{\prime }}_{c1}& {r^{\prime }}_{c2}& {r^{\prime }}_{c3}& {t^{\prime }}_c\\ 0& 0& 0& 1\end{array}\right)$

其中r′_c1为第一个从手机摄像头坐标系到第二虚拟摄像头C₂坐标系的3×1维旋转变换向量，r′_c2为第二个从手机摄像头坐标系到第一虚拟摄像头C₁坐标系的3×1维旋转变换向量，r′_c3为第三个从手机摄像头坐标系到第一虚拟摄像头C₁坐标系的3×1维旋转变换向量，t′_c为从手机摄像头坐标系到第二虚拟摄像头C₂坐标系的3×1维平移向量。

步骤6，计算三维模型上所有点和场景中所有点在虚拟摄像头C₁和C₂下的像I₁和I₂。

6a)求出大地坐标系与手机摄像头坐标系的变换关系：

由步骤(3)中求出的摄像头投影矩阵P＝K[r₁,r₂,r₃,t]得到大地坐标系到手机摄像头坐标系的变换关系为：

$\left(\begin{array}{c}{X}_c\\ Y_c\\ Z_c\\ 1\end{array}\right)=\left(\begin{array}{cccc}{r}_1& r_2& r_3& t\\ 0& 0& 0& 1\end{array}\right)·\left(\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right)---<7>$

其中为手机摄像头坐标系的齐次形式，为大地坐标系的齐次表示；

6b)得到大地坐标系到第一虚拟摄像头C₁坐标系的变换关系：

6b1)根据步骤(5)中第一旋转平移矩阵H₁，建立手机摄像头坐标系到第一虚拟摄像头C₁坐标系的变换关系：

$\left(\begin{array}{c}{X}_{c1}\\ Y_{c1}\\ Z_{c1}\\ 1\end{array}\right)=H_1·\left(\begin{array}{c}{X}_c\\ Y_c\\ Z_c\\ 1\end{array}\right)=\left(\begin{array}{cccc}{r}_{c1}& r_{c2}& r_{c3}& t_c\\ 0& 0& 0& 1\end{array}\right)·\left(\begin{array}{c}{X}_c\\ Y_c\\ Z_c\\ 1\end{array}\right)---<8>$

其中为手机摄像头坐标系的齐次形式，为第一虚拟摄像头C₁坐标系的齐次形式。

6b2)将式<7>带入式<8>，得到大地坐标系到第一虚拟摄像头C₁坐标系的变换关系：

$\left(\begin{array}{c}{X}_{c1}\\ Y_{c1}\\ Z_{c1}\\ 1\end{array}\right)=\left(\begin{array}{cccc}{r}_{c1}& r_{c2}& r_{c3}& t_c\\ 0& 0& 0& 1\end{array}\right)·\left(\begin{array}{cccc}{r}_1& r_2& r_3& t\\ 0& 0& 0& 1\end{array}\right)·\left(\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right)---<9>$

6c)计算大地坐标系到第二虚拟摄像头C₂坐标系的变换关系：

6c1)根据步骤(5)中第二旋转平移矩阵H₂，建立手机摄像头坐标系到第二虚拟摄像头C₂坐标系的变换关系：

$\left(\begin{array}{c}{X}_{c2}\\ Y_{c2}\\ Z_{c2}\\ 1\end{array}\right)=H_2·\left(\begin{array}{c}{X}_c\\ Y_c\\ Z_c\\ 1\end{array}\right)=\left(\begin{array}{cccc}{r^{\prime }}_{c1}& {r^{\prime }}_{c2}& {r^{\prime }}_{c3}& {t^{\prime }}_c\\ 0& 0& 0& 1\end{array}\right)·\left(\begin{array}{c}{X}_c\\ Y_c\\ Z_c\\ 1\end{array}\right)---<10>$

其中为第二虚拟摄像头C₂坐标系的齐次形式；

6c2)将式<7>带入式<10>，得到大地坐标系到第二虚拟摄像头C₂坐标系的变换关系：

$\left(\begin{array}{c}{X}_{c2}\\ Y_{c2}\\ Z_{c2}\\ 1\end{array}\right)=\left(\begin{array}{cccc}{r^{\prime }}_{c1}& {r^{\prime }}_{c2}& {r^{\prime }}_{c3}& {t^{\prime }}_c\\ 0& 0& 0& 1\end{array}\right)·\left(\begin{array}{cccc}{r}_1& r_2& r_3& t\\ 0& 0& 0& 1\end{array}\right)·\left(\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right)---<11>$

6d)由式<9>和式<11>得到第一虚拟摄像头C₁和第二虚拟摄像头C₂的摄像头投影矩阵P₁和P₂：

$P_1=K·\left(\begin{array}{cccc}{r}_{c1}& r_{c2}& r_{c3}& t_c\\ 0& 0& 0& 1\end{array}\right)·\left(\begin{array}{cccc}{r}_1& r_2& r_3& t\\ 0& 0& 0& 1\end{array}\right)$

$P_2=K·\left(\begin{array}{cccc}{r^{\prime }}_{c1}& {r^{\prime }}_{c2}& {r^{\prime }}_{c3}& {t^{\prime }}_c\\ 0& 0& 0& 1\end{array}\right)·\left(\begin{array}{cccc}{r}_1& r_2& r_3& t\\ 0& 0& 0& 1\end{array}\right)$

其中P₁、P₂中的K与手机摄像头投影矩阵P中K一致；

6e)由投影方程建立如下等式，分别计算三维模型上的点在第一虚拟摄像头C₁和第二虚拟摄像头C₂成像平面上的投影：

$\left(\begin{array}{c}{x_{c1}}^{\prime }\\ {y_{c1}}^{\prime }\\ 1\end{array}\right)=K·\left(\begin{array}{cccc}{r}_{c1}& r_{c2}& r_{c3}& t_c\\ 0& 0& 0& 1\end{array}\right)·\left(\begin{array}{cccc}{r}_1& r_2& r_3& t\\ 0& 0& 0& 1\end{array}\right)·\left(\begin{array}{c}{X}^{\prime }\\ Y^{\prime }\\ Z^{\prime }\\ 1\end{array}\right)$

$\left(\begin{array}{c}{x_{c2}}^{\prime }\\ {y_{c2}}^{\prime }\\ 1\end{array}\right)=K·\left(\begin{array}{cccc}{r^{\prime }}_{c1}& {r^{\prime }}_{c2}& {r^{\prime }}_{c3}& {t^{\prime }}_c\\ 0& 0& 0& 1\end{array}\right)·\left(\begin{array}{cccc}{r}_1& r_2& r_3& t\\ 0& 0& 0& 1\end{array}\right)·\left(\begin{array}{c}{X}^{\prime }\\ Y^{\prime }\\ Z^{\prime }\\ 1\end{array}\right)$

其中为三维模型上的点在第一虚拟摄像头C₁像平面上的投影点坐标的齐次表示，

为三维模型上的点在第二虚拟摄像头C₂成像平面上的投影点坐标的齐次表示，

为三维模型上点在大地坐标系下的坐标；

6f)对三维模型上所有点重复步骤6e)的计算过程，最后得到三维模型在第一虚拟摄像头C₁下的成像I_m1和在第二虚拟摄像头C₂下的成像I_m2。

6g)由投影方程建立如下等式，分别计算场景中的点在第一虚拟摄像头C₁和第二虚拟摄像头C₂成像平面上的投影：

$\left(\begin{array}{c}{x}_{c1}\\ y_{c1}\\ 1\end{array}\right)=K·\left(\begin{array}{cccc}{r}_{c1}& r_{c2}& r_{c3}& t_c\\ 0& 0& 0& 1\end{array}\right)·\left(\begin{array}{cccc}{r}_1& r_2& r_3& t\\ 0& 0& 0& 1\end{array}\right)·\left(\begin{array}{c}{X}_i\\ Y_i\\ Z_i\\ 1\end{array}\right)$

$\left(\begin{array}{c}{x}_{c2}\\ y_{c2}\\ 1\end{array}\right)=K·\left(\begin{array}{cccc}{r^{\prime }}_{c1}& {r^{\prime }}_{c2}& {r^{\prime }}_{c3}& {t^{\prime }}_c\\ 0& 0& 0& 1\end{array}\right)·\left(\begin{array}{cccc}{r}_1& r_2& r_3& t\\ 0& 0& 0& 1\end{array}\right)·\left(\begin{array}{c}{X}_i\\ Y_i\\ Z_i\\ 1\end{array}\right)$

其中为场景中的点在第一虚拟摄像头C₁像平面上的投影坐标的齐次表示，

为场景中的点在第二虚拟摄像头C₂成像平面上的投影坐标的齐次表示，

为场景中的点在大地坐标系下的坐标；

6h)对场景中所有点重复步骤6g)的计算过程，最后得到场景在第一虚拟摄像头C₁下的成像I_e1和在第二虚拟摄像头C₂下的成像I_e2；

6i)将步骤6h)得到的场景在第一虚拟摄像头C₁下的成像I_e1与步骤6f)中得到的模型在第一虚拟摄像头C₁下的成像I_m1叠加，得到模型与场景在第一虚拟摄像头C₁下的总成像I₁，将步骤6h)得到的场景在第二虚拟摄像头C₂下成像I_e2与步骤6f)中得到的模型在第二虚拟摄像头C₂下的成像I_m2叠加，得到模型与场景在第二虚拟摄像头C₂下的总成像I₂；

步骤7,将手机屏幕横向放置，并从中间分为左右两屏，用代码形式将步骤(6)中得到模型与场景在第一虚拟摄像头C₁下的总成像I₁和模型与场景在第二虚拟摄像头C₂下的总成像I₂分别写入到手机的左、右屏；再将手机置于VR眼镜前端，用手机屏幕充当VR眼镜的显示屏，用户带上该眼镜看向带有标识图的实验场景，即可实现真实场景与虚拟三维模型的同时立体显示。

以上描述仅是本发明的一个具体实例，显然对于本领域的专业人员来说，在了解了本发明内容和原理后，都可能在不背离本发明原理、结构的情况下，进行形式和细节上的各种修正和改变，但是这些基于本发明思想的修正和改变仍在本发明的权利要求保护范围之内。