专利名称：一种基于双目视觉的大形貌物体三维几何外形测量方法
技术领域：
本发明是一种基于三维结构光测量技术，尤其是快速非接触式在轨物体超限检 测方法，属于计算机视觉测量技术领域。
背景技术：
近年来，国内铁路多次提速，特别是高速动车组的运行，列车的行驶速度越来 越快，这也对铁路的安全提出了更高的要求。当列车特别是货运列车超过正常行驶的空 间限制时，即称为超限，此时有可能造成严重的安全事故。因此，对铁路货运列车等在 轨物体超限的测量是极其重要的。结构光测量是一种非接触式的三维形貌测量技术，可以应用于在轨物体的超限 检测中。以往的三维结构光测量方法使用的是单目摄像机加激光光条提取的方法，但这 种方法不适合在室外有强自然光干扰的情况下使用，同时单目测量由于对转台机械精度 要求比较高，测量大形貌物体的时候也容易产生较大误差。为了能够在室外恶劣环境下 精确测量列车等大形貌物体的外貌尺寸，对机械精度要求较低的双目视觉测量就发挥出 了特有的优势。发明问题本发明的目的是提供基于双目视觉的大形貌物体三维几何外形测量方法，尤 其是一种在轨物体非接触的超限测量方法，用于自动测量在轨物体的外貌尺寸。本发明的技术方案是基于双目视觉的大形貌物体三维几何外形测量方法，即 在轨物体的双目超限测量方法，使用基于结构光测量的计算机视觉方法实现对在轨物体 三维形貌的非接触式测量，具体过程如下利用计算机控制的激光器照射在轨物体上，用左右双目摄像机对投射到在轨物 体上的激光图像(可为垂直的线激光器产生的光条图像或光点图像)同时进行差分拍摄； 通过计算机对双目摄像机成像的激光光条图像进行三维匹配计算，得到双目摄像机成像 的这条激光光条上所有在轨物体上的点的三维空间坐标；转动激光器角度使激光光条能够扫描或测量运动物体时经一间隔时间来覆盖所 有被测面，并重复上述操作，从而获得整个被测面的三维空间模型及参数；通过对比在 轨物体三维形貌与轨道中垂面坐标，计算机可以自动做出尺寸判断和超限判断；计算机控制线激光器产生激光照射在物体被测面上，用两个摄像头分别采集一 张带有激光光条的被测面的图像；计算机控制激光器关闭照射，再用两个摄像头分别采 集一张没有激光光条的被测面的图像，将每个摄像机得到的图片分别做差值，得到激光 光条图像。匹配所得的像素点坐标为亚像素级，Il和12是左右两个摄像机的像平面，Cl和 C2分别是左右两个摄像机的光心；P为空间中任意一点，它在左摄像机图像平面上的像 点为ml，在右摄像机平面上的像点为m2;根据外极线几何约束，外极线是Il和12平面 上P点与所述Il和12平面的交点与Cl和C2的连线交点的连线，m2应位于ml在右图
3像平面内的外极线lm2上，同样ml应位于m2在左图像平面内的外极线Iml上，它们彼 此互为对应点；由Cl，C2，P确定的平面II为外极面，ml的外极线lm2为外极面II与 右图像平面的交线，m2的外极线Iml为外极面II与左图像平面的交线，外极点el、e2为 Cl和C2的连线与左右图像平面的交点，左图像平面内任何一点在右图像平面内的外极 线都要经过外极点e2，左图像平面上的点依然符合这种关系；即在左图像平面的激光光 条上任取一点ml，它对应着物体上激光线所覆盖的一点P，根据外极线约束可知点P在 右图中的投影一定出现在外极线Lm2上，并可求得线Lm2的方程，这样就可以将二维匹 配点的寻找缩小到一维范围内；同时由于点P在右图像平面上的投影也一定在激光光条 上，所以取右图像平面中激光光条上距直线Lm2最近的两个像素点Dl、Dr,求出这两个 像素所在的直线方程L，那么直线L与Lm2的交点m2就是点P在图12上的投影，且m2 的坐标具有亚像素精度。通过两个带有滤光片的摄像头消除环境杂散光的影响，适合在环境较恶劣的情 况下进行测量。使用双目测量方法，能够在对机械加工和安装精度要求不高的情况下对列车、 轮船等大形貌物体进行精确测量。本发明的有益效果是本发明采用了结构光三维检测技术，并使用差分方法和 亚像素级的坐标匹配，可以在室外恶劣环境下对在轨物体进行快速、非接触、高精度的 超限检测，克服了现有超限测量的缺陷，极大地提高了测量效率和测量精度。


图1是单目结构光测量模型。图中，①为横梁，②是计算机，③是摄像机，⑥ 是线结构激光器，⑤是转台，角α、β分别是摄像头光轴和激光线与横梁中心线之间的 夹角。横梁两端的卡具可以将转台中心、摄像头焦点和横梁中心固定在一条直线上。图2是双目结构光测量模型。图中，①为横梁，②是计算机，③是摄像机1，④ 是摄像机2，⑤是转台，⑥是线结构激光器。横梁两端和中心的卡具将转台中心，两台摄 像头的焦点和横梁中心固定在一条直线上。图3是外极线匹配示意图。如图所示，空间中一点P在两个摄像机像平面上的 投影点ml、m2必存在于由两台摄像机光心和点P构成的平面上。图4和图5是双目匹配示意图，图4是左图，图5是右图，ml是左图激光光条 上的一点，lm2是ml点在右图上对应的外极线，外极线与激光线的交点m2是ml在右图 上的匹配点。图6是亚像素级的坐标匹配示意图(右图)，Dl和Dr分别是激光光条上距离外 极线最近的两个像素点，L是Dl和Dr中心的连线，点m2是L与外极线lm2之间的交 点，也就是所要寻找的匹配点。
具体实施例方式以往的单目结构光测量装置如图1所示，使用三角测量C点的位置需要精确知道 距离Lab和角度α，β。但是由于机械安装和控制精度的限制，电机旋转角β并不容 易控制，从而影响了测量精度。在这种情况下，双目测量就体现出特有的优势。在双目测量中摄像机的位置与姿态相对固定，因此距离Lab可视为恒定值，而角度α，β可以 通过图像处理算法精确获取，因而可以精确测量大形貌物体的外貌尺寸。该测量装置由 基座、高功率线结构激光器、两个装有滤光片的摄像头、驱动电路和计算机组成，如图2 所示。摄像头采集图像数据，由计算机根据三维空间匹配关系计算出物体外貌尺寸。三维空间左右双目匹配如图3所示，Il和12是两个摄像机的像平面，Cl和C2 分别是左右两个摄像机的光心。P为空间中任意一点，它在左摄像机图像平面上的像点 为ml，在右摄像机平面上的像点为m2。根据外极线(II和12平面上P点与所述Il和12 平面的交点与Cl和C2的连线交点的连线)几何约束，m2应位于ml在右图像平面内的 外极线lm2上，同样ml应位于m2在左图像平面内的外极线Iml上，它们彼此互为对应 点。由Cl，C2, P确定的平面II为外极面，ml的外极线lm2为外极面II与右图像平面 的交线，m2的外极线Iml为外极面II与左图像平面的交线，外极点el、e2为Cl和C2 的连线与左右图像平面的交点(也是与外极线1ml、lm2的交点)。根据双目成像的透视 关系可知，左图像平面内任何一点在右图像平面内的外极线都要经过外极点e2，左图像 上的点依然符合这种关系。图像匹配的具体方法如下定义空间点P的齐次坐标为[X，y，ζ, 1]Τ,其在像平面上对应点m的齐次像素 坐标为[u，ν, 1],有
⑴这里，s为比例因子，M为透视矩阵，M = K · [RT]，其中K为摄像机内参矩 阵，R，T分别为旋转矩阵与平移向量。不失一般性，摄像机1、2的摄像机坐标系为世界坐标系，R、T分别为摄像机1 与摄像机2之间的空间变换旋转矩阵和平移向量，Sl、S2为比例因子，mi、透视矩 阵，kp k2为摄像机内参矩阵，则有tn, K— ；！(2)
(3)
由上式消去Si、s2可得
Oif d:。:RK:ii、 ν
式中，反对称矩阵，
⑷
由平移向量TCrxTyTz为平移分量)决定
(5)
令
E = [T]XR
IK'
则有
(7)
(6)
(8)
(9)
5
式(9)即双目视觉中外极线几何关系的描述，其中Im2 = Fm1为对应In1的极线， Iml = FTm2为对应m2的极线，矩阵F即为基本矩阵(Fundamental matrix)，它与摄像机内 参数、摄像机之间的对应位姿有关。根据标定所得基本矩阵F，即可将两图像平面内对 应点的坐标进行匹配。获得匹配的像素点后，根据摄像机内外参数进行计算，可以获得该光条对应物 体轮廓的三维坐标。通过扫描激光器，可以实现对在轨物体外表面三维形貌的测量。再 与轨道中垂面的空间坐标做对比，计算机就可以自动做出超限判断。在实验中，我们使用中心线宽为635nm的线激光器和滤光片，基线长度1米， 被测点距极线距离为10米，经过计算可知角α、β都是87.14度，F矩阵的值为F = -0.000000485008366 -0.000038768789204 0.007350632235932-0.000045784962796 -0.000001147668094 -0.7176627704400720.017100613104312 0.778959169714406 -32.324287848102870测量过程如下1)将线结构激光照射到被测物体表面，用两个摄像头分别获得一张包含激光光 条的图像；2)关闭激光器，再用两个摄像头分别获得一张没有激光光条图像；3)将每个摄像头获得的两张图像做差分处理，可以提高图像的信噪比。同时由 于滤光片的作用，可以进一步消除外界环境中杂散光的干扰，提高图像的质量。4)利用计算机对两张激光光条图像进行匹配运算，可以得到这条激光光条对应 的物体轮廓的三维坐标5)转动激光器角度，重复步骤1)到步骤4)，可以得到另一条线激光光条对应的 物体轮廓的三维坐标。连续扫描激光器，使激光光条能够尽量覆盖全物体的被测面。然 后将这些被测面的线进行拼接，就可以得到物体的三维外貌尺寸。将被测面的坐标与轨 道中垂面做对比，即可对在轨物体是否超限做出判断。在步骤4)的三维图像匹配运算中，本方法使用的是基于外极线与线结构光交点 的方法获得亚像素级别的交点坐标，具体方法如下对于图4中激光光条上的一点ml，可根据外极线约束条件得到在图5中对应的 外极线方程lm2，如图4、5所示，这样就可以将二维的匹配点选择缩小到一维范围内。 同时由于点ml在激光光条上，那么在右图上的匹配点也应该在激光光条之上，这样根据 外极线约束和结构光约束就可以求到匹配点的坐标。在图6中寻找到距离外极线最近的 激光光条像素Dl、Dr,连接Dl、Dr的直线与外极线的交点m2即为特征点ml在右图中 所对应的特征点，且点m2的坐标具有亚像素精度。
权利要求
1.基于双目视觉的大形貌物体三维几何外形测量方法，即在轨物体的双目超限测量 方法，其特征是使用基于结构光测量的计算机视觉方法实现对在轨物体三维形貌的非接 触式测量，具体过程如下利用计算机控制的线激光器照射在轨物体上，用左右双目摄像机对投射到在轨物体 上的激光图像同时进行差分拍摄；通过计算机对双目摄像机成像的激光光条图像进行三 维匹配计算，得到双目摄像机成像的这条激光光条上所有在轨物体上的点的三维空间坐 标；转动激光器角度使激光光条能够扫描或测量运动物体时经一间隔时间来覆盖所有被 测面，并重复上述操作，从而获得整个被测面的三维空间模型及参数；通过对比在轨物 体三维形貌与轨道中垂面坐标，计算机可以自动做出尺寸判断和超限判断；计算机控制线激光器产生激光照射在物体被测面上，用两个摄像头分别采集一张带 有激光光条的被测面的图像；计算机控制激光器关闭照射，再用两个摄像头分别采集一 张没有激光光条的被测面的图像，将每个摄像机得到的图片分别做差值，得到激光光条 图像。
2.根据权利要求1所述的基于双目视觉的大形貌物体三维几何外形测量方法，其特征 是匹配所得的像素点坐标为亚像素级，11和12是左右两个摄像机的像平面，Cl和C2分 别是左右两个摄像机的光心；P为空间中任意一点，它在左摄像机图像平面上的像点为 ml,在右摄像机平面上的像点为m2;根据外极线几何约束，外极线是11和12平面上P 点与所述U和12平面的交点与Cl和C2的连线交点的连线，m2应位于ml在右图像平 面内的外极线lm2上，同样ml应位于m2在左图像平面内的外极线Iml上，它们彼此互 为对应点；由Cl，C2, P确定的平面II为外极面，ml的外极线lm2为外极面II与右图 像平面的交线，m2的外极线Iml为外极面II与左图像平面的交线，外极点el、e2为Cl 和C2的连线与左右图像平面的交点，左图像平面内任何一点在右图像平面内的外极线都 要经过外极点e2，左图像平面上的点依然符合这种关系；即在左图像平面的激光光条上 任取一点ml，它对应着物体上激光线所覆盖的一点P，根据外极线约束可知点P在右图 中的投影一定出现在外极线Lm2上，并可求得线Lm2的方程，这样就可以将二维匹配点 的寻找缩小到一维范围内；同时由于点P在右图像平面上的投影也一定在激光光条上， 所以取右图像平面中激光光条上距直线Lm2最近的两个像素点Dl、Dr,求出这两个像素 所在的直线方程L，那么直线L与Lm2的交点m2就是点P在图12上的投影，且m2的坐 标具有亚像素精度。
全文摘要
基于双目视觉的大形貌物体三维几何外形测量方法，使用基于结构光测量的计算机视觉方法实现对在轨物体三维形貌的非接触式测量，利用计算机控制的线激光器照射在轨物体上，用左右双目摄像机对投射到在轨物体上的激光图像同时进行差分拍摄；通过计算机对双目摄像机成像的激光光条图像进行三维匹配计算，得到双目摄像机成像的这条激光光条上所有在轨物体上的点的三维空间坐标；转动激光器角度使激光光条能够扫描或测量运动物体时经一间隔时间来覆盖所有被测面，并重复上述操作，从而获得整个被测面的三维空间模型及参数；通过对比在轨物体三维形貌与轨道中垂面坐标，计算机可以自动做出尺寸判断和超限判断，可以实现对物体外表面三维形貌的测量。
文档编号G01B11/24GK102012217SQ20101051150
公开日2011年4月13日 申请日期2010年10月19日 优先权日2010年10月19日
发明者张旭苹, 张益昕, 汪家其, 王顺 申请人:南京大学