专利名称：一种手持式三维型面信息提取方法及其提取仪的制作方法
技术领域：
本发明涉及一种物体外形三维信息获取方法及获取装置，特别是关于一种手持式 三维型面信息提取方法及其提取仪。
背景技术：
实物外形数字化是伴随CAD/CAE技术不断发展应运而生的一项新型产品设计辅 助技术。通过实物模型的数字化，可以充分发挥数字化和计算机的优势，提高产品设计、制 造、改进的效率。近年来，实物外形数字化技术已经在诸多领域取得了广泛的应用，比如在 产品研发方面，逆向工程技术可以通过实物数字化技术来理解原始的设计意图和机制，并 对原始设计做出改进，从而可以缩短研发周期；在加工制造业，实物数字化技术架起了手工 模具与计算机技术之间的桥梁，从而使人工模型的直观性、易改性与计算机辅助制造技术 的强大能力得以充分发挥；在公安刑侦方面，实物数字化技术可以广泛用于提取犯罪现场 的三维信息，提高案件侦破的效率；在考古研究方面，实物数字化技术可以将珍贵文物外形 信息转换为计算机模型，得到的计算机模型可以用于展出和永久保存。而目前计算机视觉是实物外形数字化的重要手段，由于在实物外形数字化过程中 摄像机视野和物体遮挡的原因，需要摄像机对不同位置和姿态的实物进行扫描。传统的做 法是将扫描头固定到具有定位功能的移动装置上，比如高精度运动机构、柔性臂、电磁陀螺 仪等，并利用这些移动装置提供扫描头的运动信息，但是成本很高。当前还有些产品需要通 过增加环境光和滤光镜来增强产品的环境适应能力，但固定的环境光亮度受被测物体表面 材质的影响，会导致激光条纹在物体表面颜色较暗时无法提取；而且滤光镜会对图像带来 畸变，影响测量精度。当前，较普遍使用的是面结构光方法，面结构光方法是通过投影仪投射结构图像 到被测物体表面，通过CCD相机进行接收，并在计算机中对接收的图像进行编码，从而得到 每点透射光的角度，再根据激光三角法就能计算出物体表面的深度信息。采用面结构光的 方式虽然可以在一次测量中获取视野场景中多条三维数据，但是，其数据反求过程不能达 到实时的要求，因此在测量过程中必须将摄像机固定在三脚架上保持相对静止，灵活性受 到很大限制。另外，由于物体表面的遮挡关系，很难事先确定需要扫描的摄像机姿态，扫描 效率很低。从理论上来说，编码结构光测量方法缺点在于测量的离散性，每一条光栅有一个 离散值，因此仅能进行有限的条纹数编码，限制了测量的精度。

发明内容
针对上述问题，本发明的目的是提供一种实时、准确的手持式三维型面信息提取 方法及其提取仪。为实现上述目的，本发明采取以下技术方案一种手持式三维型面信息提取方法， 其包括以下步骤1)在被扫描物体上随机设置若干多种颜色和类型的圆形标记点，将两台 摄像机对称设置在一线式激光投射器的左、右两侧，设置一具有两路并行工作线程的图像
6采集与处理板卡；2)图像采集与处理板卡中的一路工作线程采集左、右侧摄像机摄取到的 左、右目二维型面信息；3)图像采集与处理板卡中的另一路利用椭圆型物体图像处理方 法，将左、右目二维型面信息中的标记点提取出来，并进行立体视觉匹配，再重构左、右目二 维型面信息中标记点的三维坐标及拓扑结构；利用重构的三维标记点的拓扑结构，计算当 前姿态下扫描数据在整体扫描数据的配准矩阵；再从左、右目二维型面信息中提取激光条 纹点，重构左、右目二维型面信息中激光条纹点的三维坐标，并将两激光条纹点的三维坐标 进行左、右目融合；然后利用当前姿态下的配准矩阵将左、右目融合后的激光条纹点的三维 坐标配准到待扫描物体的整体扫描数据中；4)重复步骤2) 3)，直到获得待扫描物体的全 部扫描数据。所述步骤3)中，从左、右目二维型面信息中提取标记点的步骤如下①采用Susan 算子分别对左、右目二维型面信息进行边缘提取；②通过联通区域分别判断标识左、右目二 维型面信息中的不同区域；③初步确定可能的椭圆区域；④利用最小二乘方法直接拟合出 步骤③中初步确定可能的椭圆区域，并进一步确定椭圆标记点。所述步骤③中椭圆区域的确定步骤如下A、遍历左、右目二维型面信息像素，并找到包围每一个标记区域的最小矩形为[StRowp StColJ — [EndRoWi，EndColJ，并记录用像素数表示的各个矩形的面积 Area；；B、去除满足如下条件之一的区域标识a)矩形长宽比例失调的情形EndColt - StColt > 似 EndCol^ - StColt < 似 . EndRoWj — StRowl max" EndRowi 一 StRowl mm式中，StRoWi表示第i块区域的起始行，StColi表示第i块区域的起始列，EndRowi 表示第i块区域的最后一行，EndColi表示第i块区域的最后一列，T01_和Tolmin表示长 宽比例的最大和最小容忍度；b)第i块区域的面积Areai过大或过小的情形利用包围各个标记区域的最小矩形框为JStRow^StColJ — [EndRow^EndColJ, 找到各个标记区域的边缘Edgei ；所述步骤④中，椭圆拟合的步骤如下A、对于各个标识区域的边缘点Edgei，拟合椭圆Ellip(Cx，Cy，A,, As, 0 )，其中Cx， cy为椭圆的像素坐标中心，~、4为椭圆长、短轴长度，e为椭圆方向角；B、利用拟合所得椭圆参数(；、(；、、、As、e，计算出椭圆面积Area' i，并与步骤③
中的A所得面积Areai进行比较， t 如果’ ’〉m，则去除该椭圆；
Area 丨C、通过计算边缘点到所拟合椭圆的平均距离，得到平均拟合误差MeanErr，如果 MeanErr > Tol，则去除该椭圆，Tol表示平均误差的容忍度。所述步骤3)中，标记点的立体视觉匹配步骤如下①分别在左、右目二维型面信息中提取椭圆形标记点，并拟合椭圆参数；②利用得到的椭圆参数，估算出椭圆形标记点在 左、右两摄像机下的位置信息；③将基于右或左目的椭圆形标记点位置，通过事先标定好的 摄像机间的变换关系，转换到左或右目摄像机下；④对于左或右目二维型面信息中的每一 个标记点，计算其在右或左目二维型面信息中的极线方程，并在右或左目二维型面信息极 线附近寻找椭圆标记点，建立初始匹配，记左或右目二维型面信息中任意椭圆标记点Ei在 右或左目中的对应点集合为Si ；⑤对于左或右目二维型面信息中任意椭圆标记点Ei，遍历 集合Si中的每一点，找到与这些点中与椭圆标记点Ei空间位置差值最小并且小于误差容 限的点作为对应点，完成椭圆标记点的匹配。所述步骤3)中，激光条纹点提取步骤如下①平滑图像，滤除噪点；②遍历图像中 的每一行数据，找到该行亮度的最大值，作为激光条纹的备选点，记图像中第i行的激光条 纹候选点为Li ；③从第一行开始计算相邻两行激光条纹候选点间的距离，如果距离大于一 定阈值，则将当前找到的激光条纹段保存，从下一行开始，启动新的激光条纹段跟踪，重复 上述过程，直到遍历完图像上的所有行；④找到所有激光条纹段最长的一段，并认为该段必 为激光条纹，记该段条纹为LP1 ；⑤对于所有激光条纹段计算其起止点到LP1的起止点的距 离，选择距离最小并且小于一定阈值的那段作为下一段激光条纹LP2 ；⑥对于剩余的所有 激光条纹寻找计算其起止点到LP1、LP2的起止点的距离，选择距离最小并且小于一定阈值 的那段作为下一段激光条纹LP3 ；⑦返回步骤②，找到所有激光条纹点。所述步骤3)中，将左、右两摄像机坐标系下重构的激光条纹点进行左右目融合的 步骤如下①将重构在右或左侧的摄像机坐标系下的激光条纹点通过事先标定好的转换矩 阵转换到左或右侧的摄像机下；②对于重构在左或右侧的摄像机下的每一个数据点，寻找 其在右或左侧的摄像机下的最近点，如果两点间的距离小于扫描仪最大分辨率，则将这两 点都加入到最终扫描数据中；否则，计算两者坐标的均值，并把该均值压入最终扫描数据 中，作为左右目融合好的激光条纹点。将所述步骤3)中左、右目融合后的激光条纹点的三维坐标配准到扫描物体的整 体扫描数据中的步骤如下①定义一容器SignPtSet，用于盛装重构得到的三维标记点坐 标；一容器KNNId，用于记录SignPtSet中每一个点的K邻域序号；一容器KNNInfo，用于记 录SignPtSet中点与其K邻域每一点的拓扑结构信息；记每次从单帧扫描得到的标记点的 点集为P ；记第一次扫描时左或右侧的摄像机坐标系为C00rdFirSt，并以C00rdFiret作为全局 坐标系；②将从第一帧图像中重构出来的点集P中所有的标记点压入到容器SignPtSet中； ③计算点集P中每一点的临域信息，记录每一点的K邻域序号和拓扑结构信息并分别压入 到KNNId和KNNInfo中；④将当前第一帧融合好的的激光条纹点压入到整体扫描数据中去， 则完成第一帧的二维型面信息到三维型面信息的处理；⑤将从第一帧以后的当前帧图像中 重构出来的标记点点集P中所有的标记点压入到容器SignPtSet中，并计算标记点点集P 中每一标记点的拓扑结构信息和K邻域序号；⑥利用每一标记点的拓扑结构信息和K邻域 序号，从SignPtSet中找到与其具有相同拓扑结构的点并组成点对；⑦如果点对的数目小 于2，则返回步骤⑥，反之，利用找到的点对求取从当前坐标系到全局坐标系C00rdFi t的配 准矩阵T ；⑧对标记点点集P利用配准矩阵T进行变换，记变换后的点集为P1 ；⑨遍历P1中 的每一点，如果在其R-球临域中存在其它标记点，则计算这些标记点的均值，用以代替原 来的标记点；反之，将该点压入SignPtSet中，计算该点的拓扑结构信息和K邻域序号，并分别压入到KNNId和KNNInfo中；⑩对已经完成左、右目融合的激光条纹点利用配准矩阵T进 行变换，将从当前帧融合好的激光条纹点配准到整体扫描数据中去，则完成当前帧的二维 型面信息到三维型面信息的处理。—种手持式三维型面信息提取仪，其特征在于，它包括一机架，一线式激光投射 器，其设置在所述机架上；两摄像机，其对称设置在所述线式激光投射器两侧的机架上；一 图像采集与处理板卡，其电连接所述左、右两摄像机；一通信模块，其电连接图像采集与处 理板卡；一计算机，其通过数据线连接所述通信模块；一电源模块，其分别连接所述左、右 两摄像机、图像采集与处理板卡和通信模块；所述图像采集与处理板卡包括一图像采集 模块，用于采集所述左、右两摄像机摄取到的左、右目二维型面信息；一图像处理模块，其利 用椭圆型物体的图像处理方法从所述左、右目二维型面信息中提取出椭圆形标记点；一立 体视觉匹配模块，其将所述图像处理模块提取出的所述左、右目二维型面信息中椭圆形标 记点进行匹配并重构其三维坐标及拓扑结构，再利用重构好的所述三维标记点的拓扑结构 计算当前姿态下扫描数据转换到整体扫描数据的配准矩阵；一激光条纹提取模块，其从所 述左、右目二维型面信息中提取出激光条纹点并重构其三维坐标；一融合与配准模块，其利 用所述立体视觉匹配模块计算出的配准矩阵，对从所述激光条纹提取模块中重构的激光条 纹点的三维坐标进行融合和配准，以获得待扫描物体的三维型面信息。它还包括两个环境光投射器，两所述环境光投射器分别对称设置在所述左、右两 摄像机与线式激光投射器之间。所述左、右两摄像机到被扫描物体距离均为20cm 30cm，两光心之间的距离为 25cm;所述左、右两摄像机的光轴方向与所述线式激光投射器的激光条纹投射方向的夹角 成 20°。本发明由于采取以上技术方案，其具有以下优点1、本发明的图像处理模块利用 椭圆型物体的图像处理方法提取标记点时，首先进行连通区域标识，然后再寻找连通区域 的边缘点来进行椭圆边界点的提取，而且由于图像处理模块通过面积准则去除了外椭圆边 界，从而保证在后续处理中，只有内边界参与计算，有效地提高了计算效率。2、本发明由于 采用了线式激光投射器，能够向待扫描物体表面的标记点投射单线式激光条纹，因此可以 更加准确地获取高精度的三维型面信息。3、本发明由于将两摄像机对称设置在线式激光投 射器的左、右两侧，因此左、右两侧摄像机分别摄取的待扫描物体的左、右目二维型面信息 非常接近，为准确地获取待扫描物体的三维型面信息提供有力的保证。4、本发明可以在自 然光环境下工作，克服了现有技术中有些产品必须具有环境光支持的缺点。5、本发明由于 在待扫描物体的表面采用多个标记点进行定位，因此可以提高数据配准的速度。6、由于本 发明在摄像过程中摄像机到被扫描物体的距离始终保持在20cm 30cm，且左、右两摄像机 的光心之间的距离为25cm，因此可以使获取的左、右目二维型面信息的精度最高。7、本发明 由于左、右两摄像机的光轴方向与线式激光投射器的激光条纹投射方向的夹角成20°，因 此可以使左、右两摄像机具有最大范围的公共视野。8、由于本发明中的通信模块采用的是 一块1394板卡，满足高效率输送的要求。本发明可以应用在一切需要获取物体外形三维信 息的领域，例如汽车整车扫描、飞机外形扫描、模具制造、消费品制造、公安刑侦、文物数字 化的等诸多领域。


图1是本发明提取仪结构的平面示意2是本发明提取仪的结构原理3是本发明提取仪中图像采集与处理板卡的结构框4是本发明提取仪中图像采集与处理板卡的工作流程5是本发明提取仪中图像处理模块提取的左、右目二维型面信息边缘示意6是本发明提取仪中图像处理模块标识的左、右目二维型面信息区域示意7本发明提取仪中图像处理模块初步确定的椭圆区域示意8是本发明提取仪中图像处理模块椭圆拟合结果示意9是本发明提取仪中图像处理模块拟合的典型标记点示意10是本发明提取仪中立体视觉匹配模块极限匹配的示意图
具体实施例方式下面结合附图和实施例对本发明进行详细的描述。如图1、图2所示，本发明提取仪包括一机架1，机架1上设置有一线式激光投射器 2，在线式激光投射器2两侧的机架1上对称设置左、右两摄像机3。左、右两摄像机3电连 接一图像采集与处理板卡4，图像采集与处理板卡4电连接一通信模块5。通信模块5通过 数据线连接一计算机6，左、右两摄像机3、图像采集与处理板卡4和通信模块5分别连接一 电源模块7。线式激光投射器2发射激光，对待扫描物体进行扫描，摄像机3摄取待扫描物 体上反射回的光，即待扫描物体的二维型面信息，图像采集与处理板卡4电连接两摄像机 3，采集待扫描物体的二维型面信息，同时将二维型面信息处理成三维型面信息，并通过通 信模块5和数据线将三维型面信息输送给计算机6，由计算机6同步显示摄像机3的图像以 及经图像采集与处理板卡4处理好的扫描图像。电源模块7为给两摄像机3、图像采集与处 理板卡4和通信模块5供电。本实施例中，通信模块5采用的是一块1394板卡。本发明提取仪的线式激光投射器2用于向待扫描物体的表面投射一条单线式激 光条纹，由于单线式激光条纹可以满足高效率、高精度的要求。线式激光投射器2的激光条 纹投射方向指向待扫描物体的方向。本发明提取仪的两摄像机3用于摄取待扫描物体的二维型面信息，二者对称设置 结构可以使激光条纹在左、右两摄像机3的成像位置相近。单个摄像机3拍摄的图像仅能 够提供待扫描物体的二维型面信息，采用左、右两摄像机3是为了模拟人的双目定位功能， 以摄取待扫描物体表面的左、右目二维型面信息，从而获取待扫描物体的三维型面信息。在 摄像机3到被扫描物体距离在20cm 30cm，且左、右两摄像机3的光心之间的距离为25cm 时，获取的左、右目二维型面信息的精度最高。左、右两摄像机3的光轴方向与线式激光投 射器2的激光条纹投射方向的夹角成20°，这样可以使左、右两摄像机3具有最大范围的公 共视野。本实施例中，摄像机3可以采用CCD相机，还可以采用其它的摄像设备，只要分辨 率不低于130万像素左右要求即可。为了提高数据配准的速度，本发明使用的标记点采用的是不同颜色的圆形标记 点，标记点包括非编码和编码两种。上述标记点被随机地粘贴在待扫描物体上或者物体周 围，从而可以保证标记点拓扑结构的唯一性，本发明的拓扑结构是指标记点的临近点颜色、类型以及与其邻近点的距离信息(容后详述)。如图3、图4所示，本发明提取仪的图像采集与处理板卡4包括两路并行工作的线 程，其中一路为图像采集模块41，用于采集左、右两摄像机3摄取到的左、右目二维型面信 息，另一路包括图像处理模块42、一立体视觉匹配模块43、一激光条纹提取模块44和一融 合与配准模块45。图像采集模块41用于采集摄像机3摄取到的待扫描物体表面的左、右目 二维型面信息。图像处理模块42利用椭圆型物体的图像处理方法将左、右目二维型面信息 中的标记点提取出来，提取出的标记点均为椭圆形标记点。立体视觉匹配模块43将图像处 理模块42提取出的左、右目二维型面信息中椭圆形标记点进行匹配，再重构左、右目二维 型面信息中标记点的三维坐标及拓扑结构，最后利用重构好的三维标记点的拓扑结构计算 当前姿态下扫描数据转换到整体扫描数据的配准矩阵T。激光条纹提取模块44从左、右两 摄像机3摄取的左、右目二维型面信息中提取出激光条纹点，并重构左、右目二维型面信息 中激光条纹点的三维坐标。融合与配准模块45将两激光条纹点的三维坐标进行左、右目融 合，并利用当前姿态下的配准矩阵将左、右目融合后的激光条纹的三维坐标配准到扫描物 体的整体扫描数据中，以获得待扫描物体的三维点云数据，即待扫描物体的三维型面信息。本发明的图像处理模块42利用椭圆型物体的图像处理方法处理左、右目二维型 面信息的步骤如下①图像边缘提取在各种边缘提取算子中Susan (苏三)算子运算速度较高，并且 不予要过多的参数设置，可以满足实时需求，因此，本发明采用Susan算子对左、右目二维 型面信息进行边缘提取，提取的边缘如图5所示。②图像区域标识通过联通区域判断标识出左、右目二维型面信息中的不同区域， 区域的标识结果如图6所示。③初步确定可能的椭圆区域，椭圆区域如图7所示。椭圆区域的确定步骤如下A、遍历左、右目二维型面信息像素，在此过程中找到包围每一个标记区域的最小 矩形为[StRoWp StColJ — [EndRow^ EndColJ，并记录用像素数表示的各个矩形的面积 Areai0B、去除满足如下条件之一的区域标识a)矩形长宽比例失调的情形 上式中，下标i表示第i块区域，St表示起始，End表示结束，Row表示行，Col表 示列。StRoWi表示第i块区域的起始行，StColi表示第i块区域的起始列，EndRoWi表示第 i块区域的最后一行，EndColi表示第i块区域的最后一列，Tolmax和Tolmin表示长宽比例的 最大和最小容忍度。b)第i块区域的面积Areai过大或过小的情形Areai > Tolmax 或 Areai < Tolmax利用包围各个标记区域的最小矩形框为[StRowi StColJ — [EndRoWi，EndCol J，找到各个标记区域的边缘 Edge^④利用最小二乘方法直接拟合出步骤3)中初步确定可能的椭圆区域，并进一步确定椭圆，作为标记点。最后确定的椭圆拟合结果如图8所示，椭圆拟合的步骤如下A、对于各个标识区域的边缘点Edgei，拟合椭圆Ellip(Cx，Cy，As，0 )，其中Cx， cy为椭圆的像素坐标中心，~、4为椭圆长、短轴长度，e为椭圆方向角。B、利用拟合所得椭圆参数(；、(；、、、4、e，计算出椭圆面积Area' i，并与步骤3)
中的①所得面积Areai进行比较， t如果
，则去除该椭圆。C、通过计算边缘点到所拟合椭圆的平均距离，得到平均拟合误差MeanErr，如果 MeanErr > Tol，则去除该椭圆。Tol表示平均误差的容忍度。需要指出的是，在进行椭圆边界点提取时，本发明没有采用传统的边界跟踪的算 法，而是通过首先进行连通区域标识，然后再寻找连通区域的边缘点来进行椭圆边界点的 提取。这样做有如下优点在实际扫描中，为增加标记点与周围环境的区别度，减小环境光 对椭圆提取的影响，经常采用如图4所示样式的圆形标记点。如果采用传统的边界跟踪算 法，则会给出两条边界C1，C2，对于定位来说只采用内圆所形成的C1即可，多引入冗余边界 会增加计算量，拟合结果如图9中的a所示；而如果采用本发明中的区域连通，则可以形成 如图10中的b所示的白色的区域A1和黑色的区域A2。由于区域A2像素数(面积)很少， 因此在步骤3)中的②通过面积准则去除了外椭圆边界，从而保证在后续处理中，只有内边 界参与计算，提高了计算效率。这在实时计算中是至关重要。本发明中的立体视觉匹配模块43将图像处理模块42提取出的左、右目二维型面 信息中椭圆形标记点进行匹配，再重构左、右目二维型面信息中标记点的三维坐标及拓扑 结构，再利用左、右目二维型面信息中标记点的拓扑结构分别计算出左、右目二维型面信息 的配准矩阵T。对应点匹配是立体视觉中的核心的问题。关于对应点匹配最重要的原则是 极线约束条件。通过极线约束，可以将图像中一点在另一幅图像中的对应点限定在一条直 线上，从而大大减小了搜索范围。但极线约束条件仍然不能保证对应点匹配的唯一性。为 了解决这一问题，本发明利用圆形目标在图像中的成像特点，实现了左、右目二维型面信息 对应点的唯一匹配。如图10所示，标记点的匹配步骤如下①分别在左、右目二维型面信息中提取标记点，并拟合椭圆参数。②利用步骤1)中计算所得的椭圆参数，估算出标记点在左、右两摄像机3下的位
直{曰息。③将基于右目的椭圆形标记点位置，通过事先标定好的摄像机3间的变换关系， 转换到左侧的摄像机3下。④对于左目二维型面信息中的每一个标记点，计算其在右目二维型面信息中的极 线方程，并在右目二维型面信息极线附近寻找椭圆标记点，建立初始匹配。经过极线约束匹 配，左目二维型面信息中一个标记点可能会有多个右目标记点对应。记左目二维型面信息 中任意标记点Ei在右目中的对应点集合为Si。⑤对于左目二维型面信息中任意标记点Ei，遍历集合Si中的每一点，找到与这些 点中与标记点Ei空间位置差值最小并且小于误差容限的点作为对应点，完成标记点的匹 配。
上述实施例中，也可以在步骤③中将基于左目的椭圆形标记点位置转换到右侧的 摄像机3下，并以同样的方式对左、右目二维型面信息中对应点进行匹配。本发明中的激光条纹提取模块44从摄像机3摄取的原始左、右目二维型面信息中 提取出激光条纹点，并重构激光条纹点的三维坐标。激光条纹点提取步骤如下①平滑图像，滤除噪点。②遍历图像中的每一行数据，找到该行亮度的最大值，作为激光条纹点的备选点， 记图像中第i行的激光条纹候选点为Li。③从第一行开始计算相邻两行激光条纹候选点间的距离，如果距离大于一定阈 值，则将当前找到的激光条纹段保存。从下一行开始，启动新的激光条纹段跟踪。重复上述 过程，直到遍历完图像上的所有行。④找到所有激光条纹段最长的一段，并认为该段必为激光条纹，记该段条纹为 LP1。⑤对于所有激光条纹段计算其起止点到LP1的起止点的距离，选择距离最小并且 小于一定阈值的那段作为下一段激光条纹LP2。⑥对于剩余的所有激光条纹寻找计算其起止点到LP1，LP2的起止点的距离，选择 距离最小并且小于一定阈值的那段作为下一段激光条纹LP3。⑦返回步骤②，找到所有激光条纹点。本发明的融合与配准模块45利用配准矩阵T，对激光条纹提取模块33提取出的激 光条纹进行数据配准和融合，以获得待扫描物体的最终扫描数据，即三维型面信息。为了增加数据的可靠性和扩大单次扫描范围，需要将左、右两摄像机3坐标系下 重构的激光条纹点进行左右目融合，其融合步骤如下①将重构在右摄像机3坐标系下的激光条纹点通过事先标定好的转换矩阵转换 到左摄像机3下。②对于重构在左摄像机3下的每一个数据点，寻找其在右摄像机3下的最近点，如 果两点间的距离小于扫描仪最大分辨率，则将这两点都加入到最终扫描数据中；反之，计算 两者坐标的均值，并把该均值压入最终扫描数据中，作为左右目融合好的激光条纹点。上述实施例中，步骤①中也可以将重构在左摄像机3坐标系下的激光条纹通过事 先标定好的转换矩阵转换到右摄像机3下，采用上述同样的方式将左、右两摄像机3坐标系 下重构的激光条纹点进行左右目融合。将融合好的激光条纹点进行数据配准的步骤如下①定义一容器SignPtSet，用于盛装重构得到的三维标记点坐标；一容器KNNId， 用于记录SignPtSet中每一个点的K邻域序号；一容器KNNInfo，用于记录SignPtSet中点 与其K邻域每一点的拓扑结构信息；记每次从单帧扫描得到的标记点的点集为P ；记第一次 扫描时左侧的摄像机坐标系为C00rdFiret，并以C00rdFirSt作为全局坐标系。②将从第一帧图像中重构出来的标记点点集P中所有的标记点压入到容器 SignPtSet 中。③计算标记点点集P中每一标记点的拓扑结构信息，其包括颜色、类型和与其邻 近点的距离信息，同时记录每一标记点的K邻域序号。④将每一点的K邻域序号信息压入到KNNId，每一标记点的拓扑结构信息压入到
13KNNInfo 中。⑤将从当前第一帧融合好的激光条纹点压入到整体扫描数据中去，则完成第一帧 的二维型面信息到三维型面信息的处理。为了保证数据的坐标的一致性，接下来的扫描需要将标记点和激光条纹点的三维 坐标从当前摄像机坐标系下转换到C00rdFiret下，其处理过程如下①将从第一帧以后的当前帧图像中重构出来的标记点点集P中所有的标记点压 入到容器SignPtSet中。②计算标记点点集P中每一标记点的拓扑结构信息，同时记录每一标记点的K邻 域序号。③对于从当前帧图像中重构出的标记点点集P中的每一标记点，利用每一标记点 的拓扑结构信息和K邻域序号，从SignPtSet中找到与其具有相同拓扑结构的点，并将这些 标记点组成点对。④如果点对的数目小于2个，则返回步骤③；如果点对的数目大于2个，则利用找 到的点对求取从当前坐标系到全局坐标系C00rdFiret的变换矩阵T，即配准矩阵T。⑤对标记点点集P中的每一标记点利用配准矩阵T进行变换，记变换后的点集为 P1。⑥遍历点集P1中的每一点，如果在其R-球临域中存在SignPtSet中的其它标记 点，则计算这些标记点的均值，并使均值代替原来的SignPtSet中相应的标记点；否则，将 该点压入SignPtSet中，计算该点的拓扑结构信息，同时记录该点的K邻域序号；并将该点 的拓扑结构信息和K邻域序号分别压入到KNNId和KNNInfo中。⑦对已经完成左、右目融合的激光条纹点利用配准矩阵T进行变换，将从当前帧 融合好的激光条纹点配准到整体扫描数据中去，则完成当前帧的二维型面信息到三维型面 信息的处理。上述整体扫描数据为最终待扫描物体的三维型面信息。上述实施例中，如图1所示，本发明提取仪还包括两个环境光投射器8，两个环境 光投射器8分别对称设置在左、右两摄像机3与线式激光投射器2之间，保证形成的环境光 照射范围均勻的分布于摄像机视野范围内。环境光的亮度通过电压调节的方式实现，当被 扫描物体表面颜色较亮或较暗时，降低环境光的亮度，保证在不同材质的表面都能准确的 提取到激光条纹点。本实施例中，环境光源7采用2个功率为lw的发光二极管。本发明提取方法的步骤如下1)在被扫描物体上随机设置若干多种颜色和类型的圆形标记点，将两台摄像机对 称设置在一线式激光投射器的左、右两侧，设置一具有两路并行工作线程的图像采集与处 理板卡；2)图像采集与处理板卡中的一路工作线程采集左、右侧摄像机摄取到的左、右目 二维型面信息；3)图像采集与处理板卡中的另一路利用椭圆型物体图像处理方法，将左、右目二 维型面信息中的标记点提取出来，并进行立体视觉匹配，再重构左、右目二维型面信息中标 记点的三维坐标及拓扑结构；利用重构的三维标记点的拓扑结构，计算当前姿态下扫描数 据在整体扫描数据的配准矩阵；再从左、右目二维型面信息中提取激光条纹点，重构左、右
14目二维型面信息中激光条纹点的三维坐标，并将两激光条纹点的三维坐标进行左、右目融 合；然后利用当前姿态下的配准矩阵将左、右目融合后的激光条纹点的三维坐标配准到扫 描物体的整体扫描数据中；4)重复步骤2) 3)，直到获得待扫描物体的全部扫描数据。上述步骤3)中，待扫描物体的图像处理过程在本发明提取仪中已经描述清楚，在 此不再赘述。
权利要求
一种手持式三维型面信息提取方法，其包括以下步骤1)在被扫描物体上随机设置若干多种颜色和类型的圆形标记点，将两台摄像机对称设置在一线式激光投射器的左、右两侧，设置一具有两路并行工作线程的图像采集与处理板卡；2)图像采集与处理板卡中的一路工作线程采集左、右侧摄像机摄取到的左、右目二维型面信息；3)图像采集与处理板卡中的另一路利用椭圆型物体图像处理方法，将左、右目二维型面信息中的标记点提取出来，并进行立体视觉匹配，再重构左、右目二维型面信息中标记点的三维坐标及拓扑结构；利用重构的三维标记点的拓扑结构，计算当前姿态下扫描数据在整体扫描数据的配准矩阵；再从左、右目二维型面信息中提取激光条纹点，重构左、右目二维型面信息中激光条纹点的三维坐标，并将两激光条纹点的三维坐标进行左、右目融合；然后利用当前姿态下的配准矩阵将左、右目融合后的激光条纹点的三维坐标配准到待扫描物体的整体扫描数据中；4)重复步骤2)～3)，直到获得待扫描物体的全部扫描数据。
2.如权利要求1所述的一种手持式三维型面信息提取方法，其特征在于所述步骤3)中，从左、右目二维型面信息中提取标记点的步骤如下①采用Susan算子分别对左、右目二维型面信息进行边缘提取；②通过联通区域分别判断标识左、右目二维型面信息中的不同区域；③初步确定可能的椭圆区域；④利用最小二乘方法直接拟合出步骤③中初步确定可能的椭圆区域，并进一步确定椭 圆标记点。
3.如权利要求2所述的一种手持式三维型面信息提取方法，其特征在于所述步骤③ 中椭圆区域的确定步骤如下A、遍历左、右目二维型面信息像素，并找到包围每一个标记区域的最小矩形为，并记录用像素数表示的各个矩形的面积Area；；B、去除满足如下条件之一的区域标识a)矩形长宽比例失调的情形 式中，StRowi表示第i块区域的起始行，StColi表示第i块区域的起始列，EndRoWi表 示第i块区域的最后一行，EndCol,表示第i块区域的最后一列，Tolfflax和Tolmin表示长宽 比例的最大和最小容忍度；b)第i块区域的面积Areai过大或过小的情形Areaj > Tolmax 或 kreai < Tolmax利用包围各个标记区域的最小矩形框为JStRowpStColJ — [EndRowyEndColi]，找到 各个标记区域的边缘Edgei;所述步骤④中，椭圆拟合的步骤如下A、对于各个标识区域的边缘点Edgei，拟合椭圆Ellip(Cx，Cy，As，0 )，其中Cx，Cy为椭圆的像素坐标中心，~、4为椭圆长、短轴长度，e为椭圆方向角；B、利用拟合所得椭圆参数(；、(；、~、4、e，计算出椭圆面积Area' i，并与步骤③中的A所得面积Areai进行比较， 如 则去除该椭圆； AreatC、通过计算边缘点到所拟合椭圆的平均距离，得到平均拟合误差MeanErr，如果 MeanErr > Tol，则去除该椭圆，Tol表示平均误差的容忍度。
4.如权利要求1或2或3所述的一种手持式三维型面信息提取方法，其特征在于所 述步骤3)中，标记点的立体视觉匹配步骤如下①分别在左、右目二维型面信息中提取椭圆形标记点，并拟合椭圆参数；②利用得到的椭圆参数，估算出椭圆形标记点在左、右两摄像机下的位置信息；③将基于右或左目的椭圆形标记点位置，通过事先标定好的摄像机间的变换关系，转 换到左或右目摄像机下；④对于左或右目二维型面信息中的每一个标记点，计算其在右或左目二维型面信息中 的极线方程，并在右或左目二维型面信息极线附近寻找椭圆标记点，建立初始匹配，记左或 右目二维型面信息中任意椭圆标记点Ei在右或左目中的对应点集合为Si ；⑤对于左或右目二维型面信息中任意椭圆标记点Ei，遍历集合Si中的每一点，找到与 这些点中与椭圆标记点Ei空间位置差值最小并且小于误差容限的点作为对应点，完成椭 圆标记点的匹配。
5.如权利要求1或2或3或4所述的一种手持式三维型面信息提取方法，其特征在于 所述步骤3)中，激光条纹点提取步骤如下①平滑图像，滤除噪点；②遍历图像中的每一行数据，找到该行亮度的最大值，作为激光条纹的备选点，记图像 中第i行的激光条纹候选点为Li ；③从第一行开始计算相邻两行激光条纹候选点间的距离，如果距离大于一定阈值，则 将当前找到的激光条纹段保存，从下一行开始，启动新的激光条纹段跟踪，重复上述过程， 直到遍历完图像上的所有行；④找到所有激光条纹段最长的一段，并认为该段必为激光条纹，记该段条纹为LP1；⑤对于所有激光条纹段计算其起止点到LP1的起止点的距离，选择距离最小并且小于 一定阈值的那段作为下一段激光条纹LP2 ；⑥对于剩余的所有激光条纹寻找计算其起止点到LP1、LP2的起止点的距离，选择距离 最小并且小于一定阈值的那段作为下一段激光条纹LP3 ；⑦返回步骤②，找到所有激光条纹点。
6.如权利要求1或2或3或4或5所述的一种手持式三维型面信息提取方法，其特征 在于所述步骤3)中，将左、右两摄像机坐标系下重构的激光条纹点进行左右目融合的步 骤如下①将重构在右或左侧的摄像机坐标系下的激光条纹点通过事先标定好的转换矩阵转 换到左或右侧的摄像机下；②对于重构在左或右侧的摄像机下的每一个数据点，寻找其在右或左侧的摄像机下的 最近点，如果两点间的距离小于扫描仪最大分辨率，则将这两点都加入到最终扫描数据中； 否则，计算两者坐标的均值，并把该均值压入最终扫描数据中，作为左右目融合好的激光条 纹点。
7.如权利要求1或2或3或4或5或6所述的一种手持式三维型面信息提取方法，其 特征在于将所述步骤3)中左、右目融合后的激光条纹点的三维坐标配准到扫描物体的整 体扫描数据中的步骤如下①定义一容器SignPtSet，用于盛装重构得到的三维标记点坐标；一容器KNNId，用于 记录SignPtSet中每一个点的K邻域序号；一容器KNNInfo，用于记录SignPtSet中点与其 K邻域每一点的拓扑结构信息；记每次从单帧扫描得到的标记点的点集为P ；记第一次扫描 时左或右侧的摄像机坐标系为C00rdFiret，并以C00rdFirSt作为全局坐标系；②将从第一帧图像中重构出来的点集P中所有的标记点压入到容器SignPtSet中；③计算点集P中每一点的临域信息，记录每一点的K邻域序号和拓扑结构信息并分别 压入到KNNId和KNNInfo中；④将当前第一帧融合好的的激光条纹点压入到整体扫描数据中去，则完成第一帧的二 维型面信息到三维型面信息的处理；⑤将从第一帧以后的当前帧图像中重构出来的标记点点集P中所有的标记点压入到 容器SignPtSet中，并计算标记点点集P中每一标记点的拓扑结构信息和K邻域序号；⑥利用每一标记点的拓扑结构信息和K邻域序号，从SignPtSet中找到与其具有相同 拓扑结构的点并组成点对；⑦如果点对的数目小于2，则返回步骤⑥，反之，利用找到的点对求取从当前坐标系到 全局坐标系C00rdFi t的配准矩阵T ；⑧对标记点点集P利用配准矩阵T进行变换，记变换后的点集为P1；⑨遍历P1中的每一点，如果在其R-球临域中存在其它标记点，则计算这些标记点的均 值，用以代替原来的标记点；反之，将该点压入SignPtSet中，计算该点的拓扑结构信息和K 邻域序号，并分别压入到KNNId和KNNInfo中；⑩对已经完成左、右目融合的激光条纹点利用配准矩阵T进行变换，将从当前帧融合 好的激光条纹点配准到整体扫描数据中去，则完成当前帧的二维型面信息到三维型面信息 的处理。
8.一种手持式三维型面信息提取仪，其特征在于它包括一机架，一线式激光投射器，其设置在所述机架上；两摄像机，其对称设置在所述线式激光投射器两侧的机架上；一图像采集与处理板卡，其电连接所述左、右两摄像机；一通信模块，其电连接图像采集与处理板卡；一计算机，其通过数据线连接所述通信模块；一电源模块，其分别连接所述左、右两摄像机、图像采集与处理板卡和通信模块；所述图像采集与处理板卡包括一图像采集模块，用于采集所述左、右两摄像机摄取到的左、右目二维型面信息；一图像处理模块，其利用椭圆型物体的图像处理方法从所述左、右目二维型面信息中 提取出椭圆形标记点；一立体视觉匹配模块，其将所述图像处理模块提取出的所述左、右目二维型面信息中 椭圆形标记点进行匹配并重构其三维坐标及拓扑结构，再利用重构好的所述三维标记点的 拓扑结构计算当前姿态下扫描数据转换到整体扫描数据的配准矩阵T ；一激光条纹提取模块，其从所述左、右目二维型面信息中提取出激光条纹点并重构其 三维坐标；一融合与配准模块，其利用所述立体视觉匹配模块计算出的配准矩阵T，对从所述激光 条纹提取模块中重构的激光条纹点的三维坐标进行融合和配准，以获得待扫描物体的三维 型面信息。
9.如权利要求8所述的一种手持式三维型面信息提取仪，其特征在于它还包括两个 环境光投射器，两所述环境光投射器分别对称设置在所述左、右两摄像机与线式激光投射 器之间。
10.如权利要求8或9所述的一种手持式三维型面信息提取仪，其特征在于所述左、 右两摄像机到被扫描物体距离均为20cm 30cm，两光心之间的距离为25cm ；所述左、右两 摄像机的光轴方向与所述线式激光投射器的激光条纹投射方向的夹角成20°。
全文摘要
本发明涉及一种手持式三维型面信息提取方法及其提取仪，其包括以下步骤1)在被扫描物体上随机设置若干圆形标记点，将两台摄像机对称设置在一线式激光投射器的左、右侧，设置一具有两路并行工作线程的图像采集与处理板卡；2)图像采集与处理板卡中的一路工作线程采集左、右侧摄像机摄取到的左、右目二维型面信息；3)图像采集与处理板卡中的另一路利用椭圆型物体图像处理方法，将左、右目二维型面信息中的标记点提取出来，并进行立体视觉匹配，再重构左、右目二维型面信息中标记点的三维坐标及拓扑结构；利用重构的三维标记点的拓扑结构，计算当前姿态下扫描数据在整体扫描数据的配准矩阵；再从左、右目二维型面信息中提取激光条纹点，重构左、右目二维型面信息中激光条纹点的三维坐标，并将两激光条纹点的三维坐标进行左、右目融合；然后利用当前姿态下的配准矩阵将左、右目融合后的激光条纹点的三维坐标配准到待扫描物体的整体扫描数据中；4)重复步骤2)～3)，直到获得待扫描物体的全部扫描数据。本发明应用在一切需要获取物体外形三维信息的领域。
文档编号G01B11/25GK101853528SQ201010173849
公开日2010年10月6日 申请日期2010年5月10日 优先权日2010年5月10日
发明者聂建辉, 胡英, 马孜 申请人:沈阳雅克科技有限公司;马孜