专利名称：一种受限空间三维形貌结构光视觉测量方法
技术领域：
本发明属于三维测量领域，涉及一种受限空间三维形貌结构光视觉测量方法。
背景技术：
三维物体表面形貌的测量，在机械制造领域又称为逆工程，在现代加工制造及实 际作业生产中起着越来越重要的作用。随着三维物体表面形状的非接触检测技术在科研、 医学诊断、工程设计、刑事侦查现场痕迹分析、自动在线检测、质量控制、机器人及许多生产 过程中越来越广泛的应用，人们对三维形貌测量的要求也越来越高，其应用领域也在不断 扩大。 在物体表面三维测量中，小尺寸和大尺寸的测量是当前研究的重点和热点，随着 现代加工制造和生产作业的发展需要，小尺寸在线测量已逐渐受到国内外研究者的高度重 视，如牙齿取模、发动机的微小零部件表面、集成IC芯片的综合几何参数、高速运转微型飞 轮表面测量以及工作状态的小型机械零部件磨损测量等 。这些构件一般尺寸较小，且有些 零部件具有不可拆卸性。现代加工制造业需要将产品质量控制在生产加工阶段，目标是实 现零废品制造，为此要求能够在生产加工过程中实现零部件的表面三维形貌在线测量。对 于生产作业过程中的零部件，为了最大程度延长其使用寿命，需要及时了解零部件的表面 磨损和动态变形，也要求能够实现零部件三维形貌的在线测量。范光照等人(范光照，李瑞 君，一种基于光纤传像束的新型三维形貌测量装置，专利号200520070076. 8)研制出一种 新型三维形貌测量装置，实现了远距离测量，但上述测量装置的探测头只能沿轴向展开，不 能对垂直轴向的内表面进行测量，不能完全满足受限空间三维形貌测量要求。因此，研究小 型物体表面三维在线测量，甚至能够深入测量现场的受限空间内，嵌入集成到加工制造系 统中具有小型投射机构的三维测量设备已经成为现代加工制造业和生产作业的迫切要求。

发明内容
本发明所要解决的技术问题是提出一种受限空间三维形貌结构光视觉测量方 法，研制一种能进入受限空间的结构光传感器，为受限空间三维形貌的在线测量提供一种 有效技术手段。 本发明的技术解决方案是 1、一种双面耙标，其特征在于，双面耙标为一平板，平板的两个平面A和B平行，A 面设置有矩阵排列的黑白棋盘方块，方块的数量为4 25个，方块的边长1 5mm，精度为 0. 01 0. 05mm ;B面是同样材质同样大小的白板；双面耙标的厚度为2 10mm。
2、一种受限空间三维形貌结构光视觉测量方法，使用小型结构光视觉测量系统进 入受限空间进行三维形貌测量，所说的小型结构光视觉测量系统由结构光投射器1、结构光 传感器2、成像控制单元、图像采集卡和计算机组成；结构光投射器l由投影仪、远心成像镜 头3、光纤传像束4和投影镜头5组成；结构光传感器2由结构光投射器1的投影镜头5和 内窥摄像机6、平面反射镜7和平面反射镜8组成；图像卡安装在计算内；成像控制单元为内窥摄像机6的驱动电路；由计算机编程生成的结构光图案通过数据传输线连接到投影仪
进行投射；投影仪通过远心成像镜头3与光纤传像束4耦合，远心成像镜头3将从投影仪出 射的结构光图案成像在光纤传像束4的入射端面上；光纤传像束4出射端的投影镜头5将 结构光图案经过平面镜反射镜8投射在被测物体表面；内窥摄像机6通过平面反射镜7拍 摄经被测物体调制的结构光条纹图像，由图像采集卡采集图像到计算机中，对采集图像进 行处理，根据测量模型，计算得到物体表面的三维信息；其特征在于，测量过程分为标定阶 段和测量阶段，进行一次标定后可连续测量，具体步骤是
2. 1、标定阶段 2. 1. 1、将结构光传感器固定在多自由度云台上，屏蔽结构光投射器的投射图案； 将步骤1所述的双面靶标放置于距离结构光传感器20 100mm的测量平台上，双面靶标的 A面朝上，由内窥摄像机拍摄双面靶标的图像，称为摄像机标定图像； 2. 1. 2、在测量平台上翻转步骤1所述的双面靶标，保证双面靶标的B面朝上；由结 构光投射器投射黑白棋盘方块图案到双面靶标的B面上，黑自棋盘方块的数量为4 160， 方块的边长50 300pixels，精度为0. 5pixel ;投影图案在投影仪像平面上的像素位置已 知；由内窥摄像机拍摄双面靶标的图像，称为结构光投射器标定图像； 2. 1.3、通过旋转和平移云台，改变结构光传感器的姿态和位置，重复步骤2. 1. 1
和2. 1. 2，分别拍摄6 8组摄像机标定图像和结构光投射器标定图像； 2. 1. 4、利用步骤2. 1. 1 2. 1. 3拍摄的摄像机标定图像标定摄像机参数；利用步
骤2. 1. 1 2. 1. 3拍摄的结构光投射器标定图像标定结构光投射器参数； 2. 2、测量阶段 2. 2. 1、利用结构光投射器依次投射一个周期的4幅纵向正弦结构光条纹图案到 被测物体表面，相邻图像在投影仪像平面上对应像素的相位差值均为n/4 ;由内窥摄像机 依次拍摄被测物体的图像，称为一组纵向正弦结构光条纹图像；通过四步相移法计算初始 纵向包裹相位图； 2. 2. 2、将纵向正弦结构光条纹图案的周期数增加l，重复步骤2. 2. 1共N_l次，获
得周期数1 N连续递增的N组纵向正弦结构光条纹图像，并分别求解得到N幅纵向包裹 相位图，N取值为2 IO之间的整数； 2. 2. 3、利用时间相位展开法对被截断在[_ Ji ， Ji ]的范围内的纵向包裹相位图进
行展开，得到一幅纵向的展开相位图，范围为[-(N-l) Ji， (N-l) Ji];通过相位与投影仪像
素坐标的线性对应关系，获得摄像机像平面上同名点在投影仪像平面上的横坐标，所说同
名点是指同一空间点在摄像机像平面上和投影仪像平面上相对应的像素点； 2. 2. 4、将结构光投射器的投射模式改为横向正线结构光，重复步骤2. 2. 1
2. 2. 3，获得摄像机像平面上同名点在投影仪像平面上的纵坐标； 2. 2. 5、由步骤2. 1标定得到的小型结构光视觉测量系统模型参数，利用摄像机像 平面上的像素点和对应的投影仪像平面上的像素点计算得到空间点在世界坐标系下的三 维坐标。 3、如步骤2所述的应用于受限空间的小型结构光传感器，其特征在于，结构光传 感器2是集成了结构光投射器的投影镜头5和内窥摄像机6 ;结构光投射和被测图像拍摄 都采用镜像方式，由平面反射镜7获得的虚拟摄像机、平面反射镜8获得的虚拟投射镜头与被测物体组成三角位置关系。
本发明的优点是 第一、结构光传感器中引入了平面反射镜转向结构，縮短了结构光投射器与摄像 机之间的横向距离，实现了探测头的小型化； 第二、结构光传感器采用平面镜改变了原始三角形测量光路，使得传感器可以测 量平行于摄像机光轴的物体，即可以深入受限空间进行测量作业； 第三、采用时间相位展开法展开包裹相位，相比于传统方法提高了测量的鲁棒性 以及抗噪声能力； 第四、建立了结构光投射器模型与摄像机模型，使得基于解相方式的结构光测量 由传统的计算一维高度信息提升到恢复三维数据点云，为多视角三维数据拼接奠定了基 础； 第五、标定过程中所用双面靶标，只需要翻转一次即可实现对投影仪的标定，成本 低，简单实用，适合现场标定； 第六、测量系统结构简单，结构光传感器柔性好，且具有较高精度，适合受限空间 的现场测量。


图1是小型结构光视觉测量系统示意图。图1中，l是结构光投射器，2是结构光
传感器，3是远心成像镜头，4是光纤传像束，5是投影镜头，6是内窥摄像机，7是平面反射
镜，8是平面反射镜。 图2是双面耙标示意图。 图3是结构光视觉传感器测量模型示意图。
具体实施例方式
下面对本发明做进一步详细说明。本发明提出一种受限空间三维形貌结构光视 觉测量方法，使用小型结构光视觉测量系统进入受限空间进行三维形貌测量，所说的小型 结构光视觉测量系统的原理示意图如图1所示，测量系统由结构光投射器1、结构光传感器 2、成像控制单元、图像采集卡和计算机组成；结构光投射器l由投影仪、远心成像镜头3、光 纤传像束4和投影镜头5组成；结构光传感器2由结构光投射器1的投影镜头5和内窥摄 像机6、平面反射镜7和平面反射镜8组成；图像卡安装在计算内；成像控制单元为内窥摄 像机6的驱动电路；由计算机编程生成的结构光图案通过数据传输线连接到投影仪进行投 射；投影仪通过远心成像镜头3与光纤传像束4耦合，远心成像镜头3将从投影仪出射的结 构光图案成像在光纤传像束4的入射端面上；光纤传像束4出射端的投影镜头5将结构光 图案经过平面镜反射镜8投射在被测物体表面；内窥摄像机6通过平面反射镜7拍摄经被 测物体调制的结构光条纹图像，由图像采集卡采集图像到计算机中，对采集图像进行处理， 根据测量模型，计算得到物体表面的三维信息。 如图1所示，本发明所述的结构光传感器2是集成了结构光投射器1的投影镜头 5和内窥摄像机6，利用平面镜向结构縮短了投影镜头和摄像机的横向距离；结构光投射和 被测图像拍摄都采用镜像方式，由平面反射镜7获得的虚拟摄像机、平面反射镜8获得的虚拟投射镜头与被测物体组成三角位置关系，投射结构光通过一次反射投射到物体表面，并 通过另一平面镜反射被摄像机接收。 所说的靶标为一种双面靶标，如图2所示，其特征在于，双面靶标为一平板，平板 的两个平面A和B平行，A面设置有矩阵排列的黑白棋盘方块，方块的数量为4 25个，方 块的边长1 5mm，精度为0. 01 0. 05mm ;B面是同样材质同样大小的白板；双面靶标的厚 度为2 10mm。 本发明所述测量方法是采用正弦结构光投射模式，结合相移测量算法、结构光标 定方法，恢复被测物体表面三维形貌。 首先介绍相移测量法。相移测量法分为四步相移与相位展开两个步骤 (1)由计算机产生正弦结构光图案通过结构光投射器投射，由内窥摄像机采集图
像，得到11，...，14四幅相移图像，四幅图像中相同像素位置的相位差值均为a = ji/4，那
么四幅图像各点的亮度可以表示为 In(t) = Ir+I0+2ArA。 cos [4>(t) + 4)n]
=
(72 — 1)7T
,n = 1,2,3,40(t) =tan—

其中L和I。是参考和被测物的灰度值，4和A。是参考和被测物的光线强度。t时 间的相位图可以通过式[2]来获得
射
A工ij(t) = Ii(t)-Ij(t) [3] (2)利用时间相位展开法对被截断在， Ji]的范围内的包裹相位展开，得到展 开相位图，实现图像相位值与三维坐标的唯一对应关系。通过投射一系列周期随时间变化 的正弦结构光条纹图案，拍摄到的结构光条纹图像可以认为是时间轴上的一个序列，记录 时间轴的序列条纹图像构成三维的相位分布，分别对每一个像素点独立的沿时间轴展开， 因此信噪比很低的图像边缘和部分区域不会影响到其他位置的数据。用小(m， n， t)来表 示第t张相位图(t = O，l， ... ， s)中(m， n)坐标点的相位，可以利用式[4]来直接求得 A (Ht):
—，[厶/42 13(亡—1)—厶/13,42(亡-I)— = tan—式计算第s幅相位展开图
30 (m, n, s) = ^(m, n, t) 对小型结构光视觉测量系统建立双目视觉模型，该模型将结构光投射器看作倒置 的摄像机，从而具有与摄像机相同的数学模型。如图3所示，设P是空间中的任意一点，其 在世界坐标系Or、y^w下的齐次坐标为M二 (xw，yw，zw，l)T。 p是P在摄像机像平面上的成 像点，其在图像坐标系(V-Xu^C下的齐次坐标为饥^ = 0^,W, 1)T， q是P在投影仪像平
7面上的同名点，其在图像坐标系oup-Xupyup下的齐次坐标为mS = 1)。 摄像机模型表示为 sm^"c(昨c)M [6] 其中S是任意不为零的比例因子。RE和tE是摄像机外部参数，分别表示世界坐标 系到摄像机坐标系的旋转矩阵和平移向量。^是摄像机内部参数，表示为
0 4、# = ( 0 /yc W) [7] 、00 l乂 其中C和分别是沿x轴和y轴方向的有效焦距，OC， v。e)是图像主点0p的像 素坐标。 与摄像机模型类似，结构光投射器模型表示为 pr<"p(l p|tp)M [8] 其中p是任意不为零的比例因子。RP和tP是结构光投射器的外部参数，分别表示 世界坐标系到结构光投射器坐标系的旋转矩阵和平移向量。AP是摄像机内部参数，表示为 # = S《^ J [9]
、001 乂 本发明所述的受限空间三维形貌结构光视觉测量方法，其特征在于，测量过程分 为标定阶段和测量阶段，进行一次标定后可连续测量，具体步骤是
1、标定阶段 1. 1、将结构光传感器固定在多自由度云台上，屏蔽结构光投射器的投射图案；将 双面靶标放置于距离结构光传感器20 100mm的测量平台上，双面靶标的A面朝上，由内 窥摄像机拍摄双面耙标的图像，称为摄像机标定图像。 1. 2、在测量平台上翻转步骤1所述的双面靶标，保证双面靶标的B面朝上；由结构 光投射器投射黑白棋盘方块图案到双面靶标的B面上，黑白棋盘方块的数量为4 160，方 块的边长50 300pixels，精度为0. 5pixel ;投影图案在投影仪像平面上的像素位置已知； 由内窥摄像机拍摄双面靶标的图像，称为结构光投射器标定图像。 1.3、通过旋转和平移云台，改变结构光传感器的姿态和位置，重复步骤1. l和 1. 2，分别拍摄6 8组摄像机标定图像和结构光投射器标定图像。 1.4、利用步骤1. 1 1.3拍摄的摄像机标定图像标定摄像机参数；利用步骤 1. 1 1. 3拍摄的结构光投射器标定图像标定结构光投射器参数。 摄像机标定采用张正友基于平面二维靶标的标定方法进行标定，参见文章"一种 新的柔性摄像机标定技术，，[A flexible new technique for camera calibration] ， IEEE 期刊《模式分析及机器智能》，22(11)，第1330 1334页，2000年。[IEEETransactions on Pattern Analysis and Machine Intelligence, 22 (11) ， 2000)。结构光投射器标定方法与
摄像机标定类似。
2、测量阶段 2. 1、利用结构光投射器依次投射一个周期的4幅纵向正弦结构光条纹图案到被
8测物体表面，相邻图像在投影仪像平面上对应像素的相位差值均为;由内窥摄像机依 次拍摄被测物体的图像，称为一组纵向正弦结构光条纹图像；通过四步相移法计算初始纵 向包裹相位图。 2. 2、将纵向正弦结构光条纹图案的周期数增加l，重复步骤2. 1共N-l次，获得周 期数1 N连续递增的N组纵向正弦结构光条纹图像，并分别求解得到N幅纵向包裹相位 图，N取值为2 IO之间的整数。 2. 3、利用时间相位展开法对被截断在[_ ，]的范围内的纵向包裹相位图进行
展开，得到一幅纵向的展开相位图，范围为[-(N-l) Ji， (N-l) Ji];通过相位与投影仪像素
坐标的线性对应关系，获得摄像机像平面上同名点在投影仪像平面上的横坐标，所说同名
点是指同一空间点在摄像机像平面上和投影仪像平面上相对应的像素点。 2. 4、将结构光投射器的投射模式改为横向正线结构光，重复步骤2. 1 2. 3，获得
摄像机像平面上同名点在投影仪像平面上的纵坐标。 2. 5、利用步骤2. 1标定得到的双面耙标与最后一个位置的摄像机的外部参数RE 与te和摄像机的内部参数A、如图3所示，由式[6]求得摄像机像平面上像素点对应空间 中的直线r的方程；利用双面靶标与最后一个位置的结构光投射器的外部参数Rp与tp和 结构光投射器的内部参数AP，由式[8]求得投影仪像平面上同名点对应空间中的直线lp的 方程；由两条直线方程，通过最小二乘方法获得空间点在世界坐标系下的三维坐标。
实施例 投影仪选用Optoma公司的EP708,远心成像镜头选择大恒光电的GC0-23远心成像 镜头系列。根据受限空间测量要求，内窥摄像机具有较小外形尺寸，分辨率高、响应快速等 特点，因此选择杭州华芯数字技术有限公司生产的HX-016HP10型1/6英寸内窥摄像机，该 摄像机的CCD前端截面尺寸控制在直径15mm的范围内，满足本测量系统小型化的要求。
利用本发明中所述的标定方法，标定结构光投射器的参数如下= (88 ± 2) x 10ipi;cd，// = (120 ± 7) x 10丄pixd
《=(30 ± 4) X lO1 ^^'!^ = (70 ± 4) X 10、i;cd 摄像机标定的参数// = (117 ± 4) x lt^pixeZ,// = (116 ± 4) x 10、ixeZ
i4 = (37 ± 2) X 10ipi;ceZ,1^ = (27 ± 1) X lOip^ceZ 标定过程中结构光投射器最后一个位置下的外部参数
Z —0.004,0.997,0.072 、 y —9.67 、 i p = ( 0.988, —0.007,0.156 ) ，tP = ( —22.09 )
、0.156,0.072, —0.985乂 V 83.56 乂 标定过程中摄像机最后一个位置下的外部参数
广0.106'0.979, 0.172、 广11.32、
/ c = ( 。.983,-0.130, 。.131 )，^ = ( -2.68 )
Vo.lSl, 0.155, —0.976乂 V 80.16 乂 将世界坐标系中的靶标特征点重投回图像平面，计算重投点与其真实的图像坐标 间的RMS误差。摄像机标定重投RMS像素误差为
，结构光投射 器重投RMS像素误差为
。
9
权利要求
一种双面靶标，其特征在于，双面靶标为一平板，平板的两个平面A和B平行，A面设置有矩阵排列的黑白棋盘方块，方块的数量为4～25个，方块的边长1～5mm，精度为0.01～0.05mm；B面是同样材质同样大小的白板；双面靶标的厚度为2～10mm。
2. —种受限空间三维形貌结构光视觉测量方法，使用小型结构光视觉测量系统进入受 限空间进行三维形貌测量，所说的小型结构光视觉测量系统由结构光投射器(1)、结构光传 感器(2)、成像控制单元、图像采集卡和计算机组成；结构光投射器(1)由投影仪、远心成像 镜头(3)、光纤传像束(4)和投影镜头(5)组成；结构光传感器(2)由结构光投射器(1)的 投影镜头(5)和内窥摄像机(6)、平面反射镜(7)和平面反射镜(8)组成；图像卡安装在计 算内；成像控制单元为内窥摄像机(6)的驱动电路；由计算机编程生成的结构光图案通过 数据传输线连接到投影仪进行投射；投影仪通过远心成像镜头(3)与光纤传像束(4)耦合， 远心成像镜头(3)将从投影仪出射的结构光图案成像在光纤传像束(4)的入射端面上；光 纤传像束(4)出射端的投影镜头(5)将结构光图案经过平面镜反射镜(8)投射在被测物体 表面；内窥摄像机(6)通过平面反射镜(7)拍摄经被测物体调制的结构光条纹图像，由图像 采集卡采集图像到计算机中，对采集图像进行处理，根据测量模型，计算得到物体表面的三 维信息；其特征在于，测量过程分为标定阶段和测量阶段，进行一次标定后可连续测量，具 体步骤是2. 1、标定阶段2. 1. 1、将结构光传感器固定在多自由度云台上，屏蔽结构光投射器的投射图案；将如 权利要求1所述的双面靶标放置于距离结构光传感器20 100mm的测量平台上，双面靶标 的A面朝上，由内窥摄像机拍摄双面靶标的图像，称为摄像机标定图像；2. 1. 2、在测量平台上翻转如权利要求1所述的双面靶标，保证双面靶标的B面朝上； 由结构光投射器投射黑白棋盘方块图案到双面靶标的B面上，黑白棋盘方块的数量为4 160，方块的边长50 300pixels，精度为0. 5pixel ;投影图案在投影仪像平面上的像素位 置已知；由内窥摄像机拍摄双面靶标的图像，称为结构光投射器标定图像；2. 1. 3、通过旋转和平移云台，改变结构光传感器的姿态和位置，重复步骤2. 1. 1和 2. 1. 2，分别拍摄6 8组摄像机标定图像和结构光投射器标定图像；2. 1. 4、利用步骤2. 1. 1 2. 1. 3拍摄的摄像机标定图像标定摄像机参数；利用步骤 2. 1. 1 2. 1. 3拍摄的结构光投射器标定图像标定结构光投射器参数；2. 2、测量阶段2. 2. 1、利用结构光投射器依次投射一个周期的4幅纵向正弦结构光条纹图案到被测 物体表面，相邻图像在投影仪像平面上对应像素的相位差值均为n/4 ;由内窥摄像机依次 拍摄被测物体的图像，称为一组纵向正弦结构光条纹图像；通过四步相移法计算初始纵向 包裹相位图；2. 2. 2、将纵向正弦结构光条纹图案的周期数增加l，重复步骤2. 2. 1共N-l次，获得周 期数为1 N连续递增的N组纵向正弦结构光条纹图像，并分别求解得到N幅纵向包裹相 位图，N取值为2 IO之间的整数；2.2.3、利用时间相位展开法对被截断在[-Ji， Ji]的范围内的纵向包裹相位图进行展 开，得到一幅纵向的展开相位图，范围为[-(N-l) Ji， (N-l) Ji];通过相位与投影仪像素坐 标的线性对应关系，获得摄像机像平面上同名点在投影仪像平面上的横坐标，所说同名点是指同一空间点在摄像机像平面上和投影仪像平面上相对应的像素点；`2. 2. 4、将结构光投射器的投射模式改为横向正线结构光，重复步骤2. 2. 1 2. 2. 3，获 得摄像机像平面上同名点在投影仪像平面上的纵坐标；`2. 2. 5、由步骤2. 1标定得到的小型结构光视觉测量系统模型参数，利用摄像机像平面 上的像素点和对应的投影仪像平面上的像素点计算得到空间点在世界坐标系下的三维坐 标。
3. 如权利要求2所述的应用于受限空间的小型结构光传感器，其特征在于，结构光传 感器(2)是集成了结构光投射器的投影镜头(5)和内窥摄像机(6);结构光投射和被测图 像拍摄都采用镜像方式，由平面反射镜(7)获得的虚拟摄像机、平面反射镜(8)获得的虚拟 投射镜头与被测物体组成三角位置关系。
全文摘要
本发明属于测量技术领域，将提供一种受限空间三维形貌结构光视觉测量方法，使用小型结构光视觉测量系统进入受限空间进行三维形貌测量。本发明的小型结构光视觉测量系统由结构光投射器1、结构光传感器2、成像控制单元、图像采集卡和计算机组成。其中结构光投射器1由投影仪、远心成像镜头3、光纤传像束4和投影镜头5组成；结构光传感器2由结构光投射器1的投影镜头5和内窥摄像机6、平面反射镜7和平面反射镜8组成。本发明测量方法由计算机产生正弦结构光图案通过投影仪、远心成像镜头3、光纤传像束4以及投影镜头5投射到被测物体表面，内窥摄像机6拍摄被调制的结构光条纹图像，根据测量模型，计算出被测物体表面的三维信息。本发明实现了结构光传感器的小型化，为实现受限空间三维形貌的离线、在线测量提供了一种有效技术手段。
文档编号G01B11/24GK101762243SQ20101003360
公开日2010年6月30日 申请日期2010年1月4日 优先权日2010年1月4日
发明者周富强, 李颖, 蔡斐华 申请人:北京航空航天大学