专利名称：测量系统中的摄像机现场标定方法
技术领域：
本发明涉及计算机视觉检测领域。特别涉及大型锻件尺寸测量系统中的求取摄像 机内外参数的现场标定方法。
背景技术：
如何对大型锻件进行精确实时测量是一个难点。测量大型锻件要求测量范围大， 准确度高，现场测量，甚至动态测量和全姿态测量。双目立体视觉测量检测方法具有大量 程、非接触、测量速度快、系统柔性好和准确度较高等特点，可以很好满足测量高温大尺寸 工件几何参数的要求。东南大学的达飞鹏等所申报的三维重构系统中双摄像机标定方法发明专利，公开 号为CN1851752A提出了一种基于平面标定物的双摄像机标定方法，比较完整的标定了摄 像机系统内外参数。该方法利用有按阵列分布标志圆点的标定板，通过求解几类约束方程， 求取摄像机的内外参数。该标定方法需要标定板来辅助标定，无法适合大场景，背景复杂的 工厂实际应用，现场适用性较差。中山大学的欧阳祥波等所申报的一种三维重构的双摄像机标定方法发明专利，公 开号为CN101149836A提出的标定方法以空间标定点的三维重构误差最小为目标函数，对 双摄像机的姿态进行标定。第一步先对两个摄像机应用传统方法分别进行标定，第二步以 重构双摄像机视线的中垂线中点误差最小为目标，迭代求解，得到最终的内外参数。该标定 方法在第一步的标定过程中，同样需要辅助标定工具，无法适应本测量系统的现场需要。另 外，算法较为复杂，运算速度慢，不利于提高生产效率。

发明内容
本发明要解决的技术难题是克服上述现有技术的缺欠，提出了主动视觉结合投影 的方法。通过摄像机的运动拍摄识别投影的靶标特征点来标定摄像机的内参数，包括光轴 和图像平面的交点、焦距、摄像机的位置和方向等，经纬仪测得靶标特征点距离来标定外参 数。投影的方式克服了由于滤光片过滤红外光导致一般物体成像不够清晰的不良影响。本 标定方法省去了辅助标定工具，现场适用性强，适用于大场景，背景复杂的场合使用。本发明采用的技术方案是两个摄像机的内参数分别进行标定，最后同时标定外 参数。先将靶标投影在厂房内一个比较光洁的平面上，例如墙壁，位移平台控制一个摄像机 做四组正交运动，同时适当改变摄像机姿态拍摄平面上的靶标，同时适当改变投影仪角度， 使靶标尽量充满相机，标定出内参数；将外参数靶标投影在锻压机立柱上，用两台经纬仪测 量特征点的实际距离，进而标定出两个摄像机的外参数。具体步骤如下步骤1 制作摄像机内、外参数标定靶标；先制作摄像机内参数标定靶标，摄像机内参数标定靶标2上有分布N行M列易于 识别的特征圆点，其中处在阵列三个边角的第一、第二、第三定位圆a、b、c的直径要大于 其它特征圆d的直径；建立坐标系X0Y，以0点为基准，确定分布在N行M列中的其它特征圆的排列顺序；再制作摄像机外参数靶标，外参数靶标上有上下排列的两个特征圆，两个特 征圆的圆心分别为第一、第二圆心e、f ；步骤2 投影内参数靶标，并拍摄图像；用投影仪4将制好的内参数标定靶标投影到光洁的墙壁1上，先标定右摄像机6 ； 将右摄像机6相对水平仰视15度，相对一正交轴偏摆40度，同时，投影仪旋转台5控制投 影仪4改变投射角度，使靶标充满图像；用右位移平台7控制右摄像机6做一组正交运动， 其运动轨迹为先沿Y轴负方向运动10cm，再沿X轴负方向运动10cm，在正交运动三个端点 处各拍一张照片，该组正交运动共拍摄3幅图像；改变右摄像机6姿态为水平，偏摆40度， 同时，投影仪旋转台5控制投影仪4改变投射角度，使靶标充满图像；右位移平台7控制右 摄像机6以同样的运动轨迹再做一组正交运动，在正交运动三个端点处共拍摄3幅图像；改 变右摄像机6姿态为水平，偏摆50度，同时，投影仪旋转台5控制投影仪4改变投射角度， 使靶标充满图像；做正交运动拍摄3副图像；改变右摄像机6姿态为俯视15度，偏摆50度， 同时，投影仪旋转台5控制投影仪4改变投射角度，使靶标充满图像；做一次正交运动，在正 交运动三个端点处共拍摄3副图像；使靶标充满图像，总共拍摄12副图像；再以同样的方法移动左工作平台10，控制左摄像机9做4组正交运动，再拍摄12 副图像；步骤3 通过Matlab中的图像处理算法提取图像特征点通过Matlab中的图像处理算法识别所有圆，并得到他们的圆心坐标，根据圆的面 积定位三个定位圆a、b、c的中心坐标，建立坐标系实现整个靶标圆阵列的拓扑定位，方便 在实际标定过程中特征点的提取；步骤4 列方程求解摄像机内参数设摄像机模型为线性模型，根据四次正交运动后拍摄的图像中对应特征点建立正 交关系，联立方程即能求解出fu，fv，u0, vQ，其中fu = f/dx, fv = f/dy, f为摄像机焦距，dx、 dy为xy方向的像素点大小，uQ、v0为光轴通过像平面的主点坐标，由此可求得左摄像机内
参数K，
，同理按上述相同方法和公式，可得到右摄像机内参数K步骤5 处理左右摄像机同时拍摄的图像左、右摄像机同时拍摄投射在锻压机立柱8上的外参数靶标得到2副图像，通过以 上的摄像机内参数标定方法，可以较为准确标定出左、右摄像机的内参数，使用特征提取算 法提取并匹配拍摄的左右图像特征点，剔除误匹配点，提取8个以上特征点，应用求基础矩 阵F的通用算法归一化8点算法，求取基础矩阵F，左右摄像机拍摄同一特征点得到的图像 对应特征点以后，基础矩阵F是反映它们之间约束关系的唯一矩阵，是一个3X3的秩为2
的齐次矩阵
，其中f\，f2, f3, f4,，f5, f6, f7, f8, f9可由上述归一化8点算法求得。由基础矩阵F可以得到本质矩阵E，E = K' TFK;本质矩阵E是归一化图像坐标下 的基础矩阵F的特殊形式，也是一个3X3的矩阵；分解本质矩阵E即可得到左摄像机的摄 像机矩阵P和右摄像机的摄像机矩阵P’，摄像机矩阵P = K[R| T]，其中K为摄像机内参数，R、T分别为反映左右摄像机之间位置关系的旋转矩阵和平移矢量，此时得到的摄像机矩阵 是在归一化图像坐标的情况下得到的，与实际的摄像机矩阵相差一个比例因子s ；投影靶 标并通过圆识别算法识别左右摄像机拍摄图像中靶标圆点的坐标值，重构得到靶标圆心之 间的距离L'；步骤6 左、右经纬仪17、18测得靶标圆心实际距离L测量时，应尽量使测量点靠近两经纬仪连线的中垂面上以减少误差，经纬仪调平 后，首先观测已知长度的标定尺进行标定，标定完成后，即可用它们测量特征点间的实际距 离，减少人眼瞄准等误差的影响，应进行多次测量，求得平均值，最后得到实际距离L ；步骤7 求比例因子，进而求得实际的外参数R和T比例因子s = L/L'式中，L是通过两台经纬仪测得的实际距离，L'是重构特征点得到的距离；则两相机之间真实的旋转矩阵R' =R，真实的平移矢量T' =sT，由此标定出实 际的外参数。本发明的显著效果是省去了标定板或标定块之类的辅助标定工具，现场适应性较 强。采用投影仪投射靶标，克服了双目测量大型锻件系统中滤光片过滤红外光带来的成像 不透清晰的不良影响。适用于大场景，背景复杂的场合使用，对于解决大型锻件测量系统中 的现场问题，提高测量精度具有重要意义。


图1为双目视觉测量大型锻件尺寸示意图。其中4_投影仪，6-右摄像机，9-左 摄像机，11-右低通滤光片，12-左低通滤光片，13-数据线，14-相机控制盒，15-计算机， 16-高温锻件。图2为内参数标定示意图、图3为外参数标定示意图。1-光洁的墙壁，2-投射的 靶标，3-工作台，4-投影仪，5-投影仪旋转台，6-右摄像机，7-右工作平台，8-锻压机立柱， 9-左摄像机，10-左工作平台，a-第一定位圆，b-第二定位圆，c-第三定位圆，d-特征圆， e_第一圆心，f_第二圆心。图4为经纬仪测量示意图。8-锻压机立柱，e-第一圆心，f-第二圆心，17-左经纬 仪，18-右经纬仪。图5为主动视觉原理图，Op 02，03" 一组摄像机正交运动端点处的摄像机中心， I「第一幅图像，12_第二幅图像，13_第三幅图像，P-空间中一点，Pi、P2、P3—组正交运动 图像中P的投影，P' 2_按己点在12图上的坐标值在图上标出己点的位置，P' 3_按卩3 点在13图上的坐标值在L图上标出P3点的位置，ei、e2-正交运动前后对应的极点。极点 是左右两摄像机光心的连线与两摄像机图像平面的交点。
具体实施例方式下面结合附图和技术方案详细说明本发明的具体实施，以大型锻件尺寸双目立体 测量系统的摄像机内外参数标定方法的步骤做进一步描述。步骤1制定摄像机内外参数标定靶标先制作摄像机内参数标定靶标，如图2所示，摄像机内参数标定靶标2上有分布N行M列易于识别的特征圆点，其中处在阵列三个边角的第一、第二、第三定位圆a、b、c的 直径要大于其它特征圆d的直径；建立坐标系X0Y，以0点为基准，确定分布在N行M列中 的其它特征圆d的排列顺序；再制作外参数靶标，如图3所示，摄像机外参数靶标上要求有 两个特征圆，两个特征圆的圆心分别为第一、第二圆心e、f。步骤2投影摄像机内参数靶标并拍摄图像如图2所示，用投影仪4将摄像机内参数标定靶标投影到光洁的墙壁1上，先标定 右摄像机6 ；将右摄像机6相对水平仰视15度，相对任意一正交轴偏摆40度，投影仪旋转台 5控制投影仪4改变投射角度，使靶标尽量充满图像，右位移平台7控制右摄像机6沿位移 平台两正交位移轴xy做一组正交运动，xy轴各位移100mm，在正交运动的两端点和原点o 处各拍一张照片，该组正交运动拍摄3幅图像；改变右摄像机6姿态为水平，偏摆40度，投 影仪旋转台5控制投影仪4改变投射角度，使靶标尽量充满图像，右位移平台7控制右摄像 机6沿位移平台两正交位移轴xy做一组正交运动，xy轴各位移100mm，在同样的位置拍摄 3幅图像；改变右摄像机6姿态为水平，偏摆50度，投影仪旋转台5控制投影仪4改变投射 角度，使靶标尽量充满图像，右位移平台7控制右摄像机6沿位移平台两正交位移轴xy做 同样的正交运动，在同样的位置拍摄3幅图像；改变右摄像机6姿态为俯视15度，偏摆50 度，投影仪旋转台5控制投影仪4改变投射角度，使靶标尽量充满图像，右位移平台7控制 右摄像机6沿位移平台xy轴做同样的一次正交运动，在同样的位置拍摄3副图像；总共拍 摄12副图像，以同样的方法控制左摄像机9拍摄12副图像。其运动参数如表1所示表1四组正交运动的参数设置
第一组第二组摄像机姿态俯仰角15°且偏摆角40°俯仰角0°且偏摆角40°位置参数0， 100 0， 0 100,0100，0 0，0 100,0(X，y) /mm第三组第四组摄像机姿态俯仰角0°且偏摆角50°俯仰角-15°且偏摆角50°位置参数100， 0 0， 0 0,1000，100 0，0 100,0(x，y) /mm步骤3通过Matlab图像处理方法提取图像特征点通过Matlab图像处理上述方法拍摄的图像，识别图片中靶标上的所有圆后，根据 圆的面积定位三个大圆的中心坐标，如图2所示，如某一个点距另外两点的距离之和最小， 则该点即为a点，距离长的为c点，短的b点，由此定出XY轴。依次将大圆标号，以a号圆 中心为坐标原点建立坐标系，a和c号圆的圆心连线记为X轴，a和b号圆的圆心连线为Y
式中(Xw，yw，zw)是特征点在世界坐标系下的坐标，(u，v)是特征点在图像坐标系 下的坐标，a为一未知的非零常数因子，fu = f/dx，fv = f/dy，dx, dy表示每个像素在X，Y 轴方向上的物理尺寸，f为摄像机焦距。其中fu，fv，u0, v0只与摄像机内部参数有关，它们 就是摄像机标定的内部参数K;旋转矩阵R和平移向量T= [tx ty tz]T描述了摄像机坐标 系与世界坐标系之间的位置关系，即为摄像机标定的外部参数。根据坐标系间的映射关系，有 其中(u，v)为空间点(x，y，z)在图像坐标系中的坐标，(U(1，v0)为光轴与图像坐 标系的交点。如图5所示，Pi P2为同一空间点P在运动前后两幅图像中的投影。如果按P2点在 12图上的坐标值在“图上标出己点的位置P' 2，则称PiP' 2为11图上的对应点的连线。 摄像机做平移运动，前后图像中对应点的连线交于极点。并且光心和极点ei的矢量0iei 和运动矢量平行。根据式(4)可得0内=((u-u0) dx, (v-v0) dy, f)T = f( (u_u0) /fx, (v-v0) /fy, 1)T (5)控制摄像机在一个平面上做一次正交运动，则@，$分别代表两次运动的方
向，即，同样做三次类似的正交运动。由式(5)得
(un_u0) (u12-u0) dx2+(vn-v0) (v12-v0) dy2+f2 = 0
(6) R =
(2)
厂 1r2r4r5rirsr9
轴，在X轴上通过距离a点最近小圆的圆心做平行于Y轴平行线，确定Y = 1线，搜索距离 该线最近点，则这些点即为Y = 1上的点，依次Y = 2,3……n上所有的点即能定位，同理 X= 1,2,3……n依次确定，如某一点同时在某两条直线X = m，Y = n上，则该点坐标即为 (m, n)，由此实现了整个靶标圆阵列的拓扑定位。只需完整获取三个定位圆a，b，c的圆心 坐标，建立坐标系后，其他特征圆即能正确确定相对于坐标系的位置信息，方便在实际标定 过程中特征点的提取。步骤4列方程求解摄像机内参数不考虑镜头畸变的摄像机模型为线性模型，考虑镜头畸变的摄像机模型为非线性 模型。本发明涉及的摄像机模型为线性模型。由摄像测量的几何对应关系，针孔模型下世 界坐标系中点到图像坐标的透视变换关系为
u7 0M00
aV=0Xvo010010
R T 0T 1
^ v^ zw 1
⑴
so vo 1
o X o X o o
(u21-u0) (u22-u0) dx2+ (v21-v0) (v22-v0) dy2+f2 = 0(7)(u31-u0) (u32-u0) dx2+ (v3「v0) (v32-v0) dy2+f2 = 0(8)(u41-u0) (u42-u0) dx2+ (v4「v。)(v42-v0) dy2+f2 = 0(9)其中(Uij，ViJ) (i = 1,2,3,4 ；j = 1,2)为极点在各个图像坐标系中的坐标。记a = u。，6 == ，整理(6) (7)⑶(9)式可得 求解该矩阵方程即能求解出fu，fv，u0, v0,即摄像机内参数K。步骤5用Matlab图像处理方法处理左右相机同时拍摄的图像如图3所示，左右相机同时拍摄外参数靶标得到2副图像。通过以上的摄像机内 参数标定方法，可以较为准确标定出左右摄像机的内参数k和r。提取并匹配拍摄得到 的左右图像特征点，剔除误匹配点，提取8个以上特征点，根据归一化8点算法，求取基础矩 阵F ；左右摄像机拍摄同一特征点得到的图像对应特征点以后，基础矩阵F是反映它们之间
约束关系的唯一矩阵，是一个3X3的秩为2的齐次矩阵；
，其中 f\，f2,
f4,，f5，f6，fT, f8，f9可由上述归一化8点发算法求得。本质矩阵E是归一化图像坐标下的基础矩阵F的特殊形式，本质矩阵与基础矩阵 的关系为 若两摄像机的内部参数K、K'和基础矩阵F已知，可以在相差一个比例因子的情 况下确定本质矩阵E。把本质矩阵E进行特征值分解E = USVT，其中S = diag (k，k，0)，k为本质矩阵E 的特征值，同时得到U、V，在相差比例因子的情况下确定R和T，其表达式为或 其中 由上式和[T]x T = 0可知，两摄像机之间的平移矢量T = U(0，0，1)t。从而可以 确定两摄像机的投影矩阵P = K[I|0]和P' = [UQVt|U(0，0，1)t]通过使用与识别内参数标定特征点相同的Matlab图像处理算法，识别图像中靶 标圆点的坐标值。已知P = K[I|0]，P'=卬0^巾(0，0，1)1]，由此利用图像处理中的三维 重构方法得到靶标特征点之间的距离L'。步骤6左右经纬仪17，18测得特征点实际距离如图4所示，测量时，应尽量使测量点靠近两经纬仪连线的中垂面上以减少误差。 经纬仪调平后，首先观测已知长度的标定尺进行标定。标定完成后，即可用它们测量特征点 间的实际距离。为了减少人眼瞄准等误差的影响，应反复多次测量，求得平均值，最后得到实际距离L。步骤7求比例因子，进而求得实际的外参数。比例因子s = L/L'(13)式中，L是通过两台经纬仪测得的实际距离，L'是重构特征点得到的距离。则两相机之间真实的旋转矩阵R' =R，真实的平移矢量T' =sT。由此标定出实 际的摄像机外参数。本标定方法避免使用常见标定方法所需要的辅助标定工具，如标定块或标定板。 解决了大型锻件现场工作环境复杂，标定较为困难的问题；充分利用大型锻件尺寸测量系 统中的投影仪，克服了测量系统中滤光片过滤部分红外光导致一般物体成像困难带来的不 良影响。利用标定的结果，识别拟合光条，测量工件尺寸为141. 66mm，实际尺寸为140mm， 相对误差1. 186%，精度较高，证明该标定方法是有效可行的。
权利要求
一种测量系统中的摄像机现场标定方法，在测量系统中有两个摄像机和一个投影仪，其特征是，现场标定方法包括以下具体步骤步骤1制作摄像机内、外参数标定靶标；先制作摄像机内参数标定靶标，摄像机内参数标定靶标(2)上有分布N行M列易于识别的特征圆点，其中处在阵列三个边角的第一、第二、第三定位圆(a、b、c)的直径要大于其它特征圆(d)的直径；建立坐标系XOY，以O点为基准，确定分布在N行M列中的其它特征圆的排列顺序；再制作摄像机外参数靶标，外参数靶标上有上下排列的两个特征圆，两个特征圆的圆心分别为第一、第二圆心(e、f)；步骤2投影内参数靶标，并拍摄图像；用投影仪(4)将制好的内参数标定靶标投影到光洁的墙壁(1)上，先标定右摄像机(6)；将右摄像机(6)相对水平仰视15度，相对一正交轴偏摆40度，同时，投影仪旋转台(5)控制投影仪(4)改变投射角度，使靶标充满图像；用右位移平台(7)控制右摄像机(6)做一组正交运动，其运动轨迹为先沿Y轴负方向运动10cm，再沿X轴负方向运动10cm，在正交运动三个端点处各拍一张照片，该组正交运动共拍摄3幅图像；改变右摄像机(6)姿态为水平，偏摆40度，同时，投影仪旋转台(5)控制投影仪(4)改变投射角度，使靶标充满图像；右位移平台(7)控制右摄像机(6)以同样的运动轨迹再做一组正交运动，在正交运动三个端点处共拍摄3幅图像；改变右摄像机(6)姿态为水平，偏摆50度，同时，投影仪旋转台(5)控制投影仪(4)改变投射角度，使靶标充满图像；做正交运动拍摄3副图像；改变右摄像机(6)姿态为俯视15度，偏摆50度，同时，投影仪旋转台(5)控制投影仪(4)改变投射角度，使靶标充满图像；做一次正交运动，在正交运动三个端点处共拍摄3副图像；使靶标充满图像，总共拍摄12副图像；再以同样的方法移动左工作平台(10)，控制左摄像机(9)做4组正交运动，再拍摄12副图像；步骤3通过Matlab中的图像处理算法提取图像特征点通过Matlab中的图像处理算法识别所有圆，并得到他们的圆心坐标，根据圆的面积定位三个定位圆(a、b、c)的中心坐标，建立坐标系实现整个靶标圆阵列的拓扑定位，方便在实际标定过程中特征点的提取；步骤4列方程求解摄像机内参数设摄像机模型为线性模型，根据四次正交运动后拍摄的图像中对应特征点建立正交关系，联立方程即能求解出fu，fv，u0，v0，其中fu＝f/dx，fv＝f/dy，f为摄像机焦距，dx、dy为xy方向的像素点大小，u0、v0为光轴通过像平面的主点坐标，由此可求得左摄像机内参数K，同理按上述相同方法和公式，可得到右摄像机内参数K′；步骤5处理左右摄像机同时拍摄的图像左、右摄像机同时拍摄投射在锻压机立柱(8)上的外参数靶标得到2副图像，通过以上的摄像机内参数标定方法，可以较为准确标定出左、右摄像机的内参数，使用特征提取算法提取并匹配拍摄的左右图像特征点，剔除误匹配点，提取8个以上特征点，应用求基础矩阵F的通用算法归一化8点算法，求取基础矩阵F，左右摄像机拍摄同一特征点得到的图像对应特征点以后，基础矩阵F是反映它们之间约束关系的唯一矩阵，是一个3×3的秩为2的齐次矩阵；其中f1，f2，f3，f4，，f5，f6，f7，f8，f9可由上述归一化8点算法求得。由基础矩阵F可以得到本质矩阵E，E＝K′TFK；本质矩阵E是归一化图像坐标下的基础矩阵F的特殊形式，也是一个3×3的矩阵；分解本质矩阵E即可得到左摄像机的摄像机矩阵P和右摄像机的摄像机矩阵P’，摄像机矩阵P＝K[R|T]，其中K为摄像机内参数，R、T分别为反映左右摄像机之间位置关系的旋转矩阵和平移矢量，此时得到的摄像机矩阵是在归一化图像坐标的情况下得到的，与实际的摄像机矩阵相差一个比例因子s；投影靶标并通过圆识别算法识别左右摄像机拍摄图像中靶标圆点的坐标值，重构得到靶标圆心之间的距离L′；步骤6用左、右经纬仪(17、18)测得靶标圆心实际距离L；测量时，应尽量使测量点靠近两经纬仪连线的中垂面上以减少误差，经纬仪调平后，首先观测已知长度的标定尺进行标定，标定完成后，即可用它们测量特征点间的实际距离，减少人眼瞄准等误差的影响，应进行多次测量，求得平均值，最后得到实际距离L；步骤7求比例因子，进而求得实际的外参数R和T，比例因子s＝L/L′，式中，L是通过两台经纬仪测得的实际距离，L′是重构特征点得到的距离；则两相机之间真实的旋转矩阵R′＝R，真实的平移矢量T′＝sT，由此标定出实际的外参数。FSA00000120557000021.tif,FSA00000120557000022.tif
全文摘要
本发明一种测量系统中的摄像机现场标定方法，属于计算机视觉检测领域，特别涉及大型锻件尺寸测量系统中的求取摄像机内外参数的现场标定方法。在测量系统中有两个摄像机和一个投影仪，标定方法的步骤如下制作摄像机内、外参数标定靶标；投影内参数靶标，并拍摄图像；通过Matlab中的图像处理算法提取图像特征点；列方程求解摄像机内参数；处理左右摄像机同时拍摄的图像；用左、右经纬仪测得靶标圆心实际距离，求比例因子，进而求得实际的外参数。本发明现场适应性较强，采用投影仪投射靶标，克服了双目测量大型锻件系统中滤光片过滤红外光带来的成像不透清晰的不良影响；适用于大场景，背景复杂的场合使用。
文档编号G01B11/00GK101876532SQ20101018645
公开日2010年11月3日 申请日期2010年5月25日 优先权日2010年5月25日
发明者刘双军, 刘巍, 李朝弟, 杜剑, 王邦国, 贾兴华, 贾振元 申请人:大连理工大学