专利名称：一种多传感器视觉测量系统的刚性杆全局校准方法及装置的制作方法
技术领域：
本发明涉及多传感器视觉测量系统中的全局校准技术，具体涉及一种多传感器视 觉测量系统的刚性杆全局校准方法及装置。
背景技术：
视觉传感器由于具有大量程、非接触、速度快、系统柔性好及测量精度高等优点而 得到广泛应用，但是，单个视觉传感器测量范围有限，所以，当测量范围较大时，可以将多个 视觉传感器结合起来构成多视觉传感器，以得到较大的测量范围，并保证足够高的测量精 度，通常将这种测量系统称为多传感器视觉测量系统。在多传感器视觉测量系统中，各个视觉传感器之间距离一般相距较远，且没有共 同视场。因此，采用多个视觉传感器进行测量时，需要进行全局校准，即确定各个视觉传感 器之间的位置关系，并将它们统一到同一个坐标系下。目前，常用的多传感器视觉测量系统的全局校准方法主要有同名坐标统一法、中 介坐标统一法和世界坐标唯一法；其中，同名坐标统一法，利用一组同名坐标计算出各个视 觉传感器坐标系到全局坐标系的旋转矩阵和平移向量；中介坐标统一法，通过多次中间坐 标系转换来完成视觉传感器坐标系到全局坐标系的统一；世界坐标唯一法，直接利用全局 坐标系下的特征点对处于测量状态的系统中的各个视觉传感器进行局部标定，从而将局部 标定和全局标定统一到一起。但是，上述三种校准方法需要高精度测量设备，如经纬仪、激 光跟踪仪等等，存在校准“盲区”和空间受限，且需要进行多次坐标转换，损失了校准精度。于是，张广军等人在2005年提出了靶标全局校准方法，该全局校准方法是根据靶 标特征点之间的位置约束关系，求解无共同视场的多视觉传感器坐标系之间的转换矩阵， 从而实现较大工作空间的全局校准。该全局校准方法虽然不需要进行很多次坐标变换，校 准精度较高，但是，该全局校准方法需要加工大尺寸靶标，由于超大尺寸靶标加工和使用困 难，因此，该全局校准方法不适合用于超大工作空间的多传感器视觉测量系统全局校准。

发明内容
有鉴于此，本发明的主要目的在于提供一种多传感器视觉测量系统的刚性杆全局 校准方法及装置，不仅能提高全局校准精度，而且适用于超大工作空间多传感器视觉测量 系统的全局校准，适用范围广。为达到上述目的，本发明的技术方案是这样实现的本发明提供了一种多传感器视觉测量系统的刚性杆全局校准方法，包括将固定有两个靶标的刚性杆在两个视觉传感器前摆放四次以上，每次每个视觉传 感器分别拍摄对应的靶标图像，提取靶标特征点图像坐标，分别计算每个靶标特征点在对 应视觉传感器坐标系下的三维坐标；以靶标之间位置关系不变为约束，计算两个视觉传感器之间的转换矩阵。上述方案中，所述将刚性杆在两个视觉传感器前摆放之前，该方法还包括将靶标固定于刚性杆上，调整刚性杆长度和靶标位置，使待校准的两个视觉传感器能清晰的拍摄 到对应的靶标图像。上述方案中，所述视觉传感器多于两个；该方法还包括每次任意选取两个视觉 传感器作为待校准的视觉传感器；每个视觉传感器与一个靶标相对应，拍摄对应靶标清晰 的靶标图像。上述方案中，所述每个视觉传感器分别拍摄对应的靶标图像之后，该方法还包括 每个视觉传感器根据视觉传感器内部参数标定结果，进行图像的畸变校正。上述方案中，所述计算两个视觉传感器之间转换矩阵为计算旋转矩阵、平移矢 量；建立以重投影误差为最小的目标函数，采用非线性优化方法求解旋转矩阵和平移矢量 的非线性优化解，得到两个视觉传感器之间转换矩阵。上述方案中，所述靶标通过靶标夹持机构、万向连接器、刚性杆转接固定装置固定 于刚性杆上。本发明还提供了一种多传感器视觉测量系统的刚性杆全局校准装置，包括靶标、 靶标夹持机构、万向连接器、刚性杆转接固定装置、可伸缩长度的刚性杆；其中，刚性杆还包括两个实心杆和一个空心杆，两个实心杆套入在空心杆内，实心杆与 空心杆之间通过螺栓固定；所述靶标夹持在靶标夹持机构上，装有靶标的靶标夹持机构安装在万向连接器 上，靶标能在万向连接器上任意旋转；所述万向连接器通过刚性杆转接固定装置固定于刚性杆的实心杆上。其中，所述靶标、靶标夹持机构、万向连接器、刚性杆转接固定装置均为两个。本发明所提供的多传感器视觉测量系统的刚性杆全局校准方法及装置，将靶标固 定于刚性杆上，调整刚性杆长度和靶标位置，利用刚性杆上两个靶标位置关系不变为约束 条件，求解两个视觉传感器之间的转换矩阵，通过两两校准方式实现多传感器视觉测量系 统的全局校准。本发明实际应用时灵活、方便，刚性杆可以根据视觉传感器位置的不同灵活 调整，使不同位置的视觉传感器都可以拍摄到清晰的靶标图像，从而可适用于大工作空间 多传感器视觉测量系统的全局校准，适用范围广；并且，全局校准精度高。


图1为本发明多传感器视觉测量系统的刚性杆全局校准装置结构示意图；图2为本发明多传感器视觉测量系统的刚性杆全局校准方法实现流程示意图；图3为本发明多传感器视觉测量系统的刚性杆全局校准方法实现原理示意图；图4为本发明中刚性杆坐标系示意图；图5为本发明一实施例中视觉传感器拍摄的一维靶标图像效果图。
具体实施例方式本发明的基本思想是将固定有两个靶标的刚性杆在两个视觉传感器前摆放四次 以上，每次每个视觉传感器分别拍摄对应的靶标图像，提取靶标特征点图像坐标，分别计算 每个靶标特征点在对应视觉传感器坐标系下的三维坐标；之后，以靶标之间位置关系不变 为约束，计算两个视觉传感器之间的转换矩阵。
4
这里，由于靶标固定于刚性杆上，所以，将刚性杆摆放在不同位置或移动刚性杆的 位置实际就是将靶标摆放于不同位置或移动靶标。其中，固定于刚性杆上的两个靶标的位置在进行全局校准前完成调整，具体是先 将靶标固定于刚性杆上，再调整刚性杆长度和靶标位置，使待校准的两个视觉传感器能拍 摄到清晰的对应靶标图像；之后，在全局校准过程中靶标的位置关系不变，即靶标在刚性 杆上的位置不再移动或转向，仅靠移动刚性杆移动靶标处于相对于视觉传感器的不同位置。当视觉传感器多于两个时，采用两_两视觉传感器校准的方式，即每次从多个视 觉传感器中任意选取两个视觉传感器作为待校准的视觉传感器，实现多传感器视觉测量系 统的全局校准。本发明多传感器视觉测量系统的刚性杆全局校准装置如图1所示，包括两个靶 标11、两个靶标夹持机构12、两个万向连接器13、两个刚性杆转接固定装置14、一个可伸缩 长度的刚性杆，其中，刚性杆包括两个实心杆15和一个空心杆16 ；该全局校准装置主要用 于辅助视觉传感器完成全局校准，该全局校准装置的主要特点包括al)两个靶标11为已知尺寸的靶标，分别夹持在两个靶标夹持机构12上，图1中 靶标11上两行黑白相间棋盘格的中心点为靶标特征点；a2)两个装有靶标11的靶标夹持机构12安装在两个万向连接器13上，靶标11可 以在万向连接器13上任意旋转；a3)刚性杆由空心杆16和两个套入在空心杆内的实心杆15组成，两个实心杆15 可以在空心杆16内自由移动，达到伸缩刚性杆、调节刚性杆长度的作用，其中两个实心杆 15与空心杆16之间分别通过螺栓固定；a4)两个万向连接器13通过刚性杆转接固定装置14分别固定在刚性杆的实心杆 15的两端；a5)在进行现场全局校准中，将刚性杆全局校准装置摆放在待校准的两个视觉传 感器前，移动刚性杆中套在空心杆16内的两个实心杆15，使视觉传感器可以拍摄到靶标11 图像，移动好后通过螺栓将空心杆16和两个实心杆15固定，再调节万向连接器13中的转 向头，让视觉传感器可以拍摄到清晰的靶标11图像；其中，所述靶标可采用一维靶标，下文 以一维靶标为例。基于图1所示的刚性杆全局校准装置，本发明还提供了一种刚性杆全局校准方 法，该方法的主要特点是bl)两个视觉传感器分别拍摄对应的一维靶标图像，提取一维靶标特征点图像 坐标，根据事先已经标定获得的视觉传感器内部参数完成特征点图像畸变校正；这里，图 像的畸变校正过程是指根据摄像机内部参数，通过ZHANG ZY.的文章“A flexible new technique for camera calibration[J]. IEEE Trans. onPattern Analysis and Machine Intelligence”中提到的方法，校正由于镜头畸变造成的图像变形；b2)根据一维靶标特征点图像坐标，通过交比不变性，计算一维靶标所在直线上无 穷远点的图像坐标，这里称该图像点为消隐点图像坐标。b3)根据消隐点图像坐标，结合视觉传感器内部参数，计算一维靶标特征点在视觉 传感器坐标系下的三维坐标；
b4)将刚性杆全局校准装置在视觉传感器前移动四次以上，以刚性杆中两个一维 靶标的位置关系不变为约束条件，求解两个视觉传感器之间的转换矩阵；b5)通过非线性优化方法，计算两个视觉传感器之间转换矩阵；b6)通过两_两视觉传感器校准的方式，实现多传感器视觉测量系统的全局校准。下面具体描述基于多传感器视觉测量系统的刚性杆全局校准装置进行全局校准 的实现方法，如图2所述，包括以下步骤步骤201 分别标定所有视觉传感器的内部参数；这里，可采用ZHANG Z Y.在文章"A flexible new technique for cameracalibration[J]. IEEE Trans, on Pattern Analysis and Machine Intelligence" 中提到的摄像机标定方法，对视觉传感器的内部参数进行标定。步骤202 在多个视觉传感器中任意选取两个视觉传感器作为待校准的视觉传感 器；这里，所选取的视觉传感器称为视觉传感器1和视觉传感器2，分别对应预先固定 于刚性杆上的两个靶标一 一维靶标1和一维靶标2 ；将靶标固定于刚性杆上具体是将两 个一维靶标通过夹持机构固定在万向连接器上，万向连接器通过刚性杆转接固定装置固定 在刚性杆上。步骤203 调节刚性杆长度和靶标位置，使每个视觉传感器能清晰的拍摄到对应 的靶标图像；具体的，调节刚性杆长度，使两个一维靶标分别落入对应的视觉传感器的视场范 围；调节靶标位置，使每个视觉传感器能清晰的拍摄到对应的一维靶标图像。其中，调节好 刚性杆长度，还需拧紧刚性杆上固定实心杆和空心杆的螺栓，将刚性杆长度固定；所述使一 维靶标落入对应的视觉传感器的视场范围是指使两个视觉传感器分别能够看到对应的一 维靶标；所述调节靶标位置是指分别调节两个万向连接器上一维靶标的方向。图3为本发明多传感器视觉测量系统刚性杆全局校准方法的实现原理示意图，从 图3可以看出，视觉传感器1、视觉传感器2分别对应一维靶标1、一维靶标2，视觉传感器1 可以“看”到一维靶标1的全部，但“看”不到一维靶标2 ；视觉传感器2可以“看”到一维靶 标2的全部，但“看”不到一维靶标1。设OcaXciyclZca为视觉传感器1坐标系，0。2x。2y。2z。2为视觉传感器2坐标系，O1X1Y1为 视觉传感器1的图像坐标系，O2X2Y2为视觉传感器2的图像坐标系，Rc2,cl, tc2,cl为视觉传感 器2坐标系到视觉传感器1的旋转矩阵和平移矢量。ΑΠ、ΒΠ、(]Π分别为刚性杆第i个摆放 位置时，一维靶标1特征点在视觉传感器1坐标系下三维坐标；A2i、B2i、C2i分别为刚性杆第 i个摆放位置时，一维靶标2特征点在视觉传感器2坐标系下三维坐标。上述步骤201 203所述的标定视觉传感器内部参数、选取视觉传感器、以及调节 刚性杆长度和靶标位置的操作，均为在进行全局校准之前的预处理操作。步骤204 两个视觉传感器分别拍摄对应的一维靶标图像，每个视觉传感器根据 视觉传感器内部参数标定结果，进行图像的畸变校正。步骤205 分别求解每个一维靶标特征点在对应视觉传感器坐标系下的三维坐 标。以视觉传感器1的求解过程为例，在视觉传感器1拍摄的靶标图像中，利用一维靶
6标1上三个或三个以上特征点的图像坐标，求解一维靶标1所在空间直线在视觉传感器1 图像中的消隐点Vli。设Vooi为刚性杆第i个摆放位置时，一维靶标1所在直线的无穷远点，由于Vooi为 无穷远点，Ali VooiZiBliVooi近似为1，则Α 、ΒΠ、(:Π和Vooi四点的交比可由公式(1)表示CR (Ali, Bli, Cli, Vooi)=(1)AliCliZiBliCli =AliV ^ ^BliV ^ i ^ AliCliZBliCli根据交比不变性，Vli可以由公式(2)求解得出CR(Ali, Bli，Cli，Vooi) = CR(an，bn ；Cli, Vli) ^ AliCliZBliCli (2)式中an，bn和Cli分别为在刚性杆第i个摆放位置，Ali，Bli和Cli在视觉传感器1 上的图像坐标。
⑷
(5)根据消隐点性质，空间直线方向彳,.Cu与其消隐点Vli的反向投影射线J^Vu平行， 即(Ch - Au) X JT1-1V1. = 0(3)公式(3)中K1为视觉传感器1的内部参数，摄像机内部参数的求解过程见文献“A flexible new technique for camera calibration[J]. IEEE Trans, on PatternAnalysis and Machine Intelligence，，。已知Ali与Cli的距离为La。，有公式(4)I Cli-Ali I =Lac根据摄像机投影原理有公式(5)
PlaU = KlAU
^PlcXi -
式中ρ i和ρ i为比例系数，K2为视觉传感器2的内部参数。 求解公式(4)、(5)组成的方程组即可解得AliAlit5根据一维靶标特征点共线的特 点求解全部一维靶标1特征点在视觉传感器1坐标系下的三维坐标Ali，Bli和Cn。同理，也可以求解出一维靶标2所有特征点在视觉传感器2坐标下三维坐标A2i，
^21，ο步骤206 计算旋转矩阵R。2, cl ；在刚性杆的第i (i = 1. . . η)个摆放位置，&，&分别为一维靶标1和一维靶标
2在各自视觉传感器坐标下的方向矢量。根据两个一维靶标之间位置关系不变这一特点，可 以得到以下公式(6)nu · (U2i) = ηυ · U2J)(6)刚性杆每两个摆放位置即可得到一个如公式(6)的方程，根据公式(6)及旋转矩 阵的特性可知，最少三个如公式(6)的方程才可以求解出Rc^ca,因此，需要将放置有两个一 维靶标的刚性杆摆放四次以上。其中，旋转矩阵的特性是指旋转矩阵的列向量为单位向 量，各向量之间正交；旋转矩阵的自由度为3。步骤207 计算平移矢量tc2, cl ；
7
在刚性杆的第i个摆放位置，设么,，屯和亡,为-维靶标2特征点在视觉传感器1坐标下的三维坐标，两者的变换关系如公式(7)所示
权利要求
一种多传感器视觉测量系统的刚性杆全局校准方法，其特征在于，该方法包括将固定有两个靶标的刚性杆在两个视觉传感器前摆放四次以上，每次每个视觉传感器分别拍摄对应的靶标图像，提取靶标特征点图像坐标，分别计算每个靶标特征点在对应视觉传感器坐标系下的三维坐标；以靶标之间位置关系不变为约束，计算两个视觉传感器之间的转换矩阵。
2.根据权利要求1所述的方法，其特征在于，所述将刚性杆在两个视觉传感器前摆放 之前，该方法还包括将靶标固定于刚性杆上，调整刚性杆长度和靶标位置，使待校准的两 个视觉传感器能清晰的拍摄到对应的靶标图像。
3.根据权利要求1所述的方法，其特征在于，所述视觉传感器多于两个；该方法还包括每次任意选取两个视觉传感器作为待校准的视觉传感器；每个视觉传 感器与一个靶标相对应，拍摄对应靶标清晰的靶标图像。
4.根据权利要求1所述的方法，其特征在于，所述每个视觉传感器分别拍摄对应的靶 标图像之后，该方法还包括每个视觉传感器根据视觉传感器内部参数标定结果，进行图像 的畸变校正。
5.根据权利要求1所述的方法，其特征在于，所述计算两个视觉传感器之间转换矩阵为计算旋转矩阵、平移矢量；建立以重投影误差为最小的目标函数，采用非线性优化方法 求解旋转矩阵和平移矢量的非线性优化解，得到两个视觉传感器之间转换矩阵。
6.根据权利要求1至5任一项所述的方法，其特征在于，所述靶标通过靶标夹持机构、 万向连接器、刚性杆转接固定装置固定于刚性杆上。
7.一种多传感器视觉测量系统的刚性杆全局校准装置，其特征在于，该装置包括靶 标、靶标夹持机构、万向连接器、刚性杆转接固定装置、可伸缩长度的刚性杆；其中，刚性杆还包括两个实心杆和一个空心杆，两个实心杆套入在空心杆内，实心杆与空心 杆之间通过螺栓固定；所述靶标夹持在靶标夹持机构上，装有靶标的靶标夹持机构安装在万向连接器上，靶 标能在万向连接器上任意旋转；所述万向连接器通过刚性杆转接固定装置固定于刚性杆的实心杆上。
8.根据权利要求7所述的装置，其特征在于，所述靶标、靶标夹持机构、万向连接器、刚 性杆转接固定装置均为两个。全文摘要
本发明公开了一种多传感器视觉测量系统的刚性杆全局校准方法，包括将固定有两个靶标的刚性杆在两个视觉传感器前摆放四次以上，每次每个视觉传感器分别拍摄对应的靶标图像，提取靶标特征点图像坐标，分别计算每个靶标特征点在对应视觉传感器坐标系下的三维坐标；之后，以靶标之间位置关系不变为约束，计算两个视觉传感器之间的转换矩阵。本发明还同时公开了一种多传感器视觉测量系统的刚性杆全局校准装置，采用本发明，不仅能提高全局校准精度，而且适用于超大工作空间多传感器视觉测量系统的全局校准，适用范围广。
文档编号G01C25/00GK101975588SQ20101029443
公开日2011年2月16日 申请日期2010年9月28日 优先权日2010年8月20日
发明者刘震, 孙军华, 张广军, 谢梦, 魏振忠 申请人:北京航空航天大学