专利名称：一种基于平面靶标的结构光视觉传感器标定方法
技术领域：
本发明属于测量技术领域，涉及对结构光三维视觉检测中传感器参数标定方法的改进。
背景技术：
准确获取客观世界的三维信息是产品快速设计、产品质量控制、CAD/CAM、医学诊断、文物鉴定、服装设计、自动导航以及虚拟现实系统等诸多领域的关键问题。作为获取三维信息的主要手段之一，结构光视觉检测方法具有大量程、非接触、速度快、系统柔性好、精度适中等优点，广泛应用于三维模型重建、物体表面轮廓三维信息测量等领域。结构光视觉传感器模型参数的有效标定方法一直是一个重要的研究内容。目前主要有以下方法一是锯齿靶法。段发阶等在文章“一种新型线结构光传感器结构参数标定方法”(仪器仪表学报，Vol.21No.1，2000)及刘凤梅等在文章“利用锯齿靶标标定线结构光传感器结构参数的新方法”(计量技术，No.7 pp.3￣6，1999)中陈述了这种方法。该方法主要让光平面投射到锯齿状的靶标上，从而在齿棱上形成一些亮点作为标定点。此种方法存在以下缺点一是因齿棱反光，造成像点的提取精度低。二是需要外部设备来严格调整光平面与某一基准面(齿形靶基面)相垂直，难以实现，不适合现场标定。三是齿棱有限，获取标定点数目少。另一种方法是基于三维立体靶标或者采用昂贵的辅助设备获取三维标定特征点的方法。1995年，清华大学的徐光祐等在文章“一种新的基于结构光的三维视觉系统标定方法”(计算机学报，Vol.18 No.6，1995)提出了利用交比不变性原理来获取标定点的方法，该方法要求高精度的三维辅助设备，实现过于麻烦。1999年，D.Q.HUYNH在文章“线结构光系统的标定一种新方法”(Calibration a Structured Light Stripe SystemA NovelApproach)，计算机视觉国际期刊，第33卷，第一期，73-86页，1999年(International Journal of Computer Vision，Vol.33，No.1，pp.73-86，1999)提出了基于交比不变性原理的结构光视觉系统标定方法，该方法通过三维标定靶标上的已知精确坐标的至少三个共线点，利用交比不变获得结构光光条与该已知三点所在直线的交点的坐标。该方法需要至少两个相互垂直的平面构成的高精度三维标定靶标，三维靶标的加工成本高，维护困难，而且由于平面之间对光照的相互遮挡，难以获得高质量的标定图像，获取标定点数量不可能太多。

发明内容
本发明所要解决的技术问题是提供一种精度较高，基于二维平面标定靶的结构光视觉传感器参数现场标定方法，降低标定设备的成本，简化标定过程，改善其工程化应用的便捷性。
本发明的技术解决方案是一种结构光视觉传感器的标定方法，其特征在于，1、设定一个靶标2，它为一个二维平面，在靶标平面上有成矩阵排列的黑色方块，方块数量为4～100个，方块的边长为(3～50)mm，其边长精度为(0.001～0.01)mm，方块间距为3～50mm，其间距精度为(0.001～0.01)mm，选取每个方块的顶点为特征点；2、将传感器与靶标2相距一定距离固定好，打开传感器CCD摄像机的电源；3、在摄像机的视场范围内，自由、非平行地移动靶标至少5个位置，每移动一个位置，拍摄一幅图像，称为摄像机标定图像，并保存到计算机中，要求将靶标2的黑色方块包含在图像内；4、提取每一个位置的摄像机标定图像中所有黑色方块顶点的图像坐标，存储到计算机中；5、利用所有位置的标定特征点的图像坐标及对应的世界坐标来标定摄像机内部参数，包括摄像机有效焦距、主点以及畸变系数，并保存到计算机中；6、打开激光投射器的电源，放置平面标定靶标，要求光条1能够横向通过靶标2的一行黑色方块上，并且摄像机能够拍摄到包括靶标的所有黑色方块在内的图像，拍摄一幅靶标图像，称为传感器标定图像，并保存到计算机中，然后将参照物转动一定角度后，在满足上述要求的情况下，再拍摄一幅传感器标定图像并保存到计算机中；
7、根据摄像机的畸变模型，分别对两幅传感器标定图像进行畸变校正，获得两幅无畸变传感器标定图像；8、提取每幅无畸变传感器标定图像中光条和标定特征方块的顶点图像坐标，并计算传感器标定特征点即光条拟合直线与同一列标定方块特征点拟合直线的交点的图像坐标；9、利用交比不变原理，计算传感器标定特征点在各自靶标坐标系即定义在靶标平面上的局部世界坐标系下的局部世界坐标；10、设定全局世界坐标与第一个位置的靶标坐标系重合，利用第一幅无畸变传感器标定图像中方块顶点的图像坐标和对应的局部世界坐标，根据摄像机模型，计算摄像机三维坐标到全局世界坐标的变换矩阵；11、利用传感器标定特征点的图像坐标及对应的局部世界坐标，以摄像机三维坐标为中介，求出所有传感器标定特征点在全局世界坐标系下的世界坐标；12、利用求出的传感器标定特征点图像坐标和对应的世界坐标，标定激光视觉传感器的结构参数；13、将标定的摄像机内部参数、传感器结构参数保存到系统参数文件中，以备测量调用。
本发明的优点是本方法以摄像机三维坐标系为中介，采用自由移动的平面标定靶标对结构光视觉传感器进行标定，与现有的结构光视觉传感器的标定方法相比，本方法基于简单的可以自由移动的平面靶标实现了结构光视觉传感器所有参数的标定。该方法允许平面靶标在测量空间内自由移动，摄像机可以获取多幅高质量的标定靶标图像，能够获得更多的光平面上的标定特征点，提高标定精度，简化标定过程。不存在三维标定靶标不同平面之间的相互遮挡问题。该标定方法不需要高成本的辅助调整设备，可以提高标定效率，大大降低劳动强度，因此特别适合结构光视觉传感器的现场标定。


图1是平面靶标示意图。图1中，1是投射的激光光条，2是靶标体。
图2是结构光视觉传感器数学模型。图2中，3是激光投射器，4是光平面，5是图像平面。
图3是激光视觉传感器标定原理示意图。
图4是不同平面靶标局部世界坐标系的统一过程。
图5是安装在现场的激光视觉传感器实物图。图5中，6是传感器电源线、输出信号接口端子，7是CCD摄像机视窗，8是传感器安装机构，9是传感器壳体，10是激光投射器窗口。
图6、7是用于标定传感器结构参数的两幅图像的局部。
图8是获得的光平面上标定特征点的全局世界坐标。
图9是光平面上标定特征点的归一化图像坐标。
具体实施例方式
下面对本发明方法做进一步详细说明。本发明首次使用简单可以自由移动的平面靶标，对结构光视觉传感器所有参数进行了标定。本方法能够获得传感器测量空间范围内任意位置的结构光光平面上所需任意数量的高精度的三维特征点坐标，用于传感器的标定。
激光视觉传感器的数学模型。
由CCD摄像机和激光投射器组成的激光视觉传感器的数学模型如图2所示。摄像机三维坐标系为ocxcyczc，图像坐平面5坐标系为OXY。在光平面4上以一点os为原点，建立传感器的测量坐标系osxsyszs，其中光平面osxsys在测量参考坐标系下的方程为zs＝0 (1)设光平面上任意一点P在传感器测量坐标系下的齐次坐标为p~s=(xs,ys,zs,1)T,]]>在图像平面上的透视投影点为p，p的齐次坐标为p~l=(xl,yl,1)T,]]>相应的归一化坐标为p~n=(xn,yn,1)T.]]>摄像机的透视投影模型可以表为ρp~l=[R|T]p~s,ρ≠0----(2)]]>λp~n=A-1p~l,λ≠0----(3)]]>其中A=fx0u00fyv0001]]>R=r1r2r3r4r5r6r7r8r9,]]>T=txtytz.]]>A为摄像机内部参数矩阵，(fx，fy)为摄像机在x、y方向上的有效焦距，(u0，v0)为摄像机的主点坐标。R为3×3单位正交旋转矩阵，T为平移矢量。R和T表示了摄像机三维坐标系和传感器测量坐标系之间的相互位置关系。
由公式(1)～(3)可得，图像平面坐标系与测量参考坐标系之间的变换关系为λxnyn1=r1r2txr4r5tyr7r8tzxsys1=Hxsys1----(4)]]>上式表明光平面与图像平面之间的关系可以通过一个3×3矩阵表示。如果H的前两列满足正交条件，则公式(3)和(4)构成了欧式空间上的激光视觉传感器的完整的数学模型。根据这一模型，结构光视觉传感器的标定分为两步一是摄像机内部参数的标定，二是传感器结构参数的标定。
本发明方法的具体步骤如下1、设定一个靶标2，它为一个二维平面，在靶标平面上有成矩阵排列的黑色方块，方块数量为4～100个，方块的边长为(3～50)mm，其边长精度为(0.001～0.01)mm，方块间距为3～50mm，其间距精度为(0.001～0.01)mm，选取每个方块的顶点为特征点；2、将传感器与靶标相距一定距离固定好，打开传感器CCD摄像机的电源。
3、在摄像机的视场范围内，自由、非平行地移动靶标至少5个位置，每移动一个位置，拍摄一幅图像(以下称为摄像机标定图像)并保存到计算机中，要求平面标定靶标的黑色方块包含在图像内；4、提取每一个位置的摄像机标定图像中所有黑色方块顶点的“亚像素”图像坐标，并将其和对应的世界坐标存储到计算机中。方块特征点坐标提取算法参见周富强著《双目立体视觉检测的关键技术研究》，北京航空航天大学博士后研究工作报告，2002。
5、利用所有位置的标定特征点的图像坐标及对应的世界坐标来标定摄像机内部参数(包括摄像机有效焦距、主点以及畸变系数)并保存到计算机中。标定算法参见周富强著《双目立体视觉检测的关键技术研究》，北京航空航天大学博士后研究工作报告，2002。
6、打开激光投射器的电源。放置平面标定靶标，要求光条能够横向通过靶标的一行黑色方块上，并且摄像机能够拍摄到包括靶标的所有黑色凡方块在内的图像，拍摄一幅靶标图像(以下称为传感器标定图像)并保存到计算机中，然后将参照物转动一定角度后，再拍摄一幅传感器标定图像并保存到计算机中，要求同第一幅图像相同，视要求可以按此方式拍摄更多传感器标定图像(本发明至少要求两幅传感器标定图像，以下基于两幅图像讨论)。
7、根据摄像机的畸变模型，分别对两幅传感器标定图像进行畸变校正，获得两幅无畸变传感器标定图像。畸变校正算法参见周富强著《双目立体视觉检测的关键技术研究》，北京航空航天大学博士后研究工作报告，2002。
8、提取每幅无畸变传感器标定图像中光条和标定特征方块的顶点图像坐标，并计算传感器标定特征点(光条拟合直线与同一列标定方块特征点拟合直线的交点)的图像坐标。设拟合直线参数方程为ax+by+cw＝0，其中(x，y，w)为构成直线的特征点的齐次坐标表示形式，(a，b，c)为拟合直线的参数方程。光条中心提取算法参见Carsten Steger的文章“一种对称曲线结构探测器”[An Unbiased Detector ofCurvilinear Structures]，IEEE期刊《模式分析及机器智能》，第20卷第2期，第113～125页，1998年。[IEEE Transactions on PatternAhalysis and Machine Intelligence，Vol.20，No.2，1998]。标定特征方块顶点坐标提取算法与(4)相同。由拟合的光条直线和特征点拟合直线的交点为传感器标定特征点图像坐标。
9、利用交比不变原理，计算传感器标定特征点在各自靶标坐标系(定义在靶标平面上的局部世界坐标系)下的局部世界坐标并存储到计算机中。如图3所示，三维坐标系ocxcyczc为摄像机坐标系，oixiyizi为局部世界坐标系，osxsyszs为测量坐标系，平面πc为图像平面，平面πs(osxsys)为光平面，平面πi(oixiyi)为靶标平面，πs与πi相交成直线Ls。由交比的定义和不变性原理，可以得到平面标定参照物上任意4个共线点(Aj，Qj，Bj，Cj)的交比和其在图像平面内的投影点(aj，qj，bj，cj)的交比保持不变，其中(j＝1…n)。即r(Aj,Qj,Bj,Cj)=AjBjQjBj:AjCjQjCj=ajbjqjbj:ajcjqjcj----(5)]]>如果给定Aj，Bj，Cj(即靶标平面上的共面特征点)的世界坐标，通过图像处理获得aj，qj，bj，cj的图像坐标，则根据公式(5)就可以求出光平面上的特征点Qj的世界坐标。
以上方法可以获得光平面上特征点的世界坐标，若采用平面靶标，在每一个位置只能获得共线特征点，而根据结构光视觉系统的模型，至少需要4个非共线的光平面特征点，才能够求出所有结构光视觉传感器的结构参数。
10、设定全局世界坐标与第一个位置的靶标坐标系重合，利用第一幅无畸变传感器标定图像中方块顶点的图像坐标和对应的局部世界坐标，根据摄像机模型，计算全局世界坐标到摄像机三维坐标的变换矩阵。
将全局世界坐标系建在第一个位置的平面靶标上，与公式(4)类似，平面靶标上特征点世界坐标与其图像坐标之间的关系为sm~=HM~,H=A(r1r2T)=(h1h2h3)----(6)]]>其中m~=(xn,yn,1)]]>为特征点的归一化图像坐标，M~=(xi,yi,1)]]>为特征点的局部二维世界坐标。hi(i＝1～3)为H的第i列，ri(i＝1～3)为旋转矩阵的列向量。H矩阵的自由度为8，因此需要至少4个非共线对应点，由公式(6)就可以求出带比例因子的H矩阵。若摄像机内部参数矩阵A已知，则直接可以得到全局世界坐标系到摄像机坐标系的变换关系，可以由旋转矩阵Rwc和平移矢量Twc表示r1＝sA-1h1，r2＝sA-1h2，r3＝r1×r2，T＝sA-1h3(7)其中ri(i＝1～3)为旋转矩阵Rwc的列向量，s＝1/‖A-1h1‖＝1/‖A-1h2‖。由公式(7)计算出的旋转矩阵并不满足正交约束，采用奇异值分解方法将其正交化，设R^=UWVT,]]>则正交的旋转矩阵为Rwc=UW′VT,]]>其中矩阵W′的对角线元素为1，1，|UVT|按降序排列。
11、利用传感器标定特征点的图像坐标及对应的局部世界坐标，以摄像机三维坐标为中介，求出所有传感器标定特征点在全局世界坐标系下的世界坐标。算法如下设任意标定特征点P在全局世界坐标系、某一局部世界坐标系以及三维摄像机坐标系下的齐次坐标分别为p~w=(xwywzw1)T,]]>p~i=(xiyizi1)T(i=1~N),]]>p~c=(xcyczc1)T.]]>以三维摄像机坐标系为中介坐标系，可以将标定特征点的任意局部世界坐标转换为对应的全局世界坐标。如图4所示，主要实现过程如下◆确定局部世界坐标系到三维摄像机坐标系的转换，即p~c=Hicp~i----(8)]]>
其中Hic=RicTic0T1]]>表示第i个局部世界坐标系到三维摄像机坐标系的4×4转换矩阵，它由3×1的平移矢量Tic和3×3的正交旋转矩阵Ric组成，Hic求法与(13)相同。
◆确定三维摄像机坐标系到全局世界坐标系的转换，即p~w=Hcwp~c----(9)]]>其中Hcw=(Rwc)1-Twc0T1]]>表示摄像机三维坐标系到全局世界坐标系的4×4转换矩阵，其逆变换为Hwc，它由3×1的平移矢量Twc和3×3的正交旋转矩阵Rwc组成，Rwc和Twc由(13)计算。
由此可知，局部世界坐标系到全局世界坐标系的转换为p~w=HcwHicp~i=Hiwp~i----(10)]]>其中Hiw=HcwHic=RiwTiw0T1]]>表示局部世界坐标系到全局世界坐标系的4×4转换矩阵，它由3×1的平移矢量Tiw和3×3的正交旋转矩阵Riw组成。
由交比不变原理求出光平面上标定特征点的局部世界坐标后，由公式(10)就可以获得相应的全局世界坐标。因此在摄像机的视场范围内，保证能够观测到光平面，自由移动平面靶标，理论上可以获得任意多的位于光平面上的非共线标定特征点。所有的非共线标定三维特征点的世界坐标及相应的图像坐标为 其中Qi为平面靶标在位置i时特征点的图像坐标，由(8)求得。
12、利用求出的传感器标定特征点图像坐标和对应的世界坐标，标定结构光视觉传感器的结构参数。传感器的测量坐标系为osxsyszs，其中zs轴与光平面的法向矢量一致，xs轴和ys轴位于光平面内，测量坐标系的原点定义在所有非共线标定特征点的中心 设p~s=(xsys01)T]]>为标定特征点的非齐次测量坐标，则世界坐标到传感器坐标系的转换为p~s=Hwsp~w----(12)]]>其中Hws=Rws-Rwsp~0T1]]>表示世界坐标系到测量坐标系的4×4转换矩阵，它由3×1的平移矢量 和3×3的正交旋转矩阵Rws组成。
设由4个以上的非共线特征点拟合的光平面的单位法向矢量为n＝(n1n2n3)T，世界坐标的Z轴方向矢量为zw＝(0 0 1)T，则将矢量n和zw对准的旋转轴为a＝(n×zw)/‖n×zw‖，旋转角度为＝cos-1(n·zw)＝cos-1(n3)。因此Rws由下式计算 其中I为3×3的单位正交矩阵，I×a=0-a3a2a30a1-a2a10]]>为矢量a定义的反对称矩阵。
由步骤11计算出的多个位置的标定靶标光平面上非共线标定特征点的世界坐标，由公式(12)将其转换到测量坐标系下，就可以获得标定特征点在测量坐标系下的坐标 由公式(3)可以得到标定特征点的归一化图像坐标 由激光视觉传感器的数学模型即公式(4)，采用非线性优化的方法求出传感器的结构参数。非线性优化算法采用Levenberg-Marquardt算法，参见《最优化理论与方法》，(袁亚湘、孙文瑜著，科学出版社，1999年)。
13、将标定的摄像机内部参数和结构光视觉传感器结构参数保存到一个系统参数文件中，以备测量调用。
实施例实际设计的激光视觉传感器的实物如图5所示。图5是安装在现场的激光视觉传感器实物图。图5中，6是传感器电源线、输出信号接口端子，7是CCD摄像机视窗，8是传感器安装机构，9是传感器壳体，10是激光投射器窗口。
按照上面叙述的步骤，利用图1所示的平面标定靶标对CCD摄像机和结构光视觉传感器进行了标定。使用了两个位置的靶标来标定传感器的结构参数，标定图像的局部如图6、7所示，图8为获得的光平面上标定特征点的全局世界坐标，图9为光平面上标定特征点的归一化图像坐标。获得的标定参数为摄像机内部参数A=952.5960393.3910949.901309.320001pixel]]>
摄像机畸变系数为(k1，k2，p1，p2)＝(-3.044544×10-1，1.093844×10-1，1.358633×10-3-1.953443×10-3)传感器结构参数H=0.926475-0.311043-47.213-0.301995-0.278446-177.155-0.224591-0.908691882.040]]>标定的结构光视觉传感器测量物体空间两点距离的RMS误差为ERMS＝0.135mm。
权利要求
1.一种结构光视觉传感器的标定方法，其特征在于，1.1、设定一个靶标[2]，它为一个二维平面，在靶标平面上有成矩阵排列的黑色方块，方块数量为4～100个，方块的边长为(3～50)mm，其边长精度为(0.001～0.01)mm，方块间距为3～50mm，其间距精度为(0.001～0.01)mm，选取每个方块的顶点为特征点；1.2、将传感器与靶标[2]相距一定距离固定好，打开传感器CCD摄像机的电源；1.3、在摄像机的视场范围内，自由、非平行地移动靶标至少5个位置，每移动一个位置，拍摄一幅图像，称为摄像机标定图像，并保存到计算机中，要求将靶标[2]的黑色方块包含在图像内；1.4、提取每一个位置的摄像机标定图像中所有黑色方块顶点的图像坐标，存储到计算机中；1.5、利用所有位置的标定特征点的图像坐标及对应的世界坐标来标定摄像机内部参数，包括摄像机有效焦距、主点以及畸变系数，并保存到计算机中；1.6、打开激光投射器的电源，放置平面标定靶标，要求光条[1]能够横向通过靶标[2]的一行黑色方块上，并且摄像机能够拍摄到包括靶标的所有黑色方块在内的图像，拍摄一幅靶标图像，称为传感器标定图像，并保存到计算机中，然后将参照物转动一定角度后，在满足上述要求的情况下，再拍摄一幅传感器标定图像并保存到计算机中；1.7、根据摄像机的畸变模型，分别对两幅传感器标定图像进行畸变校正，获得两幅无畸变传感器标定图像；1.8、提取每幅无畸变传感器标定图像中光条和标定特征方块的顶点图像坐标，并计算传感器标定特征点即光条拟合直线与同一列标定方块特征点拟合直线的交点的图像坐标；1.9、利用交比不变原理，计算传感器标定特征点在各自靶标坐标系即定义在靶标平面上的局部世界坐标系下的局部世界坐标；1.10、设定全局世界坐标与第一个位置的靶标坐标系重合，利用第一幅无畸变传感器标定图像中方块顶点的图像坐标和对应的局部世界坐标，根据摄像机模型，计算摄像机三维坐标到全局世界坐标的变换矩阵；1.11、利用传感器标定特征点的图像坐标及对应的局部世界坐标，以摄像机三维坐标为中介，求出所有传感器标定特征点在全局世界坐标系下的世界坐标；1.12、利用求出的传感器标定特征点图像坐标和对应的世界坐标，标定激光视觉传感器的结构参数；1.13、将标定的摄像机内部参数、传感器结构参数保存到系统参数文件中，以备测量调用。
全文摘要
本发明属于测量技术领域，涉及对结构光三维视觉检测中传感器参数标定方法的改进。本发明的步骤是设定靶标－拍摄靶标图像－标定摄像机内部参数－拍摄传感器标定图像－对感器标定图像进行畸变校正－计算传感器标定特征点－计算传感器标定特征点的局部世界坐标－计算摄像机的变换矩阵－求标定特征点的全局世界坐标－标定激光视觉传感器的结构参数－保存参数。本方法标定精度高，标定过程简单，不需要高成本的辅助调整设备，标定效率高，特别适合结构光视觉传感器的现场标定。
文档编号G01D18/00GK1566906SQ03142658
公开日2005年1月19日 申请日期2003年6月11日 优先权日2003年6月11日
发明者周富强, 张广军 申请人:北京航空航天大学