专利名称：三维计测装置及其方法
技术领域：
本发明涉及对计测对象物特别是镜面的计测对象物的三维形状进行计测的技术。
背景技术：
如图12所示，三维计测(三角测量)是这样的技术根据用不同拍摄角度的多个照相机拍摄得到的图像，来调查(研究)像素的对应关系，并通过计算视差来计测距离。通常，调查对应的像素时，将亮度值用作特征量。在这里，在计测对象物为镜面物体的情况下，拍摄到图像中的亮度值，并不表示物体表面本身的特征量，而是由周围物体映在该计测对象物上的情况来决定的。因此，如图13 所示，用两台照相机101、102对镜面物体进行拍摄时，对来自光源Ll的光线进行反射的物体表面的位置变为不同的位置。如果将这些点作为相对应的像素来进行三维测量，则实际上计测图中的点L2的位置而产生误差。据照相机的拍摄角度差越大则该误差越大。此外， 还会发生基于照相机特性差异的误差。已提出了这样的三维测量的技术为了排除因照相机的位置及特性差异导致的误差的影响，以光度立体视觉法求出法线图，并根据该法线图进行区域划分，并对各区域分别利用平均法线建立对应关系。(专利文献1)。专利文献1 日本特开昭61-198015号公报

发明内容
发明要解决的问题然而，如上述在使用以往的技术的情况下，发生如下述问题。在以亮度值作为特征量将以往的三维测量法应用于镜面物体的情况下，由于因多个照相机的特性差异及照相机配置而使拍摄图像的亮度值受到影响，所以给像素的建立对应关系带来误差。在测定对象的表面为镜面的情况下，该影响将变大。在专利文献1记载的方法中，由于着眼于以法线作为测定对象的固有的信息，所以能够减小因照相机的配置或特性的差异所带来的误差，但是区域划分会导致误差。特别是，就球等的具有平滑连续面的测定对象而言，通过区域划分，只能计测为面分辨率粗糙且具有棱角的三维形状。此外，建立对应关系时，调小照相机的辐辏角而在多个照相机之间视为具有同一坐标系，因此，如果调大辐辏角就会因法线坐标系的差异而降低建立对应关系的精度。本发明是鉴于上述实情做出的，其目的在于，提供一种能够不受基于照相机的位置及特性差异影响且以高精度测定镜面物体的三维形状的技术。用于解决问题的手段为了达成上述目的，本发明的三维计测装置，一种三维计测装置，用于对作为镜面物体的计测对象物的三维形状进行计测，其特征在于，具有多个照相机；特征取得单元， 其根据所述多个照相机拍摄得到的各图像，取得所述计测对象物的表面的物理特征；对应像素搜索单元，其利用所述物理特征，在所述多个照相机拍摄得到的图像之间搜索相对应的像素；测量单元，其基于相对应的像素之间的视差来进行三维测量。利用映入镜面物体表面的亮度信息来取得像素的对应关系时产生误差是因为，亮度信息并不是镜面物体的表面自身的特征，而是因周围的照明等条件而变化的信息。因此， 在本发明中，取得镜面物体的表面的物理特征并利用该特征来取得像素的对应关系，由此不受照相机的位置及姿势的影响就能够高精度地匹配，从而能够以高精度测定计测对象物的三维形状。优选利用以表面的法线方向作为如上述的计测对象物的表面的物理特征的方法。 此外，除了法线还可以利用计测对象物的表面的分光特性或反射特性。这些物理特征均是计测对象物的固有的信息，所以不受照相机的位置及姿势的影响。在本发明中优选还具有坐标转换单元，其利用转换参数，将由多个照相机拍摄得到的图像的坐标系转换为共通坐标系。该情况下，所述对应像素搜索单元利用坐标转换单元转换到共通坐标系中的法线方向，来搜索在图像之间相对应的像素。在执行用于统一多个拍摄图像之间的坐标系的坐标转换处理之后进行匹配，由此将照相机之间的辐辏角调大也不会降低匹配的精度。以此，能够较灵活地确定照相机的配置。此外，在所述坐标转换单元中的转换参数是从预先进行照相机校准(校对)而得到的参数中提取出来的。另外，在本发明的对应像素搜索单元优选对特定区域内的物理特征进行比较，从而搜索在图像之间相对应的像素，所述特定区域包括关注的像素，并且具有规定宽度。连周围的物理特征都包括起来进行比较，由此能够以高精度进行匹配。此外，本发明可以解释为具有上述单元的至少一部分的三维计测装置。此外，本发明可以解释为包括上述处理的至少一部分的三维计测方法，或者是为了实现所涉及方法的程序。各上述单元以及处理可以尽可能互相组合起来构成本发明。发明效果若采用本发明，则能够得到如下效果能够不受基于照相机的位置及特性差异影响且以高精度测定镜面物体的三维形状。


图1是示出了三维计测装置的概要的图。图2是示出了三维计测装置的功能块的图。图3是用于说明照相机的配置的图。图4A是用于说明照明装置的方位角配置的图。图4B是用于说明照明装置的天顶角配置的图。图5是示出了表面形状计算部的功能框图的图。图6是用于说明法线-亮度表的生成方法的图。图7是用于说明从拍摄到的图像取得法线方向的方法的图。图8是用于说明在世界坐标系(World Geodetic)和各照相机的坐标系的之间进行转换的转换矩阵的图。
图9是示出了基于对应点计算部的对应点搜索处理流程的流程图。图IOA是用于说明关于用于搜索对应点的搜索窗口的图。图IOB是用于说明关于用于搜索对应点的计算相似度的图。图11是用于说明在第二实施方式中的照明装置的图。图12是示出了三维测量的原理的图。图13是用于说明对镜面物体进行三维测量的情况的图。
具体实施例方式下面参照附图，举例详细说明该发明的恰当的实施方式。(第一实施方式)<整体概要>图1是示出了涉及本实施方式的三维计测装置的概要的图。图2是示出了涉及本实施方式的三维计测装置的功能块的图。如图1所示，用两台照相机1、2来拍摄设置在载物台5上的计测对象物4。由三个照明装置3a c从不同方向对计测对象物4照射白色光，使这些照明装置3a c依次照射，用照相机1、2分别拍摄得到三个图像。将拍摄到的图像导入计算机6，并处理图像进行三维计测。CPU执行程序，从而如图2所示那样使计算机6发挥表面形状计算部7、坐标转换部8、对应点计算部9以及三角测量部10的功能。此外，也可以由专用的硬件来实现这些功能部的一部分或全部。< 结构 >[照相机配置]图3是说明了照相机的配置的图。如图3所示，照相机1从铅垂方向拍摄计测对象物4，而照相机2从偏离铅垂方向40度的方向拍摄计测对象物4。[照明配置]图4是说明了照明装置3a 3c的配置的图。图4的(A)部分是从铅垂方向观察的图，是示出了照明装置3a 3c的方位角配置的图。图4的⑶部分是从横向观察的图， 是示出了照明装置3a 3c的天顶角配置的图。如图所示，三个照明装置3a 3c从方位角各相互间隔120度的不同方向，且从天顶角为40度的方向，将光照射到计测对象物。另外，在这里说明的照相机1、2以及照明装置3a 3c的配置只是一个具体例子， 没有必要必须这样配置。例如，可以将照明装置的方位角配置为不均等。此外，在上面将照相机的天顶角与照明装置的天顶角配置为相等，但配置为不相等也无妨。[表面形状(法线)计算]表面形状计算部7是根据从照相机1、2拍摄得到的各自的三个图像，来计算在计测对象物的各位置上的法线方向的功能部。在图5示出了表面形状计算部7的更详细的功能框图。如图所示，表面形状计算部7具有图像输入部71、法线-亮度表72及法线计算部 73。图像输入部71是用于接受所输入的照相机1、2拍摄得到的图像的功能部。图像输入部71在从照相机1、2接收到模拟数据的情况下，利用采集卡(capture board)等将其转换为数字数据。此外，图像输入部71也可以由USB端子及1EEE1394端子等接收数字数据的图像。除此，也可以采用通过LAN局域网或从便携式的存储介质读取图像的结构。法线-亮度表72是存储部，用于存储法线的方向和使三个照明装置3a 3c依次点亮而拍摄得到的图像亮度值之间的对应关系。此外，每个照相机都预备该法线-亮度表 72，在本实施方式中利用对应于照相机1、2的两台法线-亮度表。参照图6说明该法线-亮度表72的生成方法。首先，以已知表面形状的物体为对象，依次点亮照明装置3a 3c，拍摄得到三个图像IOa 10c。此时，因为球体具有全部方向的法线，而且可以容易地计算各位置的法线的方向，所以优选以球体作为对象。此外，为了生成法线-亮度表，所使用的对象的反射特性和用于实际的计算法线的计测对象的反射特性需要相同且恒定。然后，针对表生成用图像IOa IOc的各位置，取得法线的方向(天顶角θ和方位角(P)和其在各图像中的亮度值(La，Lb, Lc)，将它们建立对应关系而存储。将拍摄到的图像中的全部点的法线的方向和亮度值的组合建立对应关系，由此，能够生成用于针对全部法线的方向存储法线的方向和亮度值的组合的法线-亮度表72。如图7所示，法线计算部73根据依次点亮照明装置3a 3c拍摄得到的三个图像 Ila 11c，来计算计测对象物4的各位置的法线的方向。更具体地说，法线计算部73根据所输入的三个图像Ila Ilc来取得各位置的亮度值的组合，并参照与用于拍摄图像的照相机对应的法线-亮度表72来确定在其位置法线的方向。[坐标转换处理]坐标转换部8通过坐标转换处理将根据由照相机1、2拍摄得到的图像来计算出的法线的方向表示在统一的坐标系上。根据由照相机1、2拍摄得到的图像来取得的法线的方向被表示在各自的照相机的坐标系上，因此，如果按原样不动地进行比较则会导致产生误差。特别是，照相机的拍摄方向的差异的越大则该误差越大。在本实施方式中，将根据用照相机2从斜上方拍摄得到的图像来取得的的法线的方向，转换到照相机1的坐标系，由此统一坐标系。其中，既可以将根据照相机1的图像取得的法线的方向转换到照相机2的坐标系来统一坐标系，也可以将根据照相机1、2的图像来取得的法线的方向转换到另外的坐标系来统一坐标系。如图8所示，在将本实施方式中的样品照相机作为正投影的情况下，设用于将世界坐标系(X、Y、Z)转换为照相机1的坐标系(xa、ya、za)的旋转矩阵为R1，设用于将世界坐标系(X，Y，Z)转换为照相机2的坐标系Ub、yb、zb)的旋转矩阵为R2，设用于将照相机2的坐标系转换为照相机1的坐标系的旋转矩阵I^21为I^21 = R2"1 ·队。
另外，在预先进行的照相机校准(camera calibratio)中，可得出如下校准参数t [数学公式1]

Jl Χ2
^2 J
=cP
(X、 Y Z
υ
二 c/i
PallPallPaUPaUPalXPallPallPalAPbUPbUPbnPbllPbllPb23PblA
(X、 Y Z 此外，Xl、yi表示在照相机1的拍摄图像内的坐标，x2、y2表示在照相机2的拍摄图像内的坐标。总的来说，旋转矩阵R如下表示。[数学公式2]
权利要求
1.一种三维计测装置，用于对作为镜面物体的计测对象物的三维形状进行计测，其特征在于，具有多个照相机；特征取得单元，其根据所述多个照相机拍摄得到的各图像，取得所述计测对象物的表面的物理特征；对应像素搜索单元，其利用所述物理特征，在所述多个照相机拍摄得到的图像之间搜索相对应的像素；测量单元，其基于相对应的像素之间的视差来进行三维测量。
2.根据权利要求1记载的三维计测装置，其特征在于，所述特征取得单元所取得的所述计测对象物的表面的物理特征是表面的法线方向。
3.根据权利要求2记载的三维计测装置，其特征在于，还具有坐标转换单元，该坐标转换单元利用转换参数，将由多个照相机拍摄得到的图像的坐标系转换为共通坐标系；所述对应像素搜索单元利用由坐标转换单元转换到共通坐标系中的法线方向，来搜索在图像之间相对应的像素。
4.根据权利要求3记载的三维计测装置，其特征在于，在所述坐标转换单元中的转换参数是从预先进行照相机校准而得到的参数中提取出来的。
5.根据权利要求1至4中任一项记载的三维计测装置，其特征在于，所述对应像素搜索单元，对特定区域内的物理特征进行比较，从而搜索在图像之间相对应的像素，所述特定区域包括关注的像素，并且具有规定宽度。
6.一种三维计测方法，对作为镜面物体的计测对象物的三维形状进行计测，其特征在于，包括特征取得工序，根据由多个照相机拍摄得到的各图像，取得所述计测对象物的表面的物理特征；对应像素搜索工序，利用所述物理特征，在所述多个照相机拍摄得到的图像之间搜索相对应的像素；测量工序，基于相对应的像素之间的视差来进行三维测量。
7.根据权利要求6记载的三维计测方法，其特征在于，在所述特征取得工序中取得的所述计测对象物的表面的物理特征是表面的法线方向。
8.根据权利要求7记载的三维计测方法，其特征在于，还包括坐标转换工序，在该坐标转换工序中，利用转换参数，将由多个照相机拍摄得到的图像的坐标系转换为共通坐标系；在所述对应像素搜索工序中，利用在坐标转换工序中转换到共通坐标系中的法线方向，来搜索在图像之间相对应的像素。
9.根据权利要求8记载的三维计测方法，其特征在于，在所述坐标转换工序中所利用的转换参数是从预先进行照相机校准而得到的参数中提取出来的。
10.根据权利要求6至9中任一项记载的三维计测方法，其特征在于，在所述对应像素搜索工序中，对特定区域内的物理特征进行比较，从而搜索在图像之间相对应的像素，所述特定区域包括关注的像素，并且具有规定宽度。
全文摘要
提供三维计测装置，具有多个照相机；特征取得单元，其根据拍摄得到的每个图像来取得计测对象物的表面的物理特征即法线的方向；对应像素搜索单元，其利用该物理特征，在图像之间搜索相对应的像素；测量单元，其基于相对应的像素之间的视差来进行三维测量。此外，优选具有坐标转换单元，其将各图像中的法线方向转换到共通坐标系中。该坐标转换的参数能够根据照相机校准时得到的参数来计算。若采用这样的三维计测装置，则能够以高精度且不受基于照相机的位置及特性的差异的影响地测定镜面物体的三维形状。
文档编号G01B11/245GK102159917SQ20098013690
公开日2011年8月17日 申请日期2009年9月17日 优先权日2008年9月18日
发明者大西康裕, 庄沱, 诹访正树 申请人:欧姆龙株式会社