专利名称：信息处理设备、三维测量设备和信息处理方法
技术领域：
本发明涉及ー种用于对测量对象物体进行三维测量的信息处理设备和信息处理方法。
背景技术：
对于三维空间中的要測量物体的形状、位置姿势的测量，提出了一种用于測量要测量的物体的表面相对于摄像设备的深度信息的測量设备。尤其在非接触式測量设备中，广泛使用通过分析入射至测量对象的光的反射光来測量至测量对象的深度信息的方法。测量方法包括例如光切割方法和空间编码方法，其中，摄像设备(照相机)对被投射了已知结构光的测量对象的图像进行拍摄，并且根据光源位置、照相机位置和拍摄图像上的图案位置，使用三角法计算深度信息。此外，用于计算测量对象的位置姿势的方法通常使用用于使测量对象的形状模型拟合深度信息或ニ维图像的方法。 文献I (P. J. Besl and N. D. Mckay, “A Method for Registration of 3-DShapes，，，IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 14,No. 2，pp. 239-256，1992)讨论了利用模型拟合的位置姿势测量方法。在文献I所述的方法中，通过对从深度信息所获取的測量点和形状模型表面的对应关系进行最近邻搜索、并且对相应距离进行最小化来估计物体的位置姿势。然而，当用户根据上述传统方法获取测量对象的深度信息(三维位置)时，深度信息的获取精度可能根据各种条件而下降。例如，假定接收单元接收到投射至测量对象的结构光的反射光，并且使用三角法測量深度信息。在这种情况下，如果对象物体是由包含塑料或蜡的材料所制成的半透明物体，则光在对象物体中散射(即表面下散射)。由于表面下散射，在偏离投射位置的位置处測量到投射光。結果，測量出与真实的距离值不同的距离值。在另ー情况下，如果测量对象物体是诸如云母、金属或有光泽的纤维等的导致各向异性反射的材料，则深度信息获取的精度可能由于各向异性反射而下降。此外，根据照相机(摄像设备)的校准精度，深度信息获取精度可能下降。为了处通表面下散射，文献 2 (M. Gupta, Y. Tian, S. G. Narasimhan, andL. Zhang, “(De)Focusing on Global Light Transport for Active Scene Recovery，.，IEEEComputer Vision and Pattern Recognition (CVPR) 2009)讨论了一种方法。在该方法中，使用高频图案因表面下散射而衰减这ー现象，将相位偏移方法中的投射图案转换成高频图案。通过文献2所述的方法，可以在减少由诸如表面下散射等的间接反射成分而导致的影响的情况下测量距离值。然而，由于除距离测量所需的最低限度的图案的投射以外，还需要利用相位偏移的高频图案的多次投射，所以这ー方法需要耗费测量的时间。此外，在文献2所述的方法中，在要测量的物体可能具有表面下散射特性的情况下，由于使用表面上的散射成分来測量物体，因而没有使用表面下散射的信息。

发明内容
本发明g在防止用于使用来自测量对象物体的反射光来进行三维测量的方法中由于测量误差而导致的测量对象物体的三维位置获取精度的下降。根据本发明的ー个方面，ー种信息处理设备，包括获取单元，用于使用来自被投射了结构光的测量对象物体的反射光的信息、所述结构光的光源的位置、以及用于接收所述反射光并且获取所述反射光的信息的光接收单元的位置，获取所述测量对象物体的表面的多个位置；计算单元，用于基于所述多个位置，获取所述测量对象物体的表面的位置和方向中的至少ー个；以及校正単元，用于基于与在获取所述多个位置时的测量误差有关的信息、以及所述测量对象物体的表面的位置和方向中的至少ー个，校正所述多个位置中的至少ー个。根据本发明的另一方面，一种三维測量设备，包括光源；光接收单元；以及上述信息处理设备。
根据本发明的另一方面，一种三维測量设备，其包括投射単元，用于将结构光投射至测量对象物体；摄像单元，用于拍摄来自所述测量对象物体的、所述结构光的反射光的图像；获取单元，用于使用所述投射単元的位置姿势、所述摄像単元的位置姿势、以及所述摄像单元所获取的拍摄图像，获取所述测量对象物体的表面的多个位置；计算单元，用于根据所述多个位置，计算所述多个位置附近的、所述测量对象物体的表面的斜率；以及校正单元，用于根据所述测量对象物体的表面的光学特性和所述测量对象物体的表面的斜率，校正所述多个位置中的至少ー个。根据本发明的又一方面，ー种信息处理方法，包括以下步骤使获取单元使用来自被投射了结构光的测量对象物体的反射光的信息、所述结构光的光源的位置、以及用于接收所述反射光并且获取所述反射光的信息的光接收单元的位置，获取所述测量对象物体的表面的多个位置；使计算单元基于所述多个位置，获取所述测量对象物体的表面的位置和方向中的至少ー个；以及使校正単元基干与在获取所述多个位置时的测量误差有关的信息、以及所述测量对象物体的表面的位置和方向中的至少ー个，校正所述多个位置中的至少ー个。通过以下參考附图对典型实施例的详细说明，本发明的其它特征和方面将显而易见。


包含在说明书中并构成说明书的一部分的附图，示出本发明的典型实施例、特征和方面，并与说明书一起用来解释本发明的原理。图IA和IB是示出半透明物体的深度信息获取的概念图。图2示出根据本发明第一典型实施例的信息处理设备的结构。图3是示出根据第一典型实施例的深度信息校正处理的过程的流程图。图4是示出单ー散射模型的概念图。图5示出根据第二典型实施例的信息处理设备的结构。图6是示出根据第二典型实施例的深度信息校正处理的过程的流程图。
图7示出根据第三典型实施例的信息处理设备的结构，其中，该信息处理设备用于通过机器手臂来操作对象物体。
具体实施例方式下面将參考附图详细说明本发明的各种典型实施例、特征和方面。在第一典型实施例中，从光源将结构光投射至测量对象物体，并且通过光接收单元接收来自测量对象物体的反射光。可以使用三角法从通过光接收单元所接收到的反射光的信息中获取从光接收单元到测量对象物体的深度信息。基于测量对象物体的表面的位置和方向，校正所获取的深度信息。在上述使用三角法的深度信息计算方法中，如图IA所示的概念图所述，假定測量对象物体的表面所反射的光基本上被光接收单元所接收。然而，在测量对象物体是如图IB所示的半透明物体的情况下，从光源投射的光穿过该物体并且在该物体中散射。结果，光从物体射出，并且观测到物体表面上反射的光。将 这ー现象称为表面下散射。在表面下散射中，根据物体的材料，光在光行进的方向上散射或者在相反的方向上散射。因此，通过光接收单元所接收到的光的亮度分布不同于仅在物体表面上反射光时的亮度分布，并且亮度分布的峰值点可能偏离，或者分布可能不是各向同性。在这种情况下，观测位置可能偏离光投射位置，并且将不同于物体表面的位置测量为深度信息。作为深度信息获取精度下降的原因之一，以上说明了测量对象物体的表面下散射的发生。然而，深度信息获取精度下降的其它原因包括测量对象物体发生各向异性反射。另夕卜，照相机(摄像単元)的校准精度可能导致深度信息获取精度的下降。为了处理深度信息获取的误差，本发明的典型实施例关注下面的情況深度信息获取的误差依赖于光源和光接收单元的位置姿势、以及测量对象物体的表面的位置和方向。换句话说，根据与测量误差有关的信息(诸如表面下散射和各向异性反射等的光学特性以及校准精度)和测量对象物体的表面的斜率之间的关系，获取测量点的位置的校正量。更具体地，预先将与光源和光接收单元的位置姿势、以及对象物体的任意点的位置和方向相对应的校正量存储在数据库(查找表)中。通过使用根据所测量到的深度信息而计算出的測量点的位置姿势作为关键字，使用从数据库提取出的校正量来校正深度信知、O图2示出根据本典型实施例的信息处理设备I的结构。如图2所示，信息处理设备I包括距离测量単元110、表面信息获取单元120和深度信息校正単元130。下面将说明信息处理设备I的组件。距离测量単元110用作第一获取单元。距离测量単元110根据光接收单元对从测量对象物体所反射的光的接收结果，使用三角法获取测量对象物体的深度信息。通过向测量对象物体投射结构光，获取反射光。向测量对象物体投射结构光，以计算在光切割方法和空间编码方法等中要使用的测量对象物体的形状、位置姿势。在本典型实施例中，使用狭缝光束作为结构光，并且使用照相机作为光接收单元。多次拍摄不同的狭缝光束和与光束相对应的图像，并且使用光切割方法形成距离图像。距离测量方法不局限于上述方法。可以使用诸如空间编码方法、点光投射方法或图案投射方法等的基于三角法的任何方法。因此，可以使用诸如图案光或点光等的任何类型的结构光，只要可以指定光源的位置即可。在空间编码方法中，例如，投射负/正反转的图案光，根据通过投射负像图案所获取的图像和通过投射正像图案所获取的图像之间的差，检测这些图像的大的亮度值和小的亮度值反转的交点，并且使用三角法计算深度信息。即使在该计算中，如果对象物体是半透明的，则由于所接收到的亮度分布不是各向同性的，所以交点的位置偏离，結果，所计算出的深度信息包括误差。在点光投射方法中，类似于光切割方法，物体表面的投射位置偏离观测位置。接收单元不局限于照相机。可以使用诸如具有用于检测入射光的方向的狭缝的光电ニ极管等的能够检测投射光和光的方向的任何机构。如果测量对象物体是半透明物体(表面下散射较大的物体)，则与仅在物体的表面反射光的上述情况不同，亮度分布的峰值点偏离，或者亮度分布不是各向同性的。 在光切割方法中，从利用照相机所拍摄的图像中检测投射狭缝光的位置，并且使用三角法计算深度信息。狭缝光具有预定宽度，并且对拍摄的图像进行ニ值化，并且使用狭缝光区域的中心作为狭缝光的观测位置。在半透明物体的情况下，接收到的光的亮度分布不是各向同性的。结果，观测到的狭缝光的中心位置偏离，并且计算出的深度信息包括误差。另外，在将狭缝光的观测位置没有设置在中心位置处而是设置在拍摄的图像的狭缝光的峰值位置处，在偏离物体表面的位置处观测到峰值位置。因此，所计算出的深度信息包括误差。通过下面所述的深度信息校正単元130校正该误差。表面信息获取单元120用作第二获取单元。表面信息获取单元120计算通过距离测量单元110所获取的对象物体的深度信息，即测量点的位置和方向。距离测量提供測量点的三维位置。測量点的斜率相当于测量点的法线方向。可以通过针对对象測量点和邻近测量点进行主成分分析、并且将第三主成分定义为法线方向，计算测量点的法线方向。可选地，可以通过对对象測量点和邻近测量点的位置进行表面拟合，计算法线方向。用于表示该方向的方法不局限于法线矢量，只要能表示測量点的方向即可，并且可选地，可以使用与法线垂直的两个矢量。深度信息校正単元130基于由距离测量単元110所获取的对象物体的測量点组、由表面信息获取单元120所获取的各个测量点的方向、以及距离测量単元110中的光源和光接收单元的位置姿势，来校正深度信息，即测量点的三维位置。实际上，通过校准而已定义了光源和照相机的相对位置姿势。因此，从预先设置的校正量数据库提取与測量点的位置和方向相对应的校正量，并且将该校正量相加至測量点的三维位置来校正深度信息，并且输出校正后的数据。将參考下面所述的流程图说明用于创建校正量数据库的方法。在从数据库提取校正量吋，如果点的位置姿势接近，则校正值也接近。因此，如果在校正量数据库中不存在关键点的位置和方向，则可以通过根据具有接近的位置姿势的点的校正量进行插值来计算校正量。可选地，可以将点的位置姿势及校正量作为參数代入多项式函数或者三角函数，以使用点的位置姿势作为自变量来生成用于返回校正量的校正函数，并且可以使用该值。在校正量数据库中或者使用校正函数时要输入的值是通过表面信息获取单元120所获取的任意点的位置和方向。因此，在创建校正量数据库或者校正函数所使用的关键字或自变量可以是考虑表面下散射的影响而根据测量点所计算出的点的位置和方向，而不是对象物体的任意点的原始位置和方向。下面将參考图3的流程图说明根据本典型实施例的深度信息校正方法。图3左边的流程图示出离线处理中用于创建校正量数据库的处理。图3右边的流程图示出运行时间处理中用于校正深度信息的处理。将參考图3左边的流程图，说明用于创建上述校正量数据库的处理。在步骤S0010，进行测量对象物体的距离测量。首先，将测量对象物体或者与測量对象物体材料相同的构件固定至斜率可以控制的台上。然后，距离测量単元110通过不同地改变位置姿势来测量对象物体的深度信息(三维位置)。 接着，对测量对象物体进行涂覆以使得在测量对象物体的表面上对光进行散射和反射。然后，距离测量単元110通过在相同条件下不同地改变位置姿势来测量对象物体的深度信息(三维位置)。将测量出的深度信息传送给步骤S0020的处理。在步骤S0020，创建校正量数据库。首先，针对测量对象物体的表面上的任意点，使用在步骤S0010所測量出的深度信息，获取涂覆前后该点的位置之间的差，并且将该差作为校正量登记在数据库中。此外，将测量对象物体的位置姿势登记在校正量数据库中作为数据库的关键字。在步骤S0010的上述处理中，将测量对象物体或者与测量对象物体材料相同的构件固定在台上。然而，如果可以对测量对象物体的位置姿势或者相同材料的构件的位置姿势进行測量，并且可以改变该位置姿势，则并非必需使用台。例如，如果将测量对象物体固定在打印了已知图案的标记上，则可以根据标记的拍摄图像来测量对象物体的位置姿势。在这种情况下，可以手动改变标记和测量对象物体的位置姿势，并且可以测量深度信息。对于通过涂覆测量对象物体而进行的測量，如果可以在不受表面下散射的影响的情况下对测量对象物体或者相同材料的构件的深度信息进行測量，则可以省略涂覆。例如，可以使用接触式传感器，或者可以使用相同形状和不同材料的物体来代替涂覆后的物体。此外，如果测量对象物体是具有各向异性反射特性的物体，并且要校正各向异性反射，则可以使用与测量对象物体相同形状、但不具有各向异性反射特性的物体。将參考图3右边的流程图，说明用于校正测量对象物体的深度信息的运行时间处理。通过图I中的各个单元执行运行时间处理。可选地，可以通过包括了存储用于实现该处理的计算机程序的记录介质的计算机来执行运行时间处理。在步骤S1010，距离测量単元110对测量对象物体的深度信息(三维位置)进行测量。将测量出的深度信息传送给步骤S1020的处理。在步骤S1020，表面信息获取单元120使用在步骤S1010所获取的测量对象物体的深度信息，计算测量对象物体的表面上的測量点的位置和方向。将所计算出的測量点的位置和方向传送给步骤S1030的处理。在步骤S1030，深度信息校正单元130使用在步骤S1020所获取的测量点的位置和方向以及校正量数据库，校正深度信息，并且输出该数据。通过上述处理，可以适当校正深度信息获取的误差，并且可以获取精确的深度信息。尤其在测量对象物体的表面下散射较大的情况下，可以显著提高深度信息获取的精度。在第一典型实施例的第一变形例中，通过重复表面信息获取单元120和深度信息校正単元130中的处理，直到測量点的方向收敛为止，来校正深度信息。在第一典型实施例中，进行一次深度信息校正。然而，通过表面信息获取单元120所获取的任意測量点的位置和方向是根据包括由表面下散射所引起的误差的、測量点的位置所计算出的值。因此，根据这类值所获取的位置和方向可能包括误差。为了解决这ー问题，在本变形例中，对于在步骤S1030通过深度信息校正单元130校正后的測量点的位置，通过再次返回到步骤S1020的处理而由表面信息获取单元120来计算测量点的方向。 基于新计算出的测量点的位置和方向，在步骤S1030，深度信息校正单元130校正測量点的深度信息，即测量点的三维位置。在本变形例中，在步骤S1020，重复该处理，直到通过表面信息获取单元120所计算出的測量点的位置和方向的变化具有小于或等于预定阈值的值为止，并且校正深度信息。可选地，可以对通过各重复处理所获取的深度信息进行平均来减小误差。通过根据本变形例的上述处理，可以以更高精度校正深度信息获取的误差，并且可以获取精确的深度信息。在第一典型实施例的第二变形例中，将表面观测位置偏离量存储在第一典型实施例的深度信息校正单元130所使用的校正量数据库中。在第一典型实施例中，对于测量对象物体表面上的任意点，将半透明测量对象物体情况下和不透明测量对象物体的情况下的測量点的位置的差登记在校正量数据库中，并且使用这些值。然而，可以在无需将校正量本身登记在校正量数据库中的情况下来实现该处理。例如，可以将测量对象物体表面上入射的结构光的位置和測量到结构光的位置之间的差，即表面观测位置偏离量登记在数据库中，并且可以使用该值。可以通过计算半透明物体上的结构光的观测位置和通过涂覆而使得不透明的物体上的结构光的观测位置之间的差，获取测量对象物体的任意点处的表面观测位置偏离量。为了使用表面观测位置偏离量，深度信息校正単元130基于测量点的位置和斜率，从数据库获取表面观测位置偏离量。该处理用作表面观测位置偏离量获取単元。将表面观测位置偏离量相加至光接收单元观测到结构光的反射的位置，并且基于类似于距离测量単元110所使用的三角法再次计算深度信息来校正深度信息。类似于第一典型实施例，可以根据具有接近的位置姿势的点的表面观测位置偏离量来对表面观测位置偏离量进行插值。可选地，可以将点的位置姿势及表面观测位置偏离量作为參数代入多项式函数或三角函数，以通过使用点的位置姿势作为自变量来生成用于返回校正量的函数，并且可以使用该值。通过使用本变形例，可以处理需要三维测量的各种情況。在第一典型实施例的第三变形例中，不是通过预先进行的測量，而是通过模拟光学现象来创建第一典型实施例中深度信息校正単元130所使用的校正量数据库。
在图3左边的流程图的步骤S0010，通过模拟在距离测量单元110所进行的深度信息计算中的处理，创建深度信息校正単元130所使用的校正量数据库。在该模拟中，距离测量单元110中的光源和接收单元的位置是已知的。假定距离测量单元110所进行的光切割方法中投射的狭缝光的图案是已知的。此外，还假定诸如测量对象物体的形状、反射率、折射率、散射系数和吸收系数等的物体特性是已知的。基于这些信息，可以通过蒙特卡罗模拟来计算光。蒙特卡罗模拟是使用随机数的模拟方法。该光是来自光源的投射图案光，其中，将该光入射至测量对象物体，在物体中反复折射和反射，从物体表面射出，并且入射至用作光接收单元的照相机。通过该处理，对于对象物体的各种位置姿势，可以创建当通过作为光接收单元的照相机对被投射了结构光的对象物体进行拍摄时的图像。使用所创建的图像，可以使用基于类似于距离测量单元110所使用的三角法的深度信息计算方法，计算深度信息。因此，对于对象物体表面上的任意点，可以使用半透明物体的对象物体的模拟的情况下的和不透明物体的对象物体的模拟的情况下的測量点的位置之间的差来作为校正量，并且将点的位置 姿势作为关键字登记在校正量数据库中。计算机模拟方法不局限于蒙特卡罗模拟，并且可以使用可以再现诸如表面下散射和各向异性反射等的光学现象的任何方法。例如，可以使用下面所述的第四变形例中所使用的用于对单一散射或多重散射进行建模的近似模型。作为模拟中的对象的光学现象不仅局限于光切割方法。例如，可以模拟距离测量単元110中所使用的空间编码方法和狭缝光投射方法等。通过使用本变形例，可以大大减少预先进行的測量所需的精力和时间。在第二变形例中，说明了用于预先根据实际測量数据来测量表面观测位置偏离量的情况。在第一典型实施例的第四变形例中，将说明下面的情況在运行时间处理中通过光学模拟来计算表面观测位置偏离量，并且在无需预先提供数据库的情况下，也就是说，在无需进行步骤S0010和步骤S0020的离线处理的情况下，使用这些值。除镜面反射成分以夕卜，通过多重散射和単一散射两者可以对半透明物体的外观进行近似建模(參考 Henrik ff. Jensen, Stephen R. Marschner, MarcLevoy,and Pat Hanranan, " A Practical Mode I for Suosurface LightTransport，，, SIGGRAPH' 01:Procee dings of the 28th annual conference on Computergraphics and interactive techniques, pp. 511-518，2001)。多重散射是入射光在物体内重复反射多次、并且从物体表面射出的现象。単一散射是入射光在物体内反射一次并从物体表面射出的现象。在多重散射中，入射光以入射位置为中心各向同性地散射，因此，投射至物体的光的反射光的強度分布变得柔和。结果，观测位置与光入射位置偏离很小，并且该偏离对距离测量几乎没有影响。然而，在単一散射中，根据光的入射方向和观测方向、以及物体的折射率，在与物体表面的光的入射位置偏离的位置处观测通过光接收单元所获得的结构光的位置。为了解决这ー问题，基于单ー散射的模型，计算表面观测位置偏离量。由于光源和用作光接收单元的照相机的位置姿势是已知的，所以来自光源的光的入射方向L和光接收单元的观测方向V是已知的。假定对象物体的特性中的折射率η是已知的。此外，通过表面信息获取单元120，用于校正深度信息的点的位置和方向是已知的。如果假定该点是局部的平面，则可以如下计算在単一散射中从光源到光接收单元的光路。图4是示出単一散射模式的概念图。为了简化，假定空间是ニ维空间，然而，在三维空间下，也可以类似地进行该计算。在该附图中，将对象物体针对空气的相对折射率设置为Π，并且根据通过表面信息获取单元120所获取的对象点的位置和方向、光源方向L以及观测方向V，获取入射角0i和出射角θ0。此外，将光在不与对象物体的构成材料碰撞的情况下以直线行进的平均距离(平均自由行程)设置为“d”。然后，可以通过下面的公式I计算光对于对象物体的入射点Xi和出射点Xo之间的距离S，即表面观测位置偏离量。公式Is = d{sin(arcsin(sin( Θ i ) / n))+cos(arcsin(sin( Θ i ) / η))tan (arcsin (,sin ( θ ο) / η)}
因此，深度信息校正单元130中的表面观测位置偏离量获取单元在步骤S1030使用公式1，获取表面观测位置偏离量。将所获取的值相加至光接收单元观测到结构光的反射的位置。然后，基于类似于距离测量单元110中所使用的三角法，再次计算深度信息，并且对深度信息进行校正和输出。模拟方法不局限于上述方法，并且可以使用可以再现半透明物体的光学现象的任何方法。例如，可以使用第三变形例所使用的蒙特卡罗模拟的方法。在本变形例中，在減少了预先创建校正量数据库所耗费的精力的同时，还可以适当校正深度信息获取的误差，并且可以获取精确的深度信息。在第二典型实施例中，与第一典型实施例不同，表面信息获取单元不直接根据对象物体的深度信息来计算测量点的位置和方向，而是通过将测量对象物体的形状模型与测量点组进行拟合来进行计算。图5示出根据本典型实施例的信息处理设备2的结构。如图5所示，信息处理设备2包括距离测量単元210、位置姿势计算単元220、表面信息获取单元230以及深度信息校正単元240。下面将说明信息处理设备2中的组件。距离测量単元210和深度信息校正单元240与第一典型实施例中的相同。位置姿势计算単元220通过将对象物体的形状模型与由距离测量単元210所获取的深度信息，即测量出的三维点组进行拟合，来估计对象物体的位置姿势。在模型拟合中，对测量点和形状模型的表面之间的对应关系进行最近邻搜索，并且最小化对应关系中的距离(參考上述文献I)。位置姿势计算方法不局限于上述方法，并且可以使用能够计算对象物体的位置姿势的任何方法。例如，如在 Spin Images [A. E. Johnson and M. Hebert, " Using Spin Imagesfor Efficient Object Recognition in Cluttered 3D Scenes，，，IEEE Transactions onPattern Analysis and Machine Intelligence, Vol. 21, No. 5, pp. 433-449, 1999]中那样，可以通过根据距离图像而计算特征量、将该特征量与根据形状模型所计算出的特征量进行匹配、并且使相关联的特征量之间的距离进行最小化，来计算对象物体的位置姿势。表面信息获取单元230使用通过位置姿势计算単元220所获取的对象物体的位置姿势，获取对象物体表面上任意点的位置和方向。首先，表面信息获取单元230通过最近邻搜索或者投射方法，搜索与深度信息中要校正的測量点相对应的形状模型表面上的点。然后，表面信息获取单元230输出所发现的形状模型表面上的相应点的位置和法线，作为对象点的位置和方向。在深度信息校正単元240中使用该数据。类似于第一典型实施例，深度信息校正単元240使用通过表面信息获取单元230所获取的对象点的位置和方向，来校正距离测量単元210所測量出的深度信息，并且输出校正后的信息。下面将參考图6的流程图说明根据本典型实施例的深度信息校正方法。步骤S2010和S2020中用于在离线处理中预先创建校正量数据库的处理与第一典型实施例中的步骤S0010和S0020的处理相同。将说明用于校正测量对象物体的深度信息的运行时间处理。在步骤S3010，距离测量単元210測量所获取的对象物体的深度信息，并且将该数据传送至步骤S3020和S3030的处理。在步骤S3020，位置姿势计算单元220通过将对象物体的形状模型与在步骤S3010 所获取的对象物体的深度信息，即测量出的三维点组进行拟合，估计对象物体的位置姿势。位置姿势计算単元220将计算出的对象物体的位置姿势传送给步骤S3030的处理。在步骤S3030，表面信息获取单元230使用在步骤S3020所获取的对象物体的位置姿势，计算与在步骤S3010所获取的測量点相对应的形状模型表面上的点的位置和方向，并且将该数据传送至步骤S3040的处理。在步骤S3040，深度信息校正单元240使用在步骤S3030所获取的测量点的位置和方向以及校正量数据库来校正深度信息，并且输出该数据。类似于第一典型实施例的第一变形例，可以重复进行步骤S3020、S3030和S3040的处理来校正深度信息。在这种情况下，针对在步骤S3040通过深度信息校正单元240校正后的測量点的位置，在步骤S3020，位置姿势计算単元220再次计算对象物体的位置姿势，并且在步骤S3030，表面信息获取单元230计算测量点的位置和方向。然后，基于新计算出的測量点的位置和方向，在步骤S3040，深度信息校正単元240校正測量点的深度信息，即測量点的三维位置。重复该处理以校正深度信息，直到在步骤S3020由位置姿势计算単元220所计算出的对象物体的位置姿势的变化变成小于或等于预定阈值的值为止。在上述处理中，在步骤S3020，位置姿势计算単元220计算测量对象物体的位置姿势，并且对深度信息进行校正和输出。然而，该输出信息不局限于深度信息。可选地，可以输出通过位置姿势计算単元220所计算出的测量对象物体的位置姿势。第二典型实施例所述的信息处理设备2的应用例子包括机器手臂的手部的应用。可以将信息处理设备2安装到机器手臂的手部来測量作为测量对象物体的、通过手部所保持的物体的位置姿势。将參考图7说明根据第三典型实施例的信息处理设备2的应用例子。通过机器人控制器40的控制来驱动机器手臂30。利用夹具将本发明第一典型实施例所使用的光源10和光接收单元20固定至机器手臂30，并且通过信息处理设备2来控制光源10和光接收单元20。机器手臂30的操作是使用臂把持部来拾取对象物体50。信息处理设备2投射用于测量的结构光，并且拍摄图像，使用校正量数据库校正深度信息，并且顺次估计臂把持部和对象物体50的相对位置姿势。通过线缆连接机器手臂30以传送估计结果作为机器人控制器40的控制參数。通过使用所估计出的对象物体50的位置姿势，机器手臂30把持对象物体50。如果信息处理设备2中的位置姿势计算単元220针对模型拟合而使用粗略位置和粗略姿势，则可以将相加了夹具的偏移的值传送给被机器人控制器40控制的エ业机器手臂30的安装位置。对于模型拟合所使用的形状模型，将对象物体50的计算机辅助设计(CAD)模型转换成通过信息处理设备2可以读取的格式，并且将其输入至形状模型。当改变对象物体时，每一次都输入相应的形状模型，从而使得可以处理多种类型的对象物体。在这种情况下，可以选择预先存储在设备中的形状模型，或者可以使用不同部件识别装置的部件类型的识别结果来切換所存储的形状模型。通过进行根据本典型实施例的处理，机器手臂可以精确把持诸如半透明物体和各向异性反射物体等的难以测量的物体。结果，可以实现利用机器手臂30的精确装配。根据第一典型实施例，通过光接收单元接收从光源投射至诸如半透明物体、各向异性反射物体和镜面反射物体等的测量对象物体的结构光的反射光。根据反射光的信息，使用三角法获取从光接收单元到测量对象物体的深度信息。然后，基于测量对象物体表面的位置和方向，校正所获取的深度信息。根据本典型实施例，可以适当校正深度信息获取的误差，并且可以获取精确的深度信息。尤其在测量对象物体的表面下散射、各向异性反射或 镜面反射等较大的情况下，可以大大提高深度信息获取的精度。在第一典型实施例的第一变形例中，预先创建与多种物体、材料和材料的厚度等相对应的校正量数据库。在运行时间处理中，根据对象物体、对象物体的材料或者对象物体的材料的厚度来选择校正量数据库。根据本变形例，可以共享校正量数据库。结果，在仅进行用于校正对象物体的深度信息的运行时间处理时，可以减少创建校正量数据库的精力和时间。在第一典型实施例的第二变形例中，重复进行深度信息校正处理。根据本变形例，可以以高的精度校正深度信息获取的误差，并且可以获取精确的深度信息。在第一典型实施例的第三变形例中，对于校正量数据库，对结构光入射至测量对象物体表面上的位置和观测到结构光的位置之间的差进行登记和使用。在本变形例中，更直接地对光学现象进行建摸，因此，可以容易地进行数据库的光学分析。此外，可以更容易地进行数据库的函数近似，可以进行低阶函数表示或者更精确的函数近似。在第一典型实施例的第四变形例中，通过模拟导致测量误差的光学现象来创建校正量数据库。根据本变形例，可以大大减少预先进行测量所需的精力和时间。在第一典型实施例的第五变形例中，不预先准备数据库，在运行时间处理中通过光学模拟来计算表面观测位置偏离量，并且使用所计算出的量。根据本变形例，在減少用于预先创建校正量数据库的精力和时间的同时，可以适当校正深度信息获取的误差，并且可以获取精确的深度信息。在第二典型实施例中，通过将测量对象物体的形状模型与測量点组进行拟合，计算要根据对象物体的深度信息而计算的多个位置和方向。根据本典型实施例，可以计算精确的测量点位置和方向。因此，可以以高精度校正深度信息获取的误差，并且可以获取精确的深度信息。在第三典型实施例中，说明了应用于用于把持对象物体的机器手臂的本发明的应用例子。根据本典型实施例，机器手臂可以精确地把持诸如半透明物体和各向异性反射物体等的难以测量的物体。结果，可以实现利用机器手臂的精确装配。通过用于利用光接收单元接收从光源所投射的结构光、并且使用三角法測量距离的任何方法，可以实现根据本发明的这些典型实施例的距离测量単元。该方法包括第一典型实施例所述的光切割方法、用于投射多个格雷码图案的空间编码方法或点光投射方法、用于投射网格图案的网格图案投射方法、以及添加基准线图案的多狭缝光投射方法。通过能够计算距离测量単元所測量出的对象物体的深度信息，即测量点的位置和方向的任何方法，可以实现根据本发明的这些典型实施例的表面信息获取单元。如第一典型实施例所述，可以直接使用測量点的位置的测量值，或者可以通过对近邻測量点的位置进行主成分分析、并且将第三主成分定义为法线来计算测量点的方向。可选地，可以通过针对对象測量点和近邻测量点的位置进行表面拟合来计算测量点的方向。可选地，可以通过对测量点组进行模型拟合来计算测量点的位置和方向。通过能够基于光源和光接收单元的位置，以及深度信息、即测量点的位置和方向，来校正測量点的三维位置的任何方法，可以实现根据本发明的这些典型实施例的深度信息校正単元。可以使用预先创建的用于存储与測量点的位置和方向相对应的校正量的校正量数据库，或者通过使用对象物体的光学特性信息而对由表面下散射、各向异性反射或镜面反射等所引起的測量误差进行光学模拟，来实现该校正。可选地，在不使用校正量的情况下，可以将结构光入射至测量对象物体表面上的位置和观测到结构光的位置之间的差存储 在数据库中，并且可以使用这些值。可以通过预先进行測量，或者通过使用对象物体的光学特性信息对测量误差进行光学模拟，来创建校正量数据库。可选地，预先创建与多种物体、材料和材料厚度等相对应的校正量数据库，并且根据对象物体、对象物体的材料、或者对象物体的材料厚度等，可以选择和校正校正量数据库。还可以利用读出并执行记录在存储器装置上的程序以进行上述实施例的功能的系统或设备的计算机(或者中央处理单元(CPU)和/或微处理器(MPU)等装置)和通过下面的方法实现本发明的方面，其中，利用系统或设备的计算机通过例如读出并执行记录在存储器装置上的程序以进行上述实施例的功能来进行上述方法的步骤。为此，例如，通过网络或者通过用作存储器装置的各种类型的记录介质(例如，计算机可读介质)将该程序提供给计算机。尽管參考典型实施例说明了本发明，但是应该理解，本发明不局限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有修改、等同结构和功能。
权利要求
1.一种信息处理设备,包括 获取单元，用于使用来自被投射了结构光的测量对象物体的反射光的信息、所述结构光的光源的位置、以及用于接收所述反射光并且获取所述反射光的信息的光接收单元的位置，获取所述测量对象物体的表面的多个位置； 计算单元，用于基于所述多个位置，获取所述测量对象物体的表面的位置和方向中的至少一个；以及 校正单元，用于基于与在获取所述多个位置时的测量误差有关的信息、以及所述测量对象物体的表面的位置和方向中的至少一个,校正所述多个位置中的至少一个。
2.根据权利要求I所述的信息处理设备，其特征在于，与在获取所述多个位置时的测量误差有关的信息包括与所述测量对象物体的表面下散射有关的信息、与所述测量对象物体的各向异性反射有关的信息、以及与所述测量对象物体的镜面反射有关的信息中的至少一个。
3.根据权利要求I所述的信息处理设备，其特征在于，所述结构光是图案光和狭缝光中的至少一个。
4.根据权利要求I所述的信息处理设备，其特征在于，所述校正单元基于所述光源的位置、所述光接收单元的位置、与在获取所述多个位置时的测量误差有关的信息、以及所述测量对象物体的表面的位置和方向中的至少一个,校正所述多个位置中的至少一个。
5.根据权利要求I所述的信息处理设备，其特征在于，还包括 存储单元，用于存储与在获取所述多个位置时的测量误差有关的信息与所述测量对象物体的表面的位置和方向中的至少一个的对应信息， 其中，所述校正单元基于所述对应信息以及所述测量对象物体的表面的位置和方向中的至少一个，校正所述多个位置中的至少一个。
6.根据权利要求I所述的信息处理设备，其特征在于，所述计算单元通过将所述测量对象物体的模型与所述多个位置进行拟合，获取所述测量对象物体的表面的位置和方向中的至少一个。
7.根据权利要求I所述的信息处理设备，其特征在于，所述校正单元通过计算机模拟，获取与在获取所述多个位置时的测量误差有关的信息。
8.根据权利要求I所述的信息处理设备，其特征在于，还包括测量单元，所述测量单元用于通过将所述测量对象物体的模型与所述校正单元所校正后的所述多个位置中的至少一个进行拟合，获取所述测量对象物体的位置和姿势中的至少一个。
9.根据权利要求I所述的信息处理设备，其特征在于，所述校正单元基于所述结构光在所述测量对象物体上的入射位置和所述反射光的观测位置之间的偏离量、以及所述测量对象物体的表面的位置和方向中的至少一个,校正所述多个位置中的至少一个。
10.一种三维测量设备，包括 光源； 光接收单元；以及 根据权利要求I所述的信息处理设备。
11.根据权利要求10所述的三维测量设备，其特征在于，还包括位置姿势操作单元，所述位置姿势操作单元用于基于所述校正单元所校正后的所述测量对象物体的表面的多个位置，控制具有可动轴的机器人，并且改变所述测量对象物体或所述信息处理设备的位置姿势，其中所述可动轴包括转动轴和平移运动轴中的至少一个。
12.—种三维测量设备，其包括 投射单元，用于将结构光投射至测量对象物体； 摄像单元，用于拍摄来自所述测量对象物体的、所述结构光的反射光的图像； 获取单元，用于使用所述投射单元的位置姿势、所述摄像单元的位置姿势、以及所述摄像单元所获取的拍摄图像，获取所述测量对象物体的表面的多个位置； 计算单元，用于根据所述多个位置，计算所述多个位置附近的、所述测量对象物体的表面的斜率；以及 校正单元，用于根据所述测量对象物体的表面的光学特性和所述测量对象物体的表面的斜率，校正所述多个位置中的至少一个。
13.一种信息处理方法，包括以下步骤 使获取单元使用来自被投射了结构光的测量对象物体的反射光的信息、所述结构光的光源的位置、以及用于接收所述反射光并且获取所述反射光的信息的光接收单元的位置，获取所述测量对象物体的表面的多个位置； 使计算单元基于所述多个位置，获取所述测量对象物体的表面的位置和方向中的至少一个；以及 使校正单元基于与在获取所述多个位置时的测量误差有关的信息、以及所述测量对象物体的表面的位置和方向中的至少一个，校正所述多个位置中的至少一个。
全文摘要
本发明提供一种信息处理设备、三维测量设备和信息处理方法。信息处理设备包括获取单元，用于使用从被投射了结构光的测量对象物体反射的光的信息、结构光的光源的位置、以及用于接收反射光并且获取反射光的信息的光接收单元的位置，获取测量对象物体表面上的多个位置；计算单元，用于基于多个位置，获取测量对象物体的表面的位置和方向中的至少一个；以及校正单元，用于基于与在获取多个位置时的测量误差有关的信息、以及测量对象物体的表面的位置和方向中的至少一个，校正多个位置中的至少一个。
文档编号G01B11/25GK102829718SQ20121019600
公开日2012年12月19日 申请日期2012年6月13日 优先权日2011年6月13日
发明者中里祐介, 内山晋二 申请人:佳能株式会社