专利名称：信息处理设备和信息处理方法
技术领域：
本发明涉及一种信息处理设备和信息处理方法。本发明尤其涉及一种适用于测量三维形状已知的物体的位置姿势的技术。
背景技术：
近年来，通过机器人代替进行诸如工业产品的组装等的过去用手工进行的复杂任务。在机器人组装这类工业产品时，机器人通过诸如手等的端部执行器把持组件，因此变得需要精确测量组件和机器人(即，机器手)之间的相对位置姿势。存在一种用于同时使用照相机所获取的二维图像(例如，灰度图像或彩色图像)和距离传感器所获取到的距离图像来精确估计物体的位置姿势的技术。在[Y. Hel-Or andΜ· Werman, “Pose estimation by fusing noisy data of different dimensions”，IEEETransactions on Pattern Analysis and Machine Intelligence,vol. 17,No. 2,pp. 195 -201,1995]中说明了这一用于精确测量物体的位置姿势的技术。上述文献说明了针对按照时序输入的二维图像和距离图像，将二维图像的特征当作为深度不确定的三维点。然后使用卡尔曼滤波器更新物体的位置姿势，从而使得二维图像的特征和三维模型之间的误差、以及距离图像的三维点和三维模型之间的误差最小化。用于使用二维图像和距离图像来估计物体的位置姿势的传统技术假定摄像设备自由移动。因此在按照时序所输入的多个测量数据之间的相对几何关系未知的前提下进行估计。结果，如果摄像设备在用于摄像的时间之间移动大，则稳定性丧失，或者估计精度降低。另一方面，存在通过将摄像设备安装到机器臂上并且移动摄像设备来测量物体的情况、或者使用固定摄像设备来测量通过机器臂所保持的移动的被摄体的情况。在这些情况下，可以参考机器人的运动信息作为用于观测摄像时间之间的摄像设备或测量物体的移动的信息。机器人的运动信息包括诸如控制机器人的重复精度方面的误差和校准精度方面的误差等的误差因素。然而，运动信息是估计位置姿势时所使用的高精确且有用的信息。然而，根据传统技术，即使可以获取到机器人的运动信息，也不能有效使用机器人运动作为观测信息。此外，日本特开2005-201824说明了一种仅使用运动信息的被称为运动立体摄影术(motion stereo)的已知技术。这一技术通过向粗略位置姿势相加从运动信息所获取的位置姿势的差来估计位置姿势。然而，如上所述，机器人运动信息包括预定量的模糊。因此希望在考虑到模糊的情况下更新位置姿势。

发明内容
本发明旨在即使在测量设备和测量物体之间的位置和姿势中的至少一个的关系包括模糊时，也使得能够高精度地测量物体的位置姿势。根据本发明的一个方面，一种信息处理设备，用于使用摄像设备来估计测量物体的位置姿势，所述信息处理设备包括三维形状模型存储单元，用于存储所述测量物体的三维形状模型的数据；图像输入单元，用于获取所拍摄的所述测量物体的图像；粗略位置姿势输入单元，用于输入所述摄像设备和所述测量物体之间的相对的粗略位置姿势；第一位置姿势更新单元，用于使用所述粗略位置姿势，通过将所述三维形状模型与所述图像相匹配来更新所述粗略位置姿势；位置姿势差信息输入单元，用于计算和获取在所述摄像设备拍摄了所述测量物体的图像之后或者在前次获取了位置姿势差信息之后进行了移动后的、所述摄像设备相对于所述测量物体的位置姿势差量；以及第二位置姿势更新单元，用于使用所述第一位置姿势更新单元所更新后的粗略位置姿势，基于所述位置姿势差量来更新该粗略位置姿势。根据本发明的另一方面，一种信息处理方法，用于使用摄像设备来估计测量物体的位置姿势，所述信息处理方法包括以下步骤存储所述测量物体的三维形状模型的数据；获取所拍摄的所述测量物体的图像；输入所述摄像设备和所述测量物体之间的相对的粗略位置姿势；使用所述粗略位置姿势，通过将所述三维形状模型与所述图像相匹配来更新所述粗略位置姿势；计算和获取在所述摄像设备拍摄了所述测量物体的图像之后或者在前次获取了位置姿势差信息之后进行了移动后的、所述摄像设备相对于所述测量物体的位置姿势差量；以及使用所更新后的粗略位置姿势，基于所述位置姿势差量来更新该粗略位置姿势。通过以下参考附图对典型实施例的详细说明，本发明的其它特征和方面将显而易见。


包含在说明书中并构成说明书的一部分的附图，示出本发明的典型实施例、特征和方面，并与说明书一起用来解释本发明的原理。图I示出根据本发明典型实施例的信息处理设备的结构。图2A和2B示出机器臂、摄像设备和要测量的组件之间的关系。图3是示出用于估计位置姿势的处理的流程图。
具体实施例方式下面将参考附图详细说明本发明的各种典型实施例、特征和方面。根据本发明的典型实施例，信息处理设备在如下场景中应用用于估计物体位置姿势的技术。将摄像设备安装在机器臂的末端，并且移动机器臂，从而使得拍摄固定测量物体50的图像，如图2A所示。根据本典型实施例，信息处理设备在一次测量中依次进行灰度图像的拍摄、距离图像的拍摄和机器人运动的获取。在信息处理设备拍摄图像(即，灰度图像或距离图像)时，信息处理设备通过匹配三维形状模型和图像来更新测量物体50的位置姿势。信息处理设备在每次获取图像时都更新该位置姿势。此外，信息处理设备从机器臂的运动信息获取由于机器臂的移动所生成的摄像设
5备在摄像操作之间的位置姿势差量。信息处理设备然后基于运动信息来更新测量物体50的位置姿势。除与灰度图像和距离图像有关的信息以外，信息处理设备还使用基于机器人运动的信息来更新测量物体50的位置姿势。结果，高精度地估计测量物体50的位置姿势。图I示出根据本发明典型实施例的信息处理设备I的结构的例子。参考图1，信息处理设备I包括三维形状模型存储单元110、图像输入单元120、粗略位置姿势输入单元130、位置姿势差信息输入单元140、第一位置姿势更新单元150、以及第二位置姿势更新单元 160。三维形状模型存储单元110存储表示测量物体的几何特征的三维形状模型数据，并且与第一位置姿势更新单元150连接。此外，二维图像拍摄设备20和距离图像拍摄设备30与图像输入单元120连接。此外，机器人40与位置姿势差信息输入单元140连接。根据本典型实施例，在存储在三维形状模型存储单元110中的三维形状模型数据10与实际要拍摄其图像的测量物体50的形状一致的情况下，可应用信息处理设备I。三维形状模型数据10 (以下称为三维形状模型)是表示要测量的物体(以下称为测量物体50或简称为物体)的形状的三维几何信息。通过与由点组合所构成或者通过连接点所构成的平面有关的信息、以及与构成该平面的线段有关的信息来定义三维形状模型10。将三维形状模型10存储在三维形状模型存储单元110中，并且将其输入给第一位置姿势更新单元150。二维图像拍摄设备20是正常拍摄可以是灰度图像或彩色图像的二维图像的照相机。根据本典型实施例，二维图像拍摄设备20输出灰度图像。二维图像拍摄设备20经由图像输入单元120将这样所拍摄的图像输入给信息处理设备I。通过参考要使用的装置的说明书，获取诸如焦距和主点位置以及镜头变形参数等的照相机内部参数。此外，可以使用[R. Y. Tsai, uK versatile camera calibrationtechnique for high—accuracy 3D machine vision metrology using off-the-shelfTV cameras and lenses，，，IEEE Journal of Robotics and Automation, vol. RA-3, No. 4,1987]中所述的方法预先校准照相机的内部参数。距离图像拍摄设备30用作用于测量测量物体表面上的点的三维信息的距离数据测量单元。根据本典型实施例，使用用于输出距离图像的距离传感器作为距离图像拍摄设备30。距离图像是各像素均具有深度信息的图像。此外，根据本典型实施例，使用单触主动式距离传感器。这类距离传感器利用配有不同波长的颜色识别(ID)的多狭缝线照射物体。距离传感器然后使用照相机拍摄反射光，并且采用三角测量来测量距离。然而，距离传感器不局限于以上所述的，并且可以是使用光的飞行时间的飞行时间型距离传感器。此外，距离传感器可以是使用三角测量、根据通过立体照相机所拍摄的图像来计算各像素的深度的被动式传感器。此外，在不改变本发明的本质的情况下，可以使用能够测量距离图像的任何类型的距离传感器。距离图像拍摄设备30经由距离图像输入单元120将所获取的距离图像输入给信息处理设备I。距离图像拍摄设备30的光轴与二维图像拍摄设备20的光轴相一致。因此，从二维图像拍摄设备20输出的灰度图像中的各像素和从距离图像拍摄设备30输出的距离图像中的各像素之间的对应关系是已知的。机器人40包括由转动轴或平移轴构成的多个可移动轴。机器人40是用于改变包括二维图像拍摄设备20和距离图像拍摄设备30的摄像设备的位置姿势的可移动装置。下面，将包括二维图像拍摄设备20和距离图像拍摄设备30的装置称为摄像设备230。根据本典型实施例，使用具有由六个可转动轴构成的六自由度的机器臂，并且将摄像设备230安装在该机器臂的末端。将与机器人40的六个可转动轴有关的信息经由位置姿势差信息输入单元140输入给信息处理设备I。预先计算装配在臂的末端的摄像设备230的从臂的末端到摄像设备230的位置姿势，作为摄像设备230的偏移位置姿势，并且将其存储为不变值。可以通过使用该偏移位置姿势而偏移臂的末端的位置姿势，来计算摄像设备230的位置姿势。作为机器人40所使用的装置不局限于以上所述的，并且可以是具有七自由度的垂直多关节机器人、标量型机器人或并联机器人。机器人可以是任何类型的，只要机器人包括具有转动轴或平移轴的多个可移动轴，并且能够获取运动信息。粗略位置姿势输入单元130输入物体相对于摄像设备230的位置姿势的粗略值。根据本典型实施例，信息处理设备I在时间轴的方向上连续进行测量。因此使用前一测量值(即，前一次所测量出的值)作为粗略位置姿势。然而，用于输入位置姿势的粗略值的方法不局限于以上所述的。例如，可以存储并使用以各种姿势所拍摄的对象物体的图像作为在针对输入图像进行模板匹配时的模板来粗略估计对象物体的位置姿势。此外，如果存在能够测量物体的位置姿势的其他传感器，则可以使用其他传感器的输出值作为位置姿势的粗略值。传感器可以是通过使用装配至物体的接收器而检测由发送器所生成的磁场来测量位置姿势的磁性传感器。此外，传感器可以是通过使用在场景中固定的照相机拍摄设置在物体上的标记来测量位置姿势的光学传感器。可以使用任何传感器，只要传感器能够测量六自由度的位置姿势。此外，如果预先已知物体所处的粗略位置姿势，则可以使用这一值作为粗略值。位置姿势差信息输入单元140输入在拍摄了二维图像或者距离图像之后、或者在从在机器人40获取位置姿势差信息之后进行了移动后的机器人40的位置姿势差量。根据本典型实施例，根据在摄像时间之间臂的末端的位置姿势的差，计算位置姿势差量。在可以从机器人40中的控制模块直接获取臂的末端的位置姿势的情况下，计算位置姿势差量。然而，用于计算在摄像时间之间摄像设备230的差量的方法不局限于以上所述的。例如，从与机器人40的可移动轴对准安装的旋转编码器获取各轴的转动量。然后使用正向运动计算，根据各轴的转动量和机器人40的连杆长度来计算臂的末端的位置姿势。因此可以计算被置于臂的末端处的摄像设备230的位置姿势差量。可以采用任何方法，只要可以计算在摄像时间之间移动的臂的末端的位置姿势差量。第一位置姿势更新单元150将存储在三维形状模型存储单元110中的三维形状模型10与通过二维图像拍摄设备20所拍摄的灰度图像和/或通过距离图像拍摄设备30所拍摄的距离图像相关联。第一位置姿势更新单元150然后基于测量物体50的位置姿势的粗略值，更新测量物体50的位置姿势。第一位置姿势更新单元150交替进行基于二维图像的粗略位置姿势的更新、以及基于距离图像的粗略位置姿势的更新。下面将详细说明该更新处理。第二位置姿势更新单元160基于通过第一位置姿势更新单元150更新了的测量物体50的位置姿势，使用通过位置姿势差信息输入单元140所获取的位置姿势差信息，更新测量物体50的位置姿势。后面将详细说明该更新处理。信息处理设备I包括计算机。该计算机包括诸如中央处理单元(CPU)等的主控制单元、以及诸如只读存储器(ROM)、随机存取存储器(RAM)和硬盘驱动器(HDD)等的存储单元。此外，该计算机可以包括诸如按钮、显示器和触摸面板等的输入/输出单元，并且还可以包括诸如网络卡等的通信单元。通过总线连接上述组件，并且通过主控制单元执行存储在存储单元中的程序对上述组件进行控制。下面说明根据本典型实施例的用于估计位置姿势的处理。图3是示出根据本典型实施例的用于估计位置姿势的处理的流程图。在步骤S301，信息处理设备I进行初始化。更具体地，粗略位置姿势输入单元130输入在拍摄灰度图像时的摄像设备230和物体之间的相对位置姿势的粗略值。如上所述，根据本典型实施例，信息处理设备I使用在前一次所测量出的位置姿势作为测量物体50的粗略位置姿势。在步骤S302，二维图像拍摄设备20拍摄灰度图像。在拍摄灰度图像的情况下，处理进入步骤S303。在步骤S303，第一位置姿势更新单元150基于在步骤S301所输入的测量物体50的粗略位置姿势，更新测量物体50的位置姿势，从而使得三维形状模型10与在步骤S302所输入的灰度图像相匹配。下面将详细说明在步骤S303所进行的用于使用灰度图像更新位置姿势的处理。第一位置姿势更新单元150基于测量物体50的粗略位置姿势，将三维形状模型10与在步骤S302所拍摄的灰度图像上的边缘相关联。更具体地，第一位置姿势更新单元150使用测量物体50的粗略位置姿势、以及二维图像拍摄设备20的内部参数，将三维形状模型10中的各线段投影至灰度图像上。第一位置姿势更新单元150然后将在该图像上所检测到的边缘与三维形状模型10相关联。如果检测到了与各控制点相对应的多个边缘，则第一位置姿势更新单元150将该图像上的这多个所检测到的边缘中最接近投影的线段的边缘与控制点相关联。第一位置姿势更新单元150基于测量物体50的粗略位置姿势，使用所计算出的关联数据更新位置姿势，从而使得三维形状模型10中的各线段和灰度图像上的边缘之间的误差最小化。更具体地，第一位置姿势更新单元150通过使用扩展卡尔曼滤波器进行滤波，来使用所计算出的关联数据更新位置姿势。使用在灰度图像上所检测到的边缘的坐标，作为使用扩展卡尔曼滤波器的滤波处理中的观测数据。下面将详细说明用于使用扩展卡尔曼滤波器更新测量物体50的位置姿势所进行的处理。卡尔曼滤波器是非线性滤波器的例子。卡尔曼滤波器的状态空间模型包括用于预测随后的状态的状态转移方程、以及表示状态和观测之间的关系的观测方程。根据本典型实施例，假定在如下情况下进行公式化仅在基于帧内的关联数据来更新位置姿势时使用采用卡尔曼滤波器所进行的状态估计。因此假定不进行帧间时序滤波。此外，对于测量物体50的状态，没有假定特定的运动模型，而是采用静态模型。另外，状态矢量仅包含六自由度的位置姿势。如下定义状态转移方程xi+1=FXi+w(I)
在公式(I)中，Xi是状态矢量，F是状态转移矩阵，w是系统噪声，并且i是要输入给卡尔曼滤波器的观测数据(即，在灰度图像上所检测到的边缘)的指数。系统噪声w的误差协方差Σ w是表示在更新处理之间发生的意外误差的参数，并且通常是调整参数。根据本典型实施例，给出系统噪声的协方差矩阵作为零矩阵。如下定义包括位置姿势的六自由度的状态矢量xk= [tx ty tx wx wy wz]T(2)在公式(2)中，tx、ty和tz分别表示在X轴、y轴和z轴的方向上的位置,并且wx、wy和wz分别表示沿X轴、y轴和z轴的转动。此外，由于状态矢量仅包含位置姿势，所以状态转移矩阵变成单位矩阵。如下定义观测方程yj=h (Xi) +v(3)在公式(3)中，yi是观测矢量(即，在灰度图像上所检测到的边缘的坐标)，h(Xi)是表示基于状态Xi下的图像的观测的方程(即，三维形状模型10在灰度图像上的投影)，并且V表示观测噪声。观测噪声的协方差矩阵Σ V是定义观测矢量的模糊的参数。在步骤S303，协方差矩阵Σ V表示在灰度图像中所检测到的边缘坐标的模糊。所检测到的坐标的模糊是受到灰度图像的摄像环境或边缘检测方法很大影响的参数。根据本典型实施例，假定包含平均值为O、并且标准偏差为O. 5像素的噪声来定义观测噪声的协方差矩阵Σ V。在扩展卡尔曼滤波处理中，通过基于如上所述定义的状态转移方程和观测方程，通过重复预测处理和更新处理来更新状态矢量(即，测量物体50的位置姿势)。下面将详细说明用于进行预测和更新的处理。在预测处理中，预测状态矢量和状态矢量的误差协方差Pp使用下面的公式预测状态矢量Xi=Fxi _1(4)由于状态转移矩阵是单位矢量，所以状态矢量的值在预测处理中不改变。在下述公式，使用以上定义的系统噪声的误差协方差Σw来预测状态矢量的误差协方差已。P1=FP^1Ft+ Σ w(5)在公式(5)中，在预测处理的初始步骤中，需要设置误差协方差矩阵Pi的初始值。由于状态矢量的误差协方差矩阵Pi是表示当前状态矢量的模糊的参数，所以随后的观测数据的更新量受到初始值的设置的极大影响。定性地说，如果误差协方差大，则基于观测数据的更新量变大，并且如果误差协方差小，则基于观测数据的更新量变小。根据本典型实施例，假定存在下面的模糊的范围来设置误差协方差的初始值PO :平均值为0，对于位置的标准偏差为测量物体50的大小的10%，并且对于姿势的标准偏差为10度。考虑到在摄像操作之间发生的测量物体50的意外差量，在上述范围内设置初始值PO。在更新处理中，基于观测数据来更新状态矢量及其误差协方差。使用下面的公式更新状态矢量Xw=XfKi (Yi - h (Xi))(6)Ki是通过观测数据所计算出的应用于误差的卡尔曼增益。使用以上定义的观测噪声的协方差矩阵Σ V，通过下面的公式来计算卡尔曼增益。
Ki=PiH1 (HP1Ht+ Σ v)(7)在公式(7)中，通过Xi对表示图像的观测的方程h(x)进行偏微分获得通常称为图像雅可比的H。由于表示图像的观测的方程h(x)、使用边缘的误差校准方法以及基于边缘生成图像雅可比，这些与本发明的本质无关，因而省略详细说明。对于该处理的细节，参考[Tateno, Kotake, Uchiyama, “A Model fitting method using intensity and rangeimages for bin-picking applications”，13th Meeting on Image and Recognition Understanding(MIRU2010), 0S5-1, 2010]。此外，使用下面的公式更新状态矢量的误差协方差矩阵Pw=(I-KiH)Pi⑶第一位置姿势更新单元150对于许多所获取的观测数据(即，在灰度图像中所检测到的边缘)重复上述预测处理和更新处理，从而更新测量物体50的位置姿势。在使用所有观测数据进行更新处理时，处理进入步骤S304。在步骤S304，距离图像拍摄设备30获取距离图像。根据本典型实施例，距离图像包含从摄像设备230到测量物体50表面的距离。如上所述，由于二维图像拍摄设备20的光轴与距离图像拍摄设备30的光轴相一致，所以灰度图像中的各像素和距离图像中的各像素之间的对应关系是已知的。在步骤S305，第一位置姿势更新单元150更新测量物体50的位置姿势，从而使得三维形状模型10与在步骤S304所输入的距离图像相匹配。第一位置姿势更新单元150基于在步骤S303更新后的测量物体的位置姿势，更新测量物体50的位置姿势。下面将详细说明在步骤S305所进行的用于使用距离图像更新位置姿势的处理。第一位置姿势更新单元150基于在步骤S303更新后的测量物体50的位置姿势，将三维形状模型10与在步骤S304所测量出的距离图像中的三维点组相关联。更具体地，第一位置姿势更新单元150使用测量物体50的位置姿势、以及距离图像拍摄设备30的校正后的内部参数，将构成三维形状模型10的各平面投影至距离图像上。第一位置姿势更新单元150然后存储与各投影平面相对应的距离图像上的距离点组，作为与各平面相对应的三维点。第一位置姿势更新单元150然后基于在步骤S303更新后的测量物体50的位置姿势，使用所检测到的关联数据来更新位置姿势，从而使得三维形状模型10中的各平面和与其相对应的距离图像中的三维点之间的三维空间的误差最小化。更具体地，第一位置姿势更新单元150通过使用扩展卡尔曼滤波器进行滤波，来使用所检测到的关联数据而更新位置姿势。第一位置姿势更新单元150使用与三维模型中的各平面相对应的距离图像中的距离点的坐标作为观测数据来进行滤波。在步骤S305，继续使用在步骤S303进行更新所使用的状态矢量Xi作为状态矢量Xj。另一方面，考虑到在步骤S304估计位置姿势之后在测量物体50处所生成的未知差量，如在步骤S303所进行的误差协方差初始化一样，类似地初始化误差协方差IV要进行的处理与在步骤S303所进行的处理大体相同。与步骤S303所进行的处理的不同之处在于观测值的误差协方差矩阵Σ V、表示观测的方程h(x)、用于测量测量数据中的误差的方法、以及基于测量数据的图像雅可比。观测噪声的误差协方差矩阵Σ V表示距离图像中的距离点组的观测的模糊。距离
10点组的模糊是极大影响距离图像拍摄设备30的距离图像拍摄方法和摄像环境的参数。根据本典型实施例，假定包含平均值为O、并且标准偏差为Imm的噪声来设置距离点组的观测值的误差协方差矩阵Σ V。此外，通过如下替换在步骤S303所进行的处理中的要素来进行步骤S305中的处理。以表示三维空间下的观测的方程替换方程h(x)，以对于三维点和三维平面的误差测量来替换观测数据的误差测量方法，并且以基于三维平面和点的图像雅可比替换图像雅可比。由于方程h(x)的推导、误差测量方法和图像雅可比与本发明的本质无关，所以省略详细说明。对于该处理的细节，参考[Tateno, Kotake, Uchiyama, “A Model fittingmethod using intensity and range images for bin-picking applications，，，13thMeeting on Image and Recognition Understanding (MIRU2010)，0S5-1, 2010]。第一位置姿势更新单元150针对许多所获取的观测数据(即，与三维形状模型10中的各平面相对应的距离图像中的距离点组)，重复上述预测处理和更新处理，类似于步骤S303。第一位置姿势更新单元150从而更新测量物体50的位置姿势。在使用所有观测数据进行更新处理时，处理进入步骤S306。在步骤S306，信息处理设备I使用位置姿势差信息输入单元140计算在步骤S304拍摄距离图像之后进行了移动后的摄像设备230的位置姿势差量。更具体地，信息处理设备I经由位置姿势差信息输入单元140从机器臂的控制模块获取机器臂的末端的位置姿势。信息处理设备I然后偏移从机器臂的末端到摄像设备230的位置姿势。信息处理设备I从而计算在步骤S304拍摄距离图像时的摄像设备230的位置姿势、以及当前位置姿势(即，在进行步骤S306时)。信息处理设备I然后获取摄像设备230的所计算出的位置姿势之间的差，并且计算在拍摄距离图像之后进行了移动后的摄像设备230的位置姿势差量。在步骤S307，第二位置姿势更新单元160基于在步骤S305更新后的测量物体50的位置姿势，使用在步骤S306所计算出的位置姿势差量，更新测量物体50的位置姿势。下面将详细说明在步骤S307所进行的用于使用位置姿势差量来更新位置姿势的处理。更具体地，第二位置姿势更新单元160基于在步骤S306所计算出的位置姿势差量及其模糊，更新位置姿势。继续使用在步骤S303所进行的更新处理中所使用的状态矢量\作为状态矢量X。另一方面，考虑到在步骤S306估计位置姿势之后在测量物体50处所生成的未知差量，如在步骤S303所进行的误差协方差初始化一样，类似地初始化误差协方差P。要进行的处理与在步骤S303所进行的处理大体相同。然而，步骤S307的处理与步骤S303所进行的处理的不同之处在于步骤S307的观测方程是线性方程。如下定义根据步骤S307的观测方程y=Hx+v(9)在公式(9)中，y是观测矢量(即，作为使用位置姿势差量的更新结果的位置姿势)，H是观测矩阵(单位矩阵)，并且V是观测噪声。观测噪声的协方差Σ V是定义观测矢量(即，在步骤S306所计算出的位置姿势差量)的模糊的参数。根据本典型实施例，获取位置姿势差量作为机器臂的末端的位置姿势的差。位置姿势差量的模糊因此与机器臂的末端的位置姿势的模糊同义。
根据如下各种因素生成机器臂的末端的位置姿势的模糊。该模糊归因于诸如臂刚性和后冲等的机械因素、以及诸如电动机的控制精度和减少机械振动的效果等的控制因素。定性地说，模糊随着可移动轴的数量的增多而增大，并且随着在同一方向上重叠的可移动轴的方向的增多而增大。根据本典型实施例，假定在六自由度的位置姿势中均等地发生误差。因此设置发生平均值为O、并且标准偏差在位置姿势差量的1%的范围内的位置姿势差量的模糊。此外，在步骤S307所进行的更新处理使用在步骤S303和步骤S305所使用的公式￠)、公式
(7)和公式(8)。然而，直接使用公式(9)中的观测矩阵作为公式(7)和公式⑶中的H，而不是图像雅可比。公式(9)是线性时序滤波器的例子。可以使用其它类型的滤波器来进行更新处理。此外，在步骤S303和步骤S305，使用与三维形状模型10相对应的全部边缘或者全部距离点组作为观测数据。然而，步骤S307中的观测数据仅是在步骤S306所计算出的位置姿势差量。结果，第二位置姿势更新单元160通过对于一个观测矢量进行预测处理和更新处理，更新测量物体50的位置姿势。在基于位置姿势差量进行更新处理的情况下，处理进入步骤S308。在步骤S308，信息处理设备I基于在步骤S307所估计的位置姿势，向机器人40输出控制命令值。根据本典型实施例，信息处理设备I将在步骤S304进行估计之前和在步骤S307进行估计之后的测量物体50的位置姿势之间的差转换成机器人坐标系统中的值。信息处理设备I这样计算要输出给机器人40的控制命令值。信息处理设备I向机器人40中的控制模块输出控制命令值，以操作用于向测量物体50移动机器人40的臂的末端的位置姿势。在向机器人40输出控制命令值的情况下，处理进入步骤S309。在步骤S309，信息处理设备I判断是否进行了结束位置姿势估计处理的输入。如果存在这一输入(步骤S309为“是”)，则结束该处理。如果不存在这一输入(步骤S309为“否”)，则处理返回到步骤S302。信息处理设备I然后获取新的图像，并且再次计算位置姿势。如上所述，根据本典型实施例，在信息处理设备I获取与拍摄二维图像和拍摄距离图像之间的测量物体50或摄像设备的移动相关联的机器人40的运动信息时，信息处理设备I进行下面的处理。信息处理设备I与二维图像和距离图像一起使用摄像时间之间的机器人40的运动信息，作为观测信息。结果，信息处理设备I能够对对象物体的位置姿势进行闻精度的估计。根据上述典型实施例，信息处理设备I以下面的顺序获取观测数据。信息处理设备I拍摄灰度图像，拍摄距离图像，然后获取机器人40的运动信息。然而，用于获取观测数据的顺序没有特别限制，并且信息处理设备I可以以任意顺序获取观测数据。例如，信息处理设备I可以获取机器人40的运动信息和更新位置姿势。信息处理设备I然后可以拍摄距离图像并更新位置姿势。此外，信息处理设备I可以拍摄灰度图像并更新位置姿势，然后获取机器人的运动信息并且更新位置姿势。用于获取观测数据以及更新位置姿势的顺序没有特别限制，并且可以以任意顺序进行该处理。根据上述典型实施例，信息处理设备I拍摄灰度图像和距离图像两者，并且进行该处理。然而，根据本发明的信息处理设备不局限于拍摄灰度图像和距离图像两者的情况。CN 102914293 A
书
明
说
10/11 页例如，根据本发明的信息处理设备可应用于仅拍摄距离图像或者仅拍摄灰度图像的情况。在这种情况下，从上述典型实施例所进行的处理省略仅针对灰度图像或距离图像所进行的处理，因而处理本身并未改变。此外，如该变形例所述，拍摄图像和获取机器人运动信息的顺序没有特别限制。省略灰度图像或距离图像的获取处理没有特别限制，只要拍摄灰度图像或距离图像，并且可以进行这些方法中的任一个即可。·
根据上述典型实施例，根据本发明的信息处理设备可应用于下面的情况。在如图2A所示，将摄像设备230安装在机器臂的末端，并且作为机器臂的移动的结果，改变摄像设备230的位置姿势。然而，根据本发明的信息处理设备不局限于应用于上述情况。例如，该信息处理设备可以类似地应用于下面的情况固定摄像设备230，并且通过随臂的移动一起移动机器臂所把持的对象物体50，如图2B所示。在这种情况下，位置姿势差信息与上述典型实施例的不同。根据上述典型实施例，图3所示步骤S306中的位置姿势差信息是在摄像操作之间移动的摄像设备230的位置姿势差信息。相反，根据本例子，位置姿势差信息变成在摄像操作之间移动的测量物体50的位置姿势差信息。然而，由于通过信息处理设备所计算出的位置姿势是摄像设备230和测量物体50之间的相对位置姿势，所以处理与根据上述典型实施例的处理没有差异。如上所述，根据本发明的信息处理设备可应用于下面两个情况移动摄像设备230、并且固定测量物体50的情况；以及固定摄像设备230、并且移动测量物体50的情况。在该处理上没有特别限制。根据上述典型实施例，基于使用扩展卡尔曼滤波器和卡尔曼滤波器的处理，进行用于使用观测数据以及粗略位置姿势而更新位置姿势的处理。然而，用于更新位置姿势的方法不局限于以上所述。例如，在更新处理中可以使用粒子滤波器作为适用于非线性方程的非线性时序滤波器。在这种情况下，基于被称为粒子的状态矢量的假设，在预定范围内进行随机采样，而不是如在使用卡尔曼滤波器时那样进行观测的线性化。结果，对状态矢量进行合适的更新。如上所述，对于用于更新测量物体50的位置姿势的方法的选择没有特别限制，只要基于观测数据及其模糊来更新位置姿势即可。获得摄像设备的移动动作不局限于使用机器人运动信息的例子在上述实施例中，作为用于计算摄像设备230的移动的位置姿势相减量的方法，说明了用于根据摄像时间间隔的机器人40的臂末端位置姿势的相减来计算位置姿势相减量的方法。然而，用于计算摄像设备230的移动量的方法不局限于使用机器人运动信息的方法。例如，在向摄像设备230安装磁性传感器和超声传感器等的、用于测量六自由度位置姿势的物理传感器的情况下，通过使用该测量结果，可以计算摄像时间间隔的位置姿势相减量。如果以摄像间隔的摄像设备230的移动局限于转动运动，则在向摄像设备230安装陀螺仪传感器的情况下，可以仅测量转动相减量。只要可以计算以摄像时间间隔的摄像设备230的位置姿势相减量，可以使用任一类型的方法。机器人操作工作物体的例子
13
在上述实施例中，说明了用于通过安装至机器人40的臂末端的摄像设备来计算固定测量物体50的三维位置姿势的方法。然而，信息处理设备I的功能不局限于计算工作物体的三维位置姿势，通过使用所计算出的位置姿势，机器人40可以操作工作物体。例如，在将能够把持工作物体的端部执行器安装至机器人40的臂末端的情况下，机器人40可以把持工作物体。在这种情况下，作为端部执行器，可以使用通过电动机驱动所操作的手或者用于吸附工作物体的吸附垫。只要选择了与对工作物体的操作有关的适当装置，端部执行器的选择没有限制。在执行本实施例之前，通过常用技术进行机器臂和端部执行器的相对位置姿势的校准。这样，可以将通过位置姿势更新单元160所更新后的位置姿势转换成被固定至具有选用区(palette)的空间的工作空间坐标系统。此外，可以控制机器人40以使得将手设置至在工作空间坐标系统中所指定的位
置姿势。作为用于工作物体的端部执行器的操作，可以操作测量物体50的拼版工作、表面检查和其它工作。对于测量物体50的机器人40的工作没有限制。还可以通过读出并执行记录在存储器装置上的程序以进行上述实施例的功能的系统或设备的计算机(或者CPU或MPU等装置)以及通过以下的方法来实现本发明的各方面，其中，系统或设备的计算机通过例如读出并执行记录在存储器装置上的程序以进行上述实施例的功能来进行该方法的各步骤。为了该目的，例如经由网络或者通过用作存储器装置的各种类型的记录介质(例如，计算机可读介质)向计算机提供该程序。尽管参考典型实施例说明了本发明，但是应该理解，本发明不限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有修改、等同结构和功能。
1权利要求
1.一种信息处理设备，用于使用摄像设备来估计测量物体的位置姿势，所述信息处理设备包括三维形状模型存储单元，用于存储所述测量物体的三维形状模型的数据；图像输入单元，用于获取所拍摄的所述测量物体的图像；粗略位置姿势输入单元，用于输入所述摄像设备和所述测量物体之间的相对的粗略位置姿势；第一位置姿势更新单元，用于使用所述粗略位置姿势，通过将所述三维形状模型与所述图像相匹配来更新所述粗略位置姿势；位置姿势差信息输入单元，用于计算和获取在所述摄像设备拍摄了所述测量物体的图像之后或者在前次获取了位置姿势差信息之后进行了移动后的、所述摄像设备相对于所述测量物体的位置姿势差量；以及第二位置姿势更新单元，用于使用所述第一位置姿势更新单元所更新后的粗略位置姿势，基于所述位置姿势差量来更新该粗略位置姿势。
2.根据权利要求I所述的信息处理设备，其特征在于，所述图像输入单元用于获取二维图像和距离图像中的至少一个，其中，所述第一位置姿势更新单元通过将所述三维形状模型与所述二维图像和所述距离图像中的所述至少一个相匹配来更新所述粗略位置姿势。
3.根据权利要求2所述的信息处理设备，其特征在于，所述第一位置姿势更新单元交替进行基于所述二维图像的粗略位置姿势的更新、以及基于所述距离图像的粗略位置姿势的更新。
4.根据权利要求I所述的信息处理设备，其特征在于，所述第一位置姿势更新单元使用非线性时序滤波器来更新粗略位置姿势，以及所述第二位置姿势更新单元使用线性或非线性时序滤波器来更新粗略位置姿势。
5.根据权利要求I所述的信息处理设备，其特征在于，所述位置姿势差信息输入单元从与具有可移动轴的机器人的所述可移动轴有关的信息获取位置和姿势中的至少一个的差量，其中，所述可移动轴包括转动轴和平移轴中的至少一个。
6.根据权利要求I所述的信息处理设备，其特征在于，还包括位置姿势操作单元，所述位置姿势操作单元用于基于所述第二位置姿势更新单元所更新后的粗略位置姿势，使用具有可移动轴的机器人来改变所述测量物体或所述摄像设备的位置和姿势中的至少一个，其中，所述可移动轴包括转动轴和平移轴中的至少一个。
7.一种信息处理方法，用于使用摄像设备来估计测量物体的位置姿势，所述信息处理方法包括以下步骤存储所述测量物体的三维形状模型的数据；获取所拍摄的所述测量物体的图像；输入所述摄像设备和所述测量物体之间的相对的粗略位置姿势；使用所述粗略位置姿势，通过将所述三维形状模型与所述图像相匹配来更新所述粗略位置姿势；计算和获取在所述摄像设备拍摄了所述测量物体的图像之后或者在前次获取了位置姿势差信息之后进行了移动后的、所述摄像设备相对于所述测量物体的位置姿势差量；以及使用所更新后的粗略位置姿势，基于所述位置姿势差量来更新该粗略位置姿势。
全文摘要
本发明提供一种信息处理设备和信息处理方法。信息处理设备用于使用摄像设备来估计测量物体的位置姿势，信息处理设备包括粗略位置姿势输入单元，用于输入摄像设备和测量物体之间的相对粗略位置姿势；第一位置姿势更新单元，用于通过将三维形状模型与拍摄的图像相匹配来更新粗略位置姿势；位置姿势差信息输入单元，用于在摄像设备拍摄了测量物体的图像之后或者在前次获取了位置姿势差信息之后进行了移动后的、摄像设备相对于测量物体的位置姿势差量；以及第二位置姿势更新单元，用于基于位置姿势差量更新粗略位置姿势。
文档编号G01C11/00GK102914293SQ201210237519
公开日2013年2月6日 申请日期2012年7月9日 优先权日2011年7月8日
发明者立野圭祐, 小竹大辅, 内山晋二 申请人:佳能株式会社