专利名称：用于估计移动式机器人的位置和方位的装置和方法
技术领域：
本发明涉及一种移动式机器人，更具体而言涉及一种用于在黑暗环境或具有剧烈变化的照明条件的环境中估计移动式机器人的位置和方位的装置和方法。
背景技术：
一般，存在通过使用人工信标来估计移动式机器人的位置和方位的四种方法。第一种方法使用反射物和视觉系统。这种方法的一个示例被公开在美国专利第5,051,906号中，其中自动制导车辆(AGV)使用附加到天花板上的回射条带(stripe)沿着走廊行进。当AGV沿着走廊的长轴行进时确定AGV的方位和位置。第二种方法仅仅使用反射器。这种方法的示例被公开在美国专利第5,812,267号和美国专利第5,467,273号中。第三种方法使用视觉系统和特定的标志来替代反射器。这种方法的示例被公开在美国专利第5,525,883号、美国专利第5,911,767号和美国专利第6,496,754号中。在美国专利第5,911,767号中，通过将圆圈设置为编码标志和识别所述编码标志来定位移动式机器人。具体上，使用与从环境识别的编码标志相关的两个同心圆的两个参数的比率获得机器人的位置和方位。在美国专利第6,496,754号中，使用包括两个标志的一个基线标志来检测机器人的位置，并且使用激光束来识别障碍物的形状。第四种方法使用视觉系统和光源来取代反射器。这种方法的示例被公开在美国专利第4,797,557号中。
但是，在上述的传统方法中，不可能估计在其中移动式机器人移动的整个环境中的移动式机器人的全局位置和方位，并且位置和方位的精度估计按照照明条件的变化而改变。因此，难于在诸如房间的一般室内环境中使用所述传统方法。

发明内容
本发明提供了一种用于在黑暗环境或具有剧烈变化的照明条件的环境中估计移动式机器人的位置和方位的装置和方法。
本发明也提供了采用上述方法和装置的移动式机器人。
按照本发明的一个方面，提供了一种估计移动式机器人的位置和方位的方法，所述方法包括(a)获得其中移动式机器人行进的一个位置的天花板图像；(b)从天花板图像检测回射人工标志，所述回射人工标志包括第一标志和第二标志，每个包括非反射部分和红外线反射部分；(c)按照是否人工标志的检测已经成功来使用所述人工标志的位置或编码器信息来估计机器人的位置和方位。所述人工标志包括第一标志和第二标志，它们分别由非反射部分和红外线反射部分组成。
按照本发明的另一个方面，提供了一种用于估计移动式机器人的位置和方位的装置，所述装置包括天花板图像获取器，用于获得其中移动式机器人行进的一个位置的天花板图像；标志检测器，用于从天花板图像检测回射人工标志；位置和方位估计器，用于按照是否人工标志的检测已经成功来使用所述人工标志的位置或编码器信息来估计机器人的位置和方位。所述人工标志包括第一标志和第二标志，它们分别由非反射部分和红外线反射部分组成。
按照本发明的另一个方面，提供了一种移动式机器人，包括天花板图像获取器，用于获得其中移动式机器人行进的一个位置的天花板图像；图像亮度比较器，用于通过计算所述天花板图像的平均强度和比较所计算的平均强度与预定的参考值来确定是否当前环境的光是暗的或亮的；光控制器，用于按照所述图像亮度比较器的确定结果来控制附加到所述移动式机器人的光学器件；标志检测器，用于从所述天花板图像检测回射人工标志，其中包括第一标志和第二标志，它们分别由非反射部分和红外线反射部分组成；位置和方位估计器，用于按照是否人工标志的检测已经成功来使用所述人工标志的位置或编码器信息而估计机器人的位置和方位；运动控制器，用于按照由所述位置和方位估计器估计的位置和方位来控制所述移动式机器人的运动。
按照本发明的另一个方面，提供了一种计算机可读介质，其中记录了计算机可读程序，用于执行所述估计移动式机器人的位置和方位的方法。


通过参照附图详细说明本发明的示范实施例，本发明的上述和其他特点和优点将会变得更加清楚，其中图1A、1B和1C是在本发明的一个实施例中使用的人工标志的示例；图2是按照本发明的一个实施例的用于估计移动式机器人的位置和方位的装置的方框图；图3是图解按照本发明的一个实施例的估计移动式机器人的位置和方位的方法的流程图；图4是图解图3的操作333的流程图；图5是图解图3的操作342的流程图；图6A和6B是在白天拍摄的天花板图像和在夜晚拍摄的天花板倒图像；图7A和7B是在执行补偿图像失真前后的天花板图像；图8A-8C是在失真补偿处理方法中执行使用光学中心的建模程序前后的天花板图像；图9A-9C是在失真补偿处理方法中执行内插程序前后的天花板图像；图10示出了在执行预处理程序前后的天花板图像；图11A和11B图解了从所检测的人工标志的位置计算移动式机器人的位置的方法。
具体实施例方式
以下，将参照附图来更全面地说明本发明，在附图中示出了本发明的实施例。
图1A是在本发明的一个实施例中使用的人工标志100的示例。人工标志100包括第一回射标志110和第二回射标志120。第一标志110的外部部分111和第二标志120的内部部分123是敷有任何颜色，例如黑色的非反射部分，而第一标志110的内部部分113和第二标志120的外部部分121是红外线反射部分。在本发明的一个实施例中，所述人工标志位于接近移动式机器人行进的位置的天花板的中心，以便执行预定的工作，但是不限于此。而且，所述第一和第二标志110和120具有11厘米的外径和7厘米的内径，并且在第一标志110和第二标志120之间的距离最好是70厘米，但是不限于此。在本发明的一个实施例中，第一和第二标志110和120由彼此分离预定距离的圆周构成，但是不限于此。
当在白天使用具有图1A所示的图案的人工标志110的时候，人工标志110由图1B所示的第一标志110的外部部分111和第二标志120的内部部分123组成。在夜间，人工标志110由图1C所示的第一标志110的内部部分113和第二标志120的外部部分121构成。
图2是按照本发明的一个实施例的、用于估计移动式机器人的位置和方位的装置的方框图。参见图2，所述装置包括天花板图像获取器210、图像亮度比较器220、图像处理器230、标志检测器240、编码器信息捕获器250、位置和方位估计器260、光控制器270和行进控制器280。
天花板图像获取器210可以由广角透镜或诸如鱼眼透镜的超广角透镜来实现，并且获得其中移动式机器人行进的位置的天花板图像以执行预定的工作。
图像亮度比较器220通过将天花板图像的每个像素的强度和的值除以所有像素的数量来计算天花板图像的平均强度，将所计算的平均强度与预定的参考值相比较，并且确定是否当前环境的光是暗的或亮的。在此，所述参考值在256灰度级的情况下例如被设置为50，并且确定当平均强度大于50时光是亮的，而当平均强度小于50时光是暗的。
作为图像亮度比较器220执行的光亮度比较的结果，如果确定光是亮的则图像处理器230不执行，如果确定光是暗的则图像处理器230将天花板图像倒像。图6A示出了包括在白天拍摄的人工标志的天花板图像，图6B示出了包括在夜晚拍摄的人工标志613或615的天花板图像的天花板倒图像。
图像处理器230对于未处理的或倒像执行失真补偿处理或预处理程序的至少之一。在“摄像机校准三维计算机视觉”(Oliver Faugeras，麻省理工学院出版社，1993)。现在参照图7A-9C来详细说明这种技术。
图7A是在执行失真补偿处理程序之前的天花板图像，图7B是在执行失真补偿处理程序之后的天花板图像。如果用于天花板图像获取器210的摄像机透镜的角度变大，则天花板图像的失真变得更严重。因此，因为天花板图像与实际图像不同地被示出，失真补偿处理程序是必要的。详细而言，可以使用一种通过提取光学中心811和使用如图8A所示的由基于光学中心811的第一和第二标志110和120构成的两个椭圆813来执行建模程序的方法。当按照这种方法执行失真补偿处理程序的时候，如果当提取光学中心811时产生误差，则获得如图8B所示的倾斜图像，如果光学中心811被精确地提取，则获得如图8C所示的良好补偿的图像。在此，光学中心811被用于获得天花板的正常视图，并且表示这样一个点输入到摄像机的所有光通过它，并且被投影在摄像机的图像拾取器件上。即使摄像机旋转也不改变光学中心811的位置。当执行建模程序时，产生其中像素消失的区域911，如图9A所示。可以通过内插方法来恢复消失的像素。在此，原样使用按照最近邻居方法(N.N.方法)的位于最接近消失的像素的位置的像素的值，如图9B所示，或使用通过平均接近要被内插的一个像素的多个像素的值而获得的值，如图9C所示。
图像处理器230执行被执行失真补偿处理程序的天花板图像的预处理程序。在图10中，附图标号1010示出了在执行预处理程序之前的天花板图像，而附图标号1030示出了在执行预处理程序之后的天花板图像。在一种预处理方法中，使用预定常数α和对比度特征图G1来调整对比度和/或曝光。即，当通过将天花板图像的每个像素乘以常数α来调整曝光时和当通过向被调整曝光的天花板图像应用对比度特征图G1来调整对比度以便暗的部分不变或变得更暗并且亮的部分变得更亮的时候，特定像素区域的分辨率、即包括人工标志100的第一和第二标志110和120的像素区域的分辨率变得更高。但是，其他像素区域的分辨率相对较低。可以通过作为预处理结果使得人工标志100的亮度与周围环境的大大不同来容易地执行诸如标志检测的后续图像处理。
标志检测器240从被图像处理器230失真补偿处理的和预处理的天花板图像检测标志候选点，并且通过过滤标志候选点来检测人工标志100的位置。
编码器信息捕获器250从附加到移动式机器人的轮子的编码器传感器(未示出)来获得移动式机器人的位置和方位的信息。
位置和方位估计器260使用由标志检测器240检测的人工标志100的位置或由编码器信息捕获器250提供的信息来估计移动式机器人的位置和方位。即当标志检测器240已经成功地检测到人工标志100的位置的时候，人工标志100的位置被用于估计移动式机器人的位置和方位，而当标志检测器240未能在位置上检测人工标志100的时候，使用编码器信息来估计移动式机器人的位置和方位。
如果作为图像亮度比较器220的确定结果确定外部光处于暗的状态，则光控制器270接通附加到移动式机器人的光学器件(未示出)或调高所述光学器件的亮度，如果作为图像亮度比较器220的确定结果确定外部光处于亮的状态，则光控制器270关闭附加到移动式机器人的光学器件或降低所述光学器件的亮度。
移动控制器280使用由位置和方位估计器260获得的移动式机器人的位置和方位信息来控制移动式机器人沿着预设或计划的路径行进。
图3是图解按照本发明的一个实施例的、用于估计移动式机器人的位置和方位的方法的流程图。
参见图3，在步骤310中，使用广角或超广角摄像机来获得其中移动式机器人行进的位置的天花板图像。
在步骤320中，确定当前环境的光状态，为此，在步骤321计算在步骤310中获得的天花板图像的平均强度。在步骤322，通过比较所计算的平均强度与预定的参考值来确定是否光在暗的状态或亮的状态。即，如果所述平均亮度大于所述参考值则光处于亮的状态，而如果所述平均亮度小于所述参考值则光处于暗的状态。当确定光处于暗的状态时，在步骤323将天花板图像倒像。
在步骤330，从天花板图像检测人工标志。为此，在步骤331确定是否存在被存储的所关心的区域。作为确定的结果，如果不存在所关心的区域，则在步骤332将所关心的区域设置为天花板图像的整个区域，并且在步骤333从所述天花板图像的整个区域检测人工标志。如果存在所关心的区域，则在步骤333从存储的所关心区域检测人工标志。
在步骤340，按照人工标志检测的结果来估计移动式机器人的位置和方位。为此，在步骤341确定是否已经检测到人工标志。如果作为在步骤341的确定结果还未检测到人工标志，则在步骤342使用从一个编码器传感器提供的信息来计算移动式机器人的位置和方位。如果作为在步骤341的确定结果已经检测到人工标志，则在步骤343使用人工标志来计算移动式机器人的位置和方位。现在参照图11A和11B来说明使用人工标志来计算移动式机器人的位置和方位的方法。
参见图11A，d指示在第一标志110和第二标志120之间的距离，θ指示在通过将人工标志100的中心Lc向x轴扩展而获得的线和连接第一标志110和第二标志120的直线之间的角度，即人工标志100相对于x轴的倾角，Rp指示移动式机器人的当前位置。
通过相对于人工标志100的位置执行移位、旋转和翻转处理可以估计移动式机器人的位置和方位。因此，通过方程1来给出在图11B中的移动式机器人的当前位置。
在此， 指示完全坐标点，而 指示在摄像机图像中的移动式机器人的坐标点。
方程1的转换函数H移位、H旋转、H翻转和H定标可以如方程2中所示表示。 在此，(tx，ty)指示人工标志100的中心Lc的坐标点，θ指示人工标志100的倾角，而s指示通过将人工标志100的实际物理距离除以人工标志100的图像距离而获得的值。
在步骤344中，通过使用所计算的移动式机器人的位置和方位来控制移动式机器人的行进。
图4是图解图3的步骤333的流程图。
参见图4，在步骤411中，相对于所获得的天花板图像来执行使用图7A和7B、8A-8C和9A-9C所述的失真补偿处理程序。在步骤412相对于失真补偿处理的天花板图像来执行图10所述的预处理程序。
在步骤413，将预处理的天花板图像的每个像素的强度值与预定的参考值相比较，并且通过下列方式来执行二进制化如果所述强度值大于参考值则向像素的值应用1，如果所述强度值小于所述参考值则向像素的值应用“0”。在步骤414中相对于二进制化的天花板图像执行轮廓匹配。在“通过瞬时不变量的视觉模式识别”(M.Hu.关于信息理论的IRE交易，8∶2，第179-187页，1962)中描述了轮廓匹配方法，用于检测通过人工标志分离的区域的轮廓，并且将所述轮廓与所存储的人工标志的轮廓相比较。
在步骤415中，使用人工标志100的几何信息来从天花板图像提取候选区域。在步骤416，通过相对于候选区域来执行模板匹配来计算候选区域的可靠性值。在“数字图像处理”(Rafael C.Gonzalez，Richard E.Woods，第583-586页，1992)中表述了使用标准相关的模版匹配方法。可以如方程3所示来表示通过模板匹配而计算的可靠性值(γ(s，t))。
在此，f指示输入候选区域，f指示在匹配到人工标志100的当前位置的区域中的候选区域f(x，y)中包括的像素的平均值，w指示人工标志100的图像，即，模板图像，而w指示在人工标志100的图像w(x，y)中包括的像素的平均值。
在步骤417，选择在被计算为模板匹配结果的候选区域的可靠性值中的最大可靠性值。在步骤418，将所选择的可靠性值与预定的参考值相比较。作为比较结果，如果所选择的可靠性值大于所述参考值，则在步骤419确定人工标志100的检测成功，如果所选择的可靠性值小于所述参考值，则在步骤420确定人工标志100的检测失败。
图5是图解图3的步骤342的流程图。
参见图5，在步骤511，移动式机器人的当前位置(x，y)和方位θ是一个输入。在步骤513，从附加到移动式机器人的左和右轮的编码器传感器(未示出)输出的脉冲(NL，NR)的数量是多个输入。
在步骤515，使用输入的移动式机器人的当前位置(x，y)和方位θ和从编码器传感器(未示出)输出的脉冲(NL，NR)的数量来获得移动式机器人的下一个位置和下一个方位。为此，如方程4所示，计算常数值cm，用于将编码器脉冲的数量转换为轮子实际移动的距离。

cm＝πDn/nCe在此，Dn指示轮子的直径，Ce指示编码器的分辨率，即每个旋转周的编码器脉冲的数量，n指示在要安装编码器的马达和轮子之间的齿轮比率。
如方程5所示，计算通过编码器脉冲的数量实际移动的左和右轮的每个的行进距离ΔUL/R，i。
ΔUL/R，i＝cmNL/R，i在此，NL/R，i指示在时间i附加到移动式机器人的左和右轮的编码器传感器的脉冲的数量。
可以如方程6和方程7所示来表示轮子中心的平均移动距离位移ΔUi和转换的方位角位移Δθi。
ΔUi＝(ΔUR+ΔUL)/2[方程7]Δθi＝(ΔUR-ΔUL)/b在此，b指示在左轮和右轮之间的距离。
可以使用方程8来执行在时间i的移动式机器人的位置和方位的更新。
xi＝xi-1+ΔUicosθiyi＝yi-1+ΔUisinθiθi＝θi-1+Δθi本发明也可以被体现为在计算机可读记录介质上的计算机可读代码。所述计算机可读记录介质是可以存储数据的任何数据存储器件，所述数据随后可以被计算机系统读取。所述计算机可读记录介质的示例包括只读存储器(ROM)、随机存取存储器(RAM)、CD-ROM、磁带、软盘、光学数据存储器件和载波(诸如通过因特网的数据传输)。所述计算机可读记录介质也可以被分布在网络连接的计算机系统上，以便所述计算机可读代码以分布的方式被存储和执行。而且，本发明所属的领域内的有技能的编程人员可以容易地分析用于实现本发明的功能程序、代码和代码段。
如上所述，可以使用图像处理程序实时地估计移动式机器人的位置和方位并且在暗光或光剧烈变化的环境中带来较少的噪音。而且，可以通过在其中移动式机器人行进的位置的天花板上安装少量的人工标志和使用模式识别方法来检测所述人工标志来简化用于标志检测的图像处理程序。
虽然已经参照本发明的示范实施例具体示出和说明了本发明，本领域的普通技术人员会明白，在不脱离所附的权利要求所限定的本发明的精神和范围的情况下，可以进行形式和细节上的各种改变。
权利要求
1.一种构造人工标志的方法，包括形成第一标志，其中包括非反射部分和红外线反射部分；形成第二标志，其中包括非反射部分和红外线反射部分，并且与第一标志相距预定距离，其中所述第一和第二标志是回射人工标志。
2.如权利要求1所述的方法，其中第一标志的外部部分和第二标志的内部部分是非反射部分，而第一标志的内部部分和第二标志的外部部分是红外线反射部分。
3.一种估计移动式机器人的位置和方位的方法，所述方法包括获得其中移动式机器人行进的一个位置的天花板图像；从天花板图像检测回射人工标志，所述回射人工标志包括第一标志和第二标志，每个包括非反射部分和红外线反射部分；按照是否人工标志的检测已经成功来使用所述人工标志的位置或编码器信息而估计机器人的位置和方位。
4.如权利要求3所述的方法，其中第一标志的外部部分和第二标志的内部部分是非反射部分，而第一标志的内部部分和第二标志的外部部分是红外线反射部分。
5.如权利要求3或4所述的方法，还包括从所获得的天花板图像识别当前环境，并且按照所识别的环境执行预定的图像处理程序。
6.如权利要求5所述的方法，其中所述识别当前环境包括计算所获得的天花板图像的平均强度；通过比较所计算的平均强度和参考值来确定是否当前环境的光在暗的状态或在亮的状态；如果确定当前环境的光在亮的状态则对于天花板图像执行失真补偿处理和预处理的至少一个；如果确定当前环境的光在暗的状态，则将所述天花板图像倒像并且对于被倒像的天花板图像执行图像处理程序。
7.如权利要求3或4所述的方法，其中所述检测回射人工标志包括使用人工标志的轮廓匹配几何信息的结果来对于天花板图像提取至少一个或多个候选区域；对于所检测的候选区域执行模板匹配，选择最大的可靠性值作为模板匹配结果，并且将所选择的可靠性值与预定的参考值相比较；如果作为比较结果所选择的可靠性值大于参考值则确定人工标志的检测已经成功，如果作为比较结果所选择的可靠性值小于参考值则确定人工标志的检测失败。
8.如权利要求7所述的方法，其中对于在提取至少一个或多个候选区域中使用的天花板图像，事先依序执行失真补偿处理、预处理和二进制化处理的至少一个。
9.如权利要求3或4所述的方法，其中，如果所检测的人工标志用于所述估计机器人的位置和方位中，则通过依序执行移位处理、旋转处理和翻转处理来从人工标志估计移动式机器人的相对位置和方位。
10.一种用于估计移动式机器人的位置和方位的装置，所述装置包括天花板图像获取器，用于获得其中移动式机器人行进的一个位置的天花板图像；标志检测器，用于从天花板图像检测回射人工标志，所述回射人工标志包括第一标志和第二标志，每个包括非反射部分和红外线反射部分；位置和方位估计器，用于按照是否人工标志的检测已经成功来使用所述人工标志的位置或编码器信息来估计机器人的位置和方位。
11.如权利要求10所述的装置，其中第一标志的外部部分和第二标志的内部部分是非反射部分，而第一标志的内部部分和第二标志的外部部分是红外线反射部分。
12.如权利要求10或11所述的装置，还包括图像处理器，用于从所获得的天花板图像识别当前环境，并且按照所识别的环境执行预定的图像处理程序。
13.如权利要求11所述的装置，其中图像处理器比较所获得的天花板图像的平均强度和参考值，如果按照比较结果当前环境的光在暗的状态，则将所述天花板图像倒像并且对于被倒像的天花板图像执行图像处理程序。
14.如权利要求10或11所述的装置，其中标志检测器对于天花板图像提取至少一个或多个候选区域；对于所检测的候选区域，选择最大的可靠性值作为模板匹配结果；将所选择的可靠性值与预定的参考值相比较；按照比较结果来确定人工标志的检测已经成功或者失败。
15.一种移动式机器人，包括天花板图像获取器，用于获得其中移动式机器人行进的一个位置的天花板图像；图像亮度比较器，用于通过计算所述天花板图像的平均强度和比较所计算的平均强度与预定的参考值来确定是否当前环境的光是暗的或亮的；光控制器，用于按照所述图像亮度比较器的确定结果来控制附加到所述移动式机器人的光学器件；标志检测器，用于从所述天花板图像检测回射人工标志，其中包括第一标志和第二标志，它们由非反射部分和红外线反射部分组成；位置和方位估计器，用于按照是否人工标志的检测已经成功来使用所述人工标志的位置或编码器信息来估计机器人的位置和方位；运动控制器，用于按照由所述位置和方位估计器估计的位置和方位来控制所述移动式机器人的运动。
16.如权利要求15所述的移动式机器人，其中，第一和第二标志由彼此相距预定距离的圆周组成，第一标志的外部部分和第二标志的内部部分是非反射部分，第一标志的内部部分和第二标志的外部部分是红外线反射部分。
17.如权利要求15或16所述的移动式机器人，还包括图像处理器，用于从所获得的天花板图像识别当前环境，并且按照所识别的环境执行预定的图像处理程序。
18.如权利要求17所述的移动式机器人，其中图像处理器比较所获得的天花板图像的平均强度和参考值，如果按照比较结果当前环境的光在暗的状态，则将所述天花板图像倒像并且对于被倒像的天花板图像执行失真补偿处理和预处理。
19.如权利要求15或16所述的移动式机器人，其中标志检测器提取至少一个或多个候选区域；对于所检测的候选区域，选择最大的可靠性值作为模板匹配结果；将所选择的可靠性值与预定的参考值相比较；按照比较结果来确定人工标志的检测已经成功或者失败。
全文摘要
本发明提供了一种用于估计移动式机器人的位置和方位的方法和装置。所述装置包括天花板图像获取器，用于获得其中移动式机器人行进的一个位置的天花板图像；标志检测器，用于从天花板图像检测回射人工标志，所述回射人工标志包括第一标志和第二标志，每个包括非反射部分和红外线反射部分；位置和方位估计器，用于按照是否人工标志的检测已经成功与否来使用所述人工标志的位置或编码器信息来估计机器人的位置和方位。
文档编号G01C15/00GK1598610SQ200410078958
公开日2005年3月23日 申请日期2004年9月16日 优先权日2003年9月16日
发明者洪先基, 方锡元, 朴东烈 申请人:三星电子株式会社