专利名称：对物体进行三维检测的方法和装置以及该装置和方法的使用的制作方法
技术领域：
本发明涉及一种用于对物体进行三维检测的方法，其中，-将具有已知的投影数据的彩色图案(Farbmuster)投影到要检测的物体上，-借助摄像机来检测投影到要检测的物体上的图案，以及-在分析单元中将由摄像机生成的图像处理成三维物体坐标。
本发明还涉及一种用于实施所述方法的装置，以及该装置和方法的使用。
为了不同的应用目的，此外也为了对人员进行识别和鉴权，需要用于对物体进行三维检测的方法。因此例如从DE 199 63 333 A1公开了，将由彩色的图案元素组成的二维的彩色图案投影到要检测的物体上，并且借助摄像机来检测投影到要检测的对象上的彩色图案。根据要检测的物体表面的空间特性，在由摄像机检测到的图像中相对于原始的布置移动该彩色图案，使得在投影仪和摄像机的位置已知的情况下可以计算出要检测的物体表面上的目标点的三维数据。
不过已知的方法不适用于彩色的画面。在已知的方法中，更确切地说需要拍摄具有均匀白色物体照明的参考图像。该参考图像允许确定在图案图像中的所投影的颜色。由于在已知的方法中需要至少拍摄两次，该方法仅有限制地适用于移动的或变形的物体。所以这种已知的方法仅有限制地适用于识别手或脸部。
从P.Vuylsteke和A.Oosterlinck发表的文章“Range ImageAcquisition with a Single Binary-Encoded Light Pattern”(IEEETransactions on Pattern Analysis and MachineIntelligence，第12卷，第2期，1990年2月)中公开了，将具有附加编码的黑白的二维图案投影到要检测的物体上。在此尝试从点的图像周围中求出摄像机图像的每个点的投影角。尤其尝试从所投影的图案的失真中计算出各个点的投影角，这些失真从摄像机角度看由物体表面的空间方向所形成。但是只有在物体具有不断伸展的表面的情况下，这才很好地获得成功。但是如果在要检测的物体上存在深缺口(Tiefenspruenge)，像点周围的编码的图案元素则受到干扰，这导致不可确定的或错误的投影仪角度，并且结果导致错误的三维物体坐标。
从现有技术出发，所以本发明所基于的任务在于给出一种用于对物体进行三维检测的方法，该方法既不受要检测的物体的色泽也不受其深缺口的影响。
此外，本发明所基于的任务还在于给出一种用于实施所述方法的装置。
通过具有独立权利要求所述特征的方法和装置来解决这些任务。在从属于这些独立权利要求的权利要求中给出了本发明的有利的扩展方案和改进方案。
在根据本发明的方法中借助冗余代码来对彩色图案中的投影坐标进行编码。用于编码的彩色图案的采用提供了以下优点，即可以如此紧凑地进行编码，使得尤其在脸部识别时不太可能由于深缺口或遮盖而损坏代码。除此之外，编码是可抵抗差错的，因为借助冗余编码可以检测和消除图像中由物体色泽引起的色失真。
为了实施所述方法而设立的装置因此具有一个投影仪，该投影仪将经冗余编码后的彩色图案投影到要检测的物体上。
在本方法的一个优选的实施方式中，彩色图案的色值被划分为代码字。在此，代码字优选地具有有意义的汉明距。在此应将有意义的汉明距理解为大于1的汉明距。利用这种形式的编码在识别编码后的投影数据时已获得了很好的结果。
此外可以通过重叠代码字来提高编码的坚固性。
其它的措施涉及各个信道中的色彩变化。例如通过每个彩色信道中的色值只能分别取两个事先确定的色值，可以提高识别精度。合宜地，在最小可能的值和另一个最大可能的值之间实现每个彩色信道中的色彩变化。
可以进一步要求，必须在至少两个彩色信道中同时实现色泽变化。
通过这两项措施可以消除源于要检测的物体的色泽变化的干扰。
对彩色图案的另一个合理的要求涉及每个代码字中色彩变化的数量。如果在彩色信道中的每一个中在每一个代码字中发生至少一个色彩变化，识别误差则不可能传播超过多个代码字。
此外还可以进一步改善识别精度，其方式是也将色彩变化概括为一个经冗余编码后的代码的代码字。通过这些对彩色图案的编码的要求可以在译码时可靠地检测出误差。
在此通过以下方式进行译码，即在分析单元中通过确定一次导数的最大值来检测所检测的测量信号的转折点。然后根据彩色代码的编码满足的准则来检验如此检测到的转折点，这些转折点可以分配给潜在的色彩变化。在此还检验色彩变化的大小和信道之间色彩变化的相关性。另一个准则例如是，具有正斜率和负斜率的转折点必须分别成对地出现，并且色彩变化必须符合色彩变化的代码字。
最后检查色彩变化与编码后的色彩变化的代码字的一致性，并且确定属于所检测图像的一个点的投影数据。于是可以从由摄像机检测到的图像中各个点的投影数据和坐标中计算出要检测的物体的表面的三维物体坐标。
以下借助附图来详述本发明。其中

图1展示了用于对物体数据进行三维检测的装置的视图；图2a至c展示了显示数据简化的图表；以及图3a至b展示了所检测的物体重建后的轮廓线的示图。
在图1中示出了装置1，该装置1用来确定要检测的物体3的表面2的三维物体坐标。
装置1具有一个投影仪4，该投影仪4将彩色图案5投影到要检测的物体3的表面2上。在图1中示出的情况下，彩色图案5由一系列相邻的彩色条纹组成。但是也可以设想，采用二维的彩色图案来代替在图1中示出的一维的彩色图案5。
在图1中示出的实施例中，可以为物体3的表面2的每一个点P分配一个投影平面g。因此通过彩色图案5对投影数据进行编码。通过摄像机6将投影到物体3的表面2上的彩色图案5转换成图像7，在该图像7中表面2上的点P被转换成点P′。在已知投影仪4和摄像机6的布置的情况下，尤其是在已知基本线段8的长度的情况下，可以通过三角测量计算出表面2上的点P的三维空间坐标。由分析单元9来进行为此所需的数据简化和分析。
为了当物体3的表面2具有深缺口和遮盖时，也能够实现从单个的图像7中确定表面2上的点P的三维空间坐标，如此来设计彩色图案5，使得投影平面g的编码尽可能坚固地抵抗误差。此外还可以通过编码来消除基于物体色泽的误差。
在图1中示出的实施例中，通过RGB模型来描述彩色图案5的颜色。通过各个彩色信道R、G和B中的色值变化来实现彩色图案5的色值变化。
于是该彩色图案应满足以下的条件-在每一个彩色信道中仅仅采用两个色值。尤其在每一个彩色信道中分别采用最小值和最大值，使得在RGB模型中总共有八个颜色可供使用。
-在一个代码字之内，每个彩色信道具有至少一个色彩变化。该条件能够实现对各个代码字的译码。
-相邻的色元在至少两个彩色信道中有区别。该条件尤其用来确保尤其对于深缺口的容差。
-彩色图案5的各个代码字具有一个有意义的汉明距。该条件也用来提高在对投影平面g进行译码时的容差。
-还将色彩变化概括成具有有意义的汉明距的代码字。
以下提及满足上述五个条件的彩色图案5的一个实例。该彩色图案5涉及具有红色彩色信道R、绿色彩色信道G和蓝色彩色信道B的RGB模型。由于每个彩色信道中的色值只允许分别取最小值和最大值，所以总共有八个混合色可供使用，给这些混合色分别分配以下的数字黑色0蓝色1绿色2青色3红色4品红色 5黄色6白色7为色值的代码字选择了四个彩色条纹的长度，其中相邻的代码字分别以三个彩色条纹彼此重叠。
也给色彩变化分配了数值。由于在三个彩色信道的每一个中色值可以保持相同、下降或上升，总共得出混合色的27个不同的色彩变化，已分别给这些色彩变化分配了0和26之间的数字。分配给色彩变化的代码字的长度被选择等于三个色彩变化，其中相邻的代码字分别以两个色彩变化彼此重叠。
通过搜索算法找到了以下的数列，该数列描述了满足上述五个条件的彩色图案5的一个实施例1243070561217414270342127216534171614361605306352717072416305250747147065035603634743506172524253607在所给出的实施例中，第一代码字由数字1243组成，第二代码字由数字2340组成，以及第三代码字由数字4307组成。所展示的实施例是一种很坚固的编码。
图2a至c显示了数据简化。图2a中示出了原始的彩色信号10。通过物体3的表面2将原始的彩色信号10变形成测量信号11。为了清晰起见，要指明的是，在垂直于图1中所示出的彩色图案5的彩色条纹的方向上示出了彩色信号10和测量信号11。
在第一步骤中，为数据简化计算测量信号11的一次导数12。随后通过计算该一次导数12的极值13来确定该测量信号11的转折点。通过将抛物线或三次多项式直接拟合(anfitten)到导数12的极值13附近来计算精确的位置。将从中得出的极值按照它们的空间分布概括成混合的彩色信号的极值，这些极值在多个彩色信道上延伸。通过以下方式计算在多个彩色信道上延伸的极值的位置，即在各个彩色信道中形成极值位置的加权平均值。在拟合曲线的质量的基础上并根据测量信号11的信噪比形成用于加权的系数。以下忽视各个极值，在另一个彩色信道中没有其它的极值与这些极值相对应。由于在没有相应的颜色过渡的情况下而出现极值的概率是很小的，所以这是一种用于消除噪声所决定的失真的有效措施。在图2c中例如可以消除错误地检测到的极值14。9.1在另一个方法步骤中将等同的极值连接成轮廓线15。图3a展示了以下情况的结果，即极值未经受其它的滤波。但是由于借助彼此具有有意义的汉明距的重叠代码字来构造色彩变化，也可以滤出基于表面2的色泽中的彩色边缘的那些极值。图3b中示出了结果。这里所述的方法因此完全有能力来检测色彩变化的实际轮廓线15，这些色彩变化基于彩色图案5中的色彩变化。
在其它的进程中可以通过彩色编码将投影仪平面g分配给图像7的点P。如果摄像机6和投影仪4的布置是已知的，则通过三角测量得出表面的三维物体数据。
这里所述的方法也可以被用于确定要检测的物体3的色泽。通过以下的公式Rc=rc·∫Δλsc(λ)·IP(λ)dλ+rc·∫Δλsc(λ)·IA(λ)dλ]]>可以描述图像7中的点P的色值，式中，sc(λ)给出摄像机6中传感元件的光谱敏感性，rc(λ)是所属表面2的光谱反射性，IP(λ)是由投影仪4所辐射的射束的光谱强度，以及Ia(λ)是背景照明的强度。由于在执行上述方法之后每个点P的IP(λ)是已知的，如果可以忽略背景照明的影响，则可以在假设Rc(λ)基本上等于常数rC的的情况下从每个彩色信道中所测量的值Rc中计算出常数rC。于是从三个彩色信道的反射性rC中可以推断出表面2的色泽。在考虑rC的相邻值的情况下最终至少可以检测物体3的色泽的低频分量。
已经充分地测试了本方法。一个彩色图案得到采用，其中104个条纹形成了一种明确的编码。但是将总共156个光平面用于所投影的彩色图案5，因为试验构造的几何图形允许部分地重复所编码的图案。
针对投影仪4，不仅采用了简单的幻灯机而且采用了LCD投影仪。在此从成本观点看，一种其光学系统按大的聚焦深度来优化的简单的幻灯机是较好的替代方案。
针对摄像机，采用了具有574×768像素的分辨率的不同的RGB摄像机。为了尽可能抑制各个彩色信道之间的串扰，摄像机6中的良好的色彩分离是重要的。针对分析单元9采用了具有奔腾IV 2.4GHz处理器的计算机。因此无需程序代码的速度优化也可以每秒拍摄和分析直至15个图像。因此本方法完全适用于姿态的识别。
在表面2的着色变化和背景照明的变化在频率和幅度方面不符合彩色图案5的色彩变化时，本方法可靠地工作。这也可以从图3a和3b中看出，其中手指16放在多色的底板17上。
在图像7中面积大小必须是8×8像素，以便可以给它分配三维坐标。因为需要至少两个完整的彩色条纹来用于分析，其中，在摄像机6中一个彩色条纹的宽度至少是3个像素。
由于在实施这里所述的方法时表面2的单次拍摄就足以确定表面2的三维坐标，所以这里所述的方法和这里所述的装置尤其适合于检测移动的或变形的物体。所以尤其在生物统计的范围内这里所述的方法适合于脸部识别和姿态检测。就这方面而言，这里所述的方法首先适用于人员的识别和鉴权。
其它的应用领域涉及产品的质量保障、设计中的对象的测量，该设计例如用于扩建、用于已有机器或设备的修理或扩充、或用于多媒体领域和游戏领域中物体的三维建模。
要说明的是，也可以将其它的彩色模型、例如YUV模型用于描述彩色图案5。
此外还要说明，将概念“摄像机”理解为任何成像的系统。
权利要求
1.用于对物体(3)进行三维检测的方法，其中，-将具有已知的投影数据的彩色图案(5)投影到所述的要检测的物体(3)上，-利用摄像机(6)检测投影到所述物体(3)上的彩色图案(5)，以及-将由所述的摄像机(6)生成的图像(7)在分析单元(9)中处理成所述物体(3)的三维物体坐标，其特征在于，借助冗余代码来对所述彩色图案(5)中的投影数据进行编码。
2.按权利要求1的方法，其中借助冗余代码的代码字来构造所述彩色图案(5)中的色值，以及其中借助由所述分析单元(9)所实施的、对所述色值进行编码的代码字的搜索，来识别所述图像(7)的点(P)的投影数据。
3.按权利要求1或2的方法，其中借助冗余代码的代码字来构造所述彩色图案(5)的色彩变化，以及其中在所述的分析单元(9)中进行分析期间将对应于所述代码字的色彩变化批准为有效的色彩变化。
4.按权利要求2或3的方法，其中采用具有有意义的汉明距的代码字。
5.按权利要求2至4之一的方法，其中重叠地布置所述的代码字。
6.按权利要求1至5之一的方法，其中在两个值之间改变每个彩色信道中的色值。
7.按权利要求6的方法，其中在最小值和最大值之间改变每个彩色信道中的色值。
8.按权利要求1至7之一的方法，其中共同改变至少两个彩色信道中的色值，以及其中在所述的分析单元(9)中进行分析期间将在至少两个彩色信道中共同出现的色彩变化批准为有效的色彩变化。
9.按权利要求1至8之一的方法，其中在每个彩色信道中在每个代码字之内执行至少一个色彩变化。
10.按权利要求1至9之一的方法，其中在所述的分析单元(9)中借助测量信号(11)的一次导数(12)的极值来确定每个彩色信道中色彩变化的位置。
11.按权利要求1至10之一的方法，其中条形地构成所述的彩色图案(5)，以及其中在所述的分析单元(9)中进行分析期间将彼此相对应的色彩变化连接成轮廓线(15)。
12.按权利要求1至11之一的方法，其中执行所述图像(7)的单次拍摄，用于确定所述物体(3)的表面(2)的三维坐标。
13.按权利要求1至12之一的方法，其中通过对在图像(7)中检测到的所述彩色图案(5)的颜色和对所述彩色图案(5)中原始投影的颜色进行分析来重建所述物体(3)的表面(2)的色泽。
14.用于对物体进行三维检测的装置，所述装置具有用于将彩色图案(5)投影到要检测的物体(3)的表面(2)上的投影仪(4)，和具有用于拍摄投影到所述表面(2)上的彩色图案(5)的图像(7)的摄像机(6)，以及具有用于分析所述图像(7)的分析单元(9)，其特征在于，设置可由所述投影仪(4)进行投影的彩色图案(5)和所述的分析单元(9)，用于执行按权利要求1至13之一所述的方法。
15.将按权利要求1至13之一所述的方法或按权利要求14所述的装置用于人员的脸部识别。
16.将按权利要求1至13之一所述的方法或按权利要求14所述的装置用于人员的姿态识别。
全文摘要
为了确定要检测的物体(3)的表面(2)的三维坐标，建议借助冗余代码来对彩色图案(5)的色彩变化进行编码，该彩色图案(5)由投影仪(4)投影到表面(2)上。一种分析在由摄像机(6)所拍摄的图像(7)中出现的色彩变化的分析方法对表面(2)上的变化是不敏感的。此外可以利用单次拍摄来确定物体(3)的轮廓。本方法因此也适用于移动的物体。
文档编号G01B11/25GK1668890SQ03816872
公开日2005年9月14日 申请日期2003年7月17日 优先权日2002年7月18日
发明者P·鲁梅尔, C·霍夫曼, F·福尔斯特 申请人:西门子公司