专利名称：用于确定测量对象表面上的3d坐标的光学测量方法和测量系统的制作方法
用于确定测量对象表面上的3D坐标的光学测量方法和测量系统
本发明涉及根据权利要求I的前序部分的用于确定测量对象表面的多个测量点的3D坐标的光学测量方法以及根据权利要求9的前序部分的配置为用于这种目的的测量系统。
这种类型的设备和方法具体用于机械工程、车辆工程、陶瓷业、制鞋业、珠宝业、牙科技术和人体医学(整形术)和其它领域，并且可以例如用于测量和协议化质量控制、反向工程、快速原型、快速研磨或者数字样机。
对运行中的生产工序中大致完整质量控制和对原型机的空间成型的数字化的增长的需求意味着记录表面地形图更加频繁地变为测量任务。这里的目的是在短时间内确定被测量对象的表面的各个点的坐标。
可以例如被配置为便携式、手持和/或固定安装的系统的使用本领域已知的图像序列的用于确定测量对象的3D坐标测量系统在此一般具有用于用图案照射测量对象的图案投影器，因此有时称为图案投影3D扫描器或者光结构3D扫描器。投影到测量对象的表面上的图案被作为该测量系统的进一步组成部分的相机系统所记录。
因而，作为测量的一部分，投影器用不同图案(例如，不同宽度的平行亮暗条纹，条纹图案可以还例如旋转90° )·在时间上顺序地照射测量对象。相机在相对于投影的已知观察角登记投影的条纹。用每一个相机，针对每一个投影图案记录一个图像。因而，针对全部相机的每一个像素产生了不同亮度值的时间序列。
然而，除了条纹以外，还有可能有针对要被投影的其它图案，诸如，例如随机图案、 伪随机码等。适用于此的图案是本领域技术人员根据现有技术中明显已知的。伪随机码使得例如能够更容易地绝对关联对象点，这在非常精细的条纹的投影中变得更困难。为此，能够迅速连续投影头一个或者头几个伪随机码接着投影精细条纹图案，或者在连续记录中， 投影在序列中逐渐变得更精细的不同条纹图案，直至在测量对象表面上的测量点的分辨率上实现期望的精度为止。
接着使用根据来自照相测量和/或条纹投影的本领域技术人员已知的方法的图像处理，可以从所记录的图像序列算出测量对象表面的3D坐标。举个例子，在 W02008/046663、DE 101 27 304A1、DE 196 33 686A1 或者 DE 10 2008 036 710A1 中描述了这种测量方法和测量系统。
相机系统通常包括一个或者更多个数字相机，在测量期间彼此位于已知的空间位置。为了确保相机相对于彼此的稳定定位，它们通常通过已知的空间定位和配准被固定集成在一个公共壳体中，具体地，其中相机被配准从而各个相机的视场大致交叉。在此，经常使用两个或者三个相机。在此情况下投影器可以固定连接到相机系统(如果还使用了分离的相机，则仅仅连接到相机系统的可用相机)或者完全与相机系统隔开来定位。
在一般情况下，即投影器相对于相机系统的相对定位和配置彼此固定因此预先不是已知的情况，用两步来计算表面区域的期望三维坐标。第一步，如下来确定投影器的坐标。在给定的对象点，相机图像中的图像坐标是已知的。投影器对应于反向的相机。可以从针对每一个相机像素的图像序列测量到的一系列亮度值来计算条纹的数量。在最简单的情况下，这通过二进制码(例如，格雷码)来实现，其将条纹的数量描绘为投影器中的离散坐标。因而能够通过称为相移法的方法来实现更高的精度，因为可以确定非离散坐标。它可以作为格雷码的补充来使用或者作为绝对测量外差方法来使用。
在由此确定了投影器的位置之后或者在相对于相机系统其位置先前已知的情况下，现在能够例如通过交叉法按照以下方式确定测量对象表面上的测量点的3D坐标。投影器中的条纹数量对应于相机中的图像坐标。条纹数量指出空间中的光平面，图像坐标指出光束。在相机和投影器位置已知的条件下，可以算出该平面和直线的交叉点。这是在传感器的坐标系统中对象点的期望三维坐标。必须精确地知道全部图像束中的集合位置。从照相测量法已知，使用交叉法来精确计算束。
为了在用于计算3D坐标的这种测量方法中实现更好的精度，真实透镜系统的非理想属性(会导致图像失真)可以通过失真校正来自适应和/或可以进行成像属性的精确校准。在本领域技术人员已知的校准处理中(例如，一系列校准记录)，投影器和相机的全部成像属性都可以被测量，并且可以从中产生用于描述这些成像属性的数学模型(使用摄影测量法)-具体地，打捆等式计算(bundling equalizationcalculation) 一例如从一系列校准记录确定用于限定成像属性的参数。
概括地说，在图案投影方法中或者在光结构3D扫描器中，因而必须用一系列光图案来照射对象，以使得在三角测量(交叉)的帮助下能够不含糊地确定测量区域中的测量点的深度。因而，为了确保测量结果的充分高的精度，通常必须有在用对应的不同图案投影 (即，用对应的系列图案)对测量对象照射下的多个记录(即，一系列图像)。在从现有技术已知的手持系统中，诸如例如在WO 2008/046663中描述的测量设备中，照射序列必须足够快地发生以使得在一系列图像的记录期间操作员的移动不导致测量错误。各个投影器的相机所记录的像素必须能够以足够的精度彼此配准。因而，图像序列必须比操作员造成的图案或者图像移位更快地发生。由于投影器的可发射光能量受到可用光源以及辐射保护规定的限制，这导致相机系统的可检测能量的限制因而导致对弱反射测量对象表面的测量的限制。投影器进一步在投影速度(图像速率)方面受到限制。这种投影器的通常最大图像速率例如在60Hz左右。
对于包括投影一系列图案并且用相机系统记录各个图案的图像序列的测量操作， 例如，例如用现有的测量设备约200ms的测量持续时间是必须的(示例为了记录从8到10 个图像的序列，其中每一图像20ms到40ms的曝光持续时间，例如，可以得到每一测量位置的160ms到400ms之间的总记录时间或者测量持续时间)。
在测量操作期间(在测量位置)，在相机装置、投影器(或者，如果适当，以集成方式包含相机装置和投影器的测量头)和测量对象之间不充分稳固性的情况下或者在不充分高的定位和配准稳定性的情况下，可能发生各种不期望的效果，这使得评估更困难，更复杂， 甚至不可能，或者至少对可获得的精度产生负面影响。
相机装置、投影器(或者，如果适当，以集成方式包含相机装置和投影器的测量头) 或者测量对象的不令人满意的稳固性在此可以有各种原因。
首先，测量环境中的摇晃(例如，如果测量是在集成在生产线上的生产台上进行) 会传递到测量对象的夹具或者传递到把持测量头的机械臂因而造成干扰性的振荡。因此，用于振荡阻尼而复杂的措施至此变为必需，或者必须移动到特定测量空间中，然而，这使生产处理明显更复杂(因为必须将测量对象从生产线上移开并且运送到专门设计的测量空间中)。
在手持系统中，稳固性不令人满意的主要原因具体是自然人用户的自然震颤。
这里要提到的可能由缺乏相机装置、投影器和测量对象相对彼此的定位和方向稳定性导致的负面效果首先是图像序列的各个记录图像中的运动模糊和/或相机摇晃。
第二，然而，图像序列的单独图像相对于彼此关于各个记录位置和相对于测量对象的方向上的不一致性(也就是，图像序列中的单独图像的记录位置和方向的变化性)可能发生，从而使单独图像中的像素与测量对象表面上的相同测量点的各个关联完全不可能或者通过巨大的计算复杂度并且将测量对象表面的相同区域的多个图像的信息包括在内才成为可能(即，可能必须随后以计算方式将单独图像摆成空间关系，这是非常劳动密集的， 这就是为什么直至今日，特别是作为对这个效果的防止措施，记录了每一图像序列的过量图像，主要仅仅用于计算回记录位置的空间关系和单独图像相对于彼此的方向)。
为了扩展测量对象上的测量区域(例如，用于测量整个对象)，必须频繁连续进行多个测量(从多个测量位置和相机相对于测量对象的不同视角)，其中多个测量的结果随后被链接到一起。这可以例如通过记录在各个测量操作中以交叠方式在每一种情况下选择的区域并且通过各个交叠被用于相应地将多个测量操作中获得的3D坐标(S卩，点云)连接到一起(即，各个测量操作中确定的点云中的相同或者类似分布可以被标识并且因此这些点云可以被连接到一起)。
然而，这种连接操作通常计算量巨大并且即使最大的处理器能力可用，也在时间和能量上要求不少的令人烦恼的花费。当例如使用机械臂来把持并且引导测量头时，因而通过基于各个机械臂记录各个测量中的记录位置和方向并且使用它们作为在先信息(例如，作为边界条件)进行连接，可以实现连接操作所必需的计算花费的降低。
此情况下的缺点是基于机械臂位置确定测量位置的相对低的准确度，并且，仍然要求存在这种机械臂。因而，对于手持测量系统，不能够减少用于将多个测量操作的测量结果连接到一起的计算能力。
此外，使用大致相干光辐射进行图案照射的现有技术的系统的缺点是由于在图案序列的各个图案中发生不期望的散斑场，导致局部测量不准确或者测量点间隙。
本发明所基于的技术目的是提供一种改进的光学测量方法和测量系统，使用图像序列来确定测量对象表面上的3D坐标，具体地，其中可以减少或者消除上述缺点中的一个或者更多个缺点。
本发明的更具体的目的在此是使得在投影器、相机系统和/或测量对象的位置稳定性在测量操作期间(即，在图案序列投影和图像序列记录期间)对于现有技术已知的测量系统不令人满意的情况下(例如，由于不期望的振荡、摇晃或者不稳固)也能够更精确地确定3D坐标。具体地，目的在此是能够首先减少由于相机摇晃和/或图像序列的单独图像中的运动模糊所导致的3D坐标确定中的错误或者不准确。第二，目的是还能够减少或者消除在不稳固的情况下由图像序列的图像相对于彼此的记录位置和记录方向变化性导致的错误。
另一个具体目的是当使用相干光源来投影图案时减少由于测量对象表面上的图案中的散斑引起的局部测量间隙或者局部测量不准确性。
另一个具体目的是特别针对手持测量系统简化了将多个测量操作的测量结果连接到一起(例如，从其产生的点云)和/或减少这种连接要求的计算能力。
这些目的通过实现独立权利要求的描述特征来实现。可以从从属权利要求集合按照另选或者有利方式发展本发明的特征。
本发明涉及一种使用图像序列来确定测量对象表面的3D坐标的图案投影测量方法，以及为此目的而构建的测量系统。
在本发明的上下文中，在测量操作期间，S卩，当记录图像序列时，使用惯性传感器来测量图案投影器的、相机系统的(例如，如果适当，则以集成方式包含相机装置和投影器测量头的)和/或测量对象的平移和/或旋转加速度，并且在确定3D坐标时将测量到的加速度考虑在内。
在更详细的描述中，根据本发明，在图像序列的各个图像的曝光时间期间，在记录图像序列期间至少以在图像序列的各个单独图像的曝光时间期间在每一种情况下捕捉到针对加速度的多个值(具体地大量的值)的测量速率来测量平移和/或旋转加速度。基于此，根据本发明，在3D坐标的确定中，基于测量到的加速度，在图像序列的各个单独图像的曝光时间期间发生并且因而引起图像序列的各个单独图像中的相机摇晃和/或运动模糊的投影器的、相机系统的和/或测量对象的移动被在算法上考虑在内。
具体地，依赖于测量到的加速度，在图像序列的单独图像的每一种情况下，发生对由于在图像序列的各个单独图像的曝光时间期间发生的所述投影器的、所述相机系统的和 /或所述测量对象的移动导致的相机摇晃和/或运动模糊的补偿和/或校正。
为此目的，惯性传感器可以被布置在相机系统上，在投影器上和/或在测量对象上，其中惯性传感器被配置为具体地一起作为集成的惯性测量单元。
依赖于相机系统的和投影器的实施方式变化，惯性传感器在此情况下还可以被相应地集成在包含相机系统和/或投影器的部件的壳体中。例如作为现有技术中已知的，相机系统(还称为相机装置)可以由一个、两个、三个、四个或者更多个相机来配置，这些相机相对于彼此以固定和已知的定位和方向上排列在公共壳体中并且被配置为用于大致同时记录各个图像。另选地，相机装置的各个相机还可以被配置为物理地彼此隔开，然而，在每一种情况下，专用壳体一般使图像序列的评估更困难，因为在这种情况下，相机的相对于彼此的相对空间关系不是预定义的(在正常情况下导致在图像序列的评估中的计算花费增加)。另外，在手持系统中物理上隔开的相机的情况下，在使用中的困难是多个分开的设备项目必须被携带和把持。由于以上两个原因，具体地在手持系统或者被配置为安装在机械臂上的系统，相机系统可以被与投影器一起相对于彼此以固定和已知定位和方向容纳在测量系统的公共测量头中，其中在这种情况下根据本发明还可以布置惯性传感器或者惯性测量单元。
相似地，惯性传感器的组可以另选地或者附加地被配置为安装在被测对象上，为了被在3D坐标确定中考虑，该传感器组将测量到的加速度(或者从加速度导出的移动甚至位置和配准)从被测对象传送给测量系统的评估单元。
具体地，在此，惯性传感器被组合并且集成到基于基于MEMS的部件(MEMS是指微机电系统)的惯性测量单元，从而所述惯性测量单元被配置为用于测量全部六个自由度上的加速度，具体地例如在大约50到2000Hz之间的测量速率下。
如本领域技术人员已知的，在此，通过在惯性测量单元(IMU)中相应地组合多个惯性传感器，作为使用以下传感器类型的规则，可以测量六个自由度的加速度
三个正交排列的加速度传感器(还称为平移传感器)检测X或者y或者z轴上的直线加速度。基于此，可以计算出平移移动(和相对位置)。三个正交排列的转速传感器(还称为陀螺仪传感器)测量关于X或者y或者Z轴的角加速度。基于此，可以计算出旋转移动 (和相对配准)。
被配置为小型化设备或者组件的这种基于基于MEMS的部件的惯性测量单元从现有技术中已经充分已知，并且已经大规模生产了很长时间。
根据本发明，在测量操作期间或者附加地在多个测量操作之间检测到的相机系统的、投影器的和/或测量对象的加速度可以在此用于评估过程中(例如，在从图像序列确定测量点的3D坐标的过程中或者在将实现的多个测量操作获得的即从多个图像序列中获得的测量结果连接到一起的过程中)用于各种目的并且改进各个方面。
如果，如在本发明的上下文中提供的，在图像序列的各个图像的曝光时间期间以充分高的速率(即，以在各个图像的每一曝光持续时间提供至少几个，例如5到50个加速度值的速率)捕捉加速度，则可以使用这些测量到的加速度值，在算法上将在图像序列的各个图像的曝光时间期间投影器、相机系统和/或测量对象的移动考虑在内，这些移动引起相机摇晃和/或运动模糊。根据例如从摄影中充分已知的方法，测量的加速度值可以优选地被用于补偿或者校正图像序列的各个图像中的相机摇晃和/或运动模糊。
在图像的曝光时间期间，测量系统和测量对象相对于彼此缺少位置和方向稳定性在此可以例如由以下导致用户用他的手把持投影器、相机系统和/或测量对象，具体地， 由于手抖和意外导致，或者所述投影器、所述相机系统和/或所述测量对象的保持件的摇晃或者振荡。
根据本发明捕捉到的空间中的移动因而可以用于例如校正数字相机或者三角测量扫描器的各个记录中的模糊。另外，在手持系统中能够消除或者至少减少由于用户的手的抖导致的主要限制。
在测量系统的静止安装期间经常发生的，测量期间的干扰振荡/摇晃因而根据本发明如上所述在3D坐标的评估和确定中也被考虑在内。结果，能够例如免除通常在构造上复杂的振荡阻尼的措施(或者至少可以提供明显较不复杂的措施)，同时提高3D坐标确定的精度或者至少不用必须接受精度上的损失。根据本发明的测量系统因此更适用于在生产线上直接使用。受益于本发明，通常可以免除在整体上看来非常复杂的专门测量空间中操作 “离线”地测量系统(包括将测量对象从生产线上移开并且将其传送到专门为此设计的测量空间中)。
根据一种发展，所捕捉的测量系统部件(即，相机装置/投影器)和/或测量对象的加速度根据本发明可以被使用，以在每一种情况下将在各个记录时间当前的一个图像记录位置和相对于测量对象的方向，与图像序列的各个图像关联起来。为此，在整个测量操作 (即，记录图像序列或者多个图像序列的整个操作)期间捕捉加速度。具体地，为此可以在能够进行各个图像的各个记录时间的精确关联的速率下进行测量。如果加速度是以比图像被顺序记录显著更高的速率被捕捉，则还能够将从在各个图像的曝光持续时间中捕捉到的加CN 102947670 A书明说6/11 页速度的平均值得到的图像记录位置和方向与各个图像关联起来。
同样在例如由于抖引起的各个图像的记录位置和方向发生变化的情况下，与图像序列的各个图像相关联的各个记录位置和方向用于简单链接各个图像中的像素和测量对象表面上的相同测量点。
根据本发明，因而可以明显减少用于评估图像序列的计算花费(具体地在交叉方法中是必需的)，因为从记录位置和方向导出，能够预先确定通过图像序列的各个图像的哪些像素对表面的各个相同测量点成像。
由于在来自现有技术的系统中，必须部分地记录每一图像序列中的过量图像，以在实际评估之前通过图像处理将图像相对于彼此布置在空间关系中，所以根据本发明现在能够减少计算花费和/或为了从此图像序列相对精确地确定3D坐标而每一图像序列必须记录的图像数量。
然而，另一方面，本发明还使得图像序列中的图像能够在更长的测量间隔上记录， 这是因为根据本发明在系列图像的记录期间测量部件的不稳固性的影响可被充分良好地补偿或者校正并且不导致测量失败。
例如，为了测量测量对象表面的更大区域(其超过相机装置和投影器的观察和投影区域)，根据现有技术必须进行多个测量操作并且基于以交叠方式测量的部分区域随后将结果(例如点云)连接到一起(“缝合”)。
根据本发明，现在能够例如还进行相对长的测量操作(例如，在1-5秒或者更长上连续顺序记录图像)，其中投影器和相机系统被有意地移动从而最终覆盖了整个期望测量区域(例如，从各个边的整个测量对象)。移动速度和投影图案的连续性以及图像记录频率在此应被适用并配置从而全部这些部分区域被针对评估而充分变化的图案照射，并且充分数量的图像被记录。
不同于多个各个测量操作(其中相机装置的和投影器的位置和配准稳定性在各个单独测量中尽可能的静止，其测量结果随后被以计算密集的方式链接)，根据本发明因而能够以“滑翔方式”实现连续测量操作，并且针对图像序列的评估，基于根据本发明而同时测量的加速度将各个图像相对于它们各自记录位置和方向放置成相对于彼此的空间关系。
然而，在本发明的进一步实施方式中，还能够进行各个测量操作，其中，根据本发明可以通过减少的计算花费使用测量的加速度将测量结果(例如，点云)连接到一起(“缝合”)。现在不绝对必须以交叠方式测量特定部分区域，以使得能够首先进行对应的将测量结果接到一起。然而交叠测量仍然能够被这样进行，以在本发明的上下文中进一步增大各个测量结果的缝合的可靠性和准确性。各个单独测量操作中的可以基于加速度导出的测量位置和方向也可以被使用，例如，以提供用于点云的计算链接的改进的开始值，如果其涉及相同点(控制点)或者相同图案/几何形状(在交叠区域中)。
根据本发明的又一个方面，与各个图像相关联的记录位置和方向是从测量到的加速度导出的记录位置和方向，还可以被用于稠密化测量区域(从而在特定测量区域中以更大数量的测量点来确定3D坐标)。为此，能够例如通过投影器、相机装置和/或测量对象的略微有意移动(例如由于用户的手的自然抖导致)使一系列图案投影到表面区域上并且从其记录一系列图像(或者相同测量区域的多个系列被链接到一起)，并且通过加速度，将图像以高精确的方式放置成相对于彼此的空间关系，从而结果是可以在带有更高测量点密度10的测量区域中确定得到的3D坐标。具体地结果能够确定测量对象的表面上例如还在各个图像的子像素区域中的测量点的3D坐标。
按照类似方式，根据本发明还能够使得使用大致相干光辐射进行图案照射的系统来减少由于图案序列的各个图案中的无意发生的散斑场对测量结果造成的负面影响(例如局部测量不准确或者测量点间隙)。如果，例如，在测量操作期间投影器、相机装置和/或测量对象被有意地略微移动(例如由于用户的手的自然抖导致)，投影在测量对象表面上的图案中的散斑场也改变。结果，因而各个图像中的散斑场能够不总是出现在测量对象表面上的相同位置。在按此记录的图像序列的上下文中，因此在图像序列的至少一些图像中应存在更少的或者不存在不被按照以大致无散斑图案照射的方式成像的位置。通过并置图像序列的图像(其中根据本发明通过使用在此测量到的加速度，图像再次被放置为相对于彼此的空间关系)，因而能够减少在通过相干光辐射的图案投影的情况下由散斑导致的负面影响。
因而，概括而言，根据本发明为了各种目的能够在测量操作期间(图案序列投影和图像序列记录)有意移动测量对象、相机系统和/或投影器(或者为了减少或者消除由实际上不期望的移动导致的负面影响)。为此使用惯性传感器来测量投影器、相机装置和/或测量对象的加速度并且将图像序列的各个图像的评估考虑在内。
具体地，根据本发明能够使用测量到的加速度针对每一个图像单独地进行补偿或者校正图像中由各个图像的曝光时间期间的移动导致的影响(相机摇晃/运动模糊)。
然而，附加地或者另选地，还能够将从加速度导出的相对于测量对象(如果适当， 则各个当前图案投影位置和方向)的各个当前记录位置和方向(如果适当，则平均值)与每一个图像关联，因而为了确定从图像序列得到的3D坐标而预先将图像放置成相对于彼此的空间关系。例如能够在测量对象的、相机系统的和/或投影器的有意移动的情况下，
·用于放大测量对象表面上的测量区域，
·用于稠密化测量区域并且因而增大测量对象表面上的测量点密度和/或
·用于改变图案序列的各个图案中的在用大致相干光辐射照射的情况下意外产生的散斑场，并且因而用于减小由这种散斑场导致的局部测量不准确或者测量点间隙。
具体地，在此能够针对投影器、相机系统和/或测量对象，由用他的手把持测量对象和/或相机系统的用户和/或为此设计并且被手动或者以自动编程方式控制的保持件 (具体地，机械臂)来导致为了这些目的而实现的移动。
再一次，附加地或者另选地，然而，能够在连续进行多个单独测量操作期间，(相机装置、投影器和测量对象相对于彼此的)测量位置和配准与每一个测量操作关联，因而能够简化或者能够首先进行将来自多个单独测量操作的结果连接到一起。
将在下面参照在附图中示意地例示的具体的示例性实施方式描述根据本发明的方法和设备，其中将提到本发明的进一步优点。在附图中
图I示出了用于确定3D坐标的光学测量系统，其中惯性测量单元(MU)根据本发明集成在手持测量头中；
图2示出了根据本发明的包括具有IMU的手持测量头、投影器和三个相机的光学测量系统，其中在3D坐标确定的过程中用图案照射作为测量对象的车门；
图3和图4示出了根据本发明的包括具有IMU的手持测量头、投影器和相机的光学测量系统，其中用具有不同精细度的图案连续照射作为测量对象的车门；
图5和图6示出了根据本发明的带有被机械臂把持的测量头光学测量系统，其中用具有不同精细度的条纹图案连续照射作为测量对象的车门；
图7示出了根据本发明的带有手持测量头的光学测量系统，其中例示了由于在测量期间手抖所导致的不稳固性；
图8示出了根据本发明的带有设置在测量对象上的MU的光学测量系统，其中测量对象被放置在不同位置以放大测量区域并且在不同位置记录的图像被基于测量到的加速度连接到一起；
图9示出了根据本发明的包括具有IMU的手持测量头的光学测量系统，其中测量头被放置在不同位置以放大测量区域并且在不同位置记录的图像被基于测量到的加速度连接到一起；


图10示出了根据本发明的用于生产线上的光学测量系统，其中基于测量到的加速度来补偿摇晃，该摇晃影响了用根据本发明的测量系统的测量并且是从相邻生产台传递来的。
根据本发明，图I所示的用于确定测量对象表面Is的多个测量点的3D坐标的光学测量系统7具有投影器3、相机系统4、评估单元6和集成在惯性测量单元(IMU)中的惯性传感器5a。
投影器3在此被配置为用不同光学图案2a的图案序列来照射测量对象表面Is。例如，图案投影器3可以按照类似于幻灯片投影器的原理来配置。然而，还有可能使用其它投影技术来产生光图案2a，例如可编程LCD投影器、投影器中具有不同光栅结构的可动玻璃幻灯片、可电开关的光栅和机械移动器件的组合或者基于玻璃幻灯片的各个光栅的投影。
相机系统4被配置为用于记录被图案序列照射的测量对象表面Is的图像序列并且在此可以具有至少一个相机，具体地，然而可以例如相对于彼此用固定和已知定位和方向排列并且具体针对大致同时记录各个图像而配置的两个、三个或者四个相机4a、4b、4c。
如本领域技术人员已知的，能够使用例如带有电子图像传感器(例如，CCD传感器或者CMOS传感器)的相机4a、4b、4c进行图像记录，电子图像传感器提供图像矩阵形式的图像信息以便进一步处理。在此情况下能够使用单色相机和彩色相机两者。
评估单元6被配置为用于从图像序列确定测量点的3D坐标，具体地，在确定关于记录的图像序列的各个图像针对测量对象表面Is的相同测量点的一系列亮度值时。
根据示例性实施方式，投影器3和相机系统4被以固定和已知的定位和方向相对于彼此物理地容纳在测量系统7的公共测量头8中，具体地，其中测量头8被配置为能够被手把持和/或能够被附接到机械臂上。
根据本发明，具有惯性传感器5a的IMU也被集成在测量头8中，其中惯性传感器 5a因而被配置用于测量在图像序列的记录期间测量头8的(即，投影器的和相机系统4的) 平移和旋转加速度。惯性传感器5a在此被配置为用于至少按照使在图像序列的各个单独图像的曝光时间内在每一种情况下都可捕捉到针对加速度的多个值特别是大量的值这样的测量速率来测量加速度。
评估单元6在此被配置为通过其实现惯性传感器5a和相机系统4的同步控制，从而在图像序列的记录期间，在每一种情况下至少在图像序列的各个图像的曝光时间期间捕捉到加速度的多个值。
因而根据本发明能够最终使用评估单元6基于用于确定3D坐标的惯性传感器5a 测量到的加速度，在算法上将引起图像序列的各个单独图像中的相机摇晃和/或运动模糊的投影器3的、相机系统4的和/或测量对象I的移动考虑在内。
在此能够具体地基于测量到的加速度来针对每一个图像进行补偿或者校正由于图像中的各个图像的曝光时间期间的移动(相机摇晃/运动模糊)导致的影响。
为此，评估单元6可以被配置为依赖于测量到的加速度，在图像序列的各个图像的每一种情况下，对由于在图像序列的各个单独图像的曝光时间期间发生的投影器3的、 相机系统4的和/或测量对象I的移动所导致的相机摇晃和/或运动模糊进行补偿和/或校正。
概括而言，在图像序列的各个图像的曝光时间期间以充分高的速率捕捉加速度 (即，以在各个图像的每一曝光持续时间提供至少几个，例如5到50个加速度值的速率)，并且基于此，能够基于这些测量到的加速度值接着在算法上将在图像序列的各个图像的曝光时间内投影器、相机系统和/或测量对象的移动考虑在内，该移动引起图像中的相机摇晃和/或运动模糊。根据例如从摄影中充分已知的方法，测量的 加速度值可以优选地被用于补偿或者校正图像序列的各个图像中的相机摇晃和/或运动模糊。
惯性测量单元的惯性传感器5a在此可以具体地基于基于MEMS的部件，并且可以被组合和集成到IMU中从而被配置为用于测量全部六个自由度中的加速度，具体地，以大约50到2000Hz之间的测量速率来测量。
因而能够具体地被评估单元6自动并且以可编程方式控制，所例示的光学测量系统7被配置并且设计为进行如以上描述的根据本发明的光学测量方法。
图2所示的根据本发明的光学测量系统7的示例性实施方式具有包括IMU (具有惯性传感器5a)的手持测量头8、投影器3和三个相机4a、4b、4c (例如，集成在具有手柄的手持壳体中因而被配置为光结构3D手持扫描器)，其中在3D坐标确定的过程中使用投影器 3用图案2a (作为图案序列的一部分)照射作为测量对象I的车门。
在此通过示例方式相对于彼此以固定和已知的定位和方向排列的相机系统4的三个相机4a、4b、4c被配置为用于记录被图案序列照射的车门表面的图像序列。相机4a、 4b,4c在此可以被配置为用于大致同时记录各个图像。
另外，惯性测量单元(带有惯性传感器5a)再次被集成到测量头8中，作为其结果， 在评估图像序列并且导出3D坐标的过程中，可以进行根据本发明的对例如由涉及手抖的不稳固性引起的测量错误的补偿。具体地被评估单元6自动并且以可编程方式控制，所例示的光学测量系统7能够被配置并且设计为进行如以上描述的根据本发明的光学测量方法。
图3和图4所示的根据本发明的光学测量系统7的示例性实施方式具有包括IMU (具有惯性传感器5a)的手持测量头8、投影器3和三个相机4a (例如，集成在具有手柄的手持壳体中因而被配置为光结构3D手持扫描器)，其中在用作为图案序列的一部分的具有不同精细度的图案2a、2b (图3 :粗糙图案2a ;图4 :精细结构图案2b)照射作为测量对象I 的车门。
从现有技术已知，因而对象(例如车门)被具有不同结构精细度的光图案2a、2b的序列照射，以在三角测量(交叉)的帮助下能够不含糊地确定测量区域中的测量点的深度。 在此，还通过用对应的不同图案2a、2b (即，系列图案)照射测量对象I来记录多个图像(即， 系列图像)。
根据本发明，惯性测量单元(带有惯性传感器5a)再次被集成到图3和图4例示的 3D扫描器的测量头8中，作为其结果，可以在评估图像序列并且导出3D坐标的过程中，进行根据本发明的对例如由涉及手抖的不稳固性引起的例如测量错误的补偿。具体地被评估单元自动和以编程方式控制，所例示的光学测量系统7可以被配置和设计为进行根据本发明的光学测量方法的单独或者多个上述实施方式(例如，在权利要求I到8中任意一项要求保护的)。
图5和图6例示了类似于图3和图4例示的根据本发明的光学测量系统7，除了测量头8被配置为被机械臂把持的测量头8并且投影器3被配置为用于连续投影具有不同精细度的条纹图案2a、2b作为图案条纹之外。
根据本发明，图3和图4例示的测量头8还具有惯性测量单元MU(带有惯性传感器5a)，作为其结果，可以在评估视频序列和导出3D坐标的过程中实现根据本发明的对例如由从测量区域环境传递到机械臂的摇晃所导致的测量错误的补偿。另选地或者附加地， 测量到的加速度还可以用于将从不同机械臂位置捕捉的各个图像(作为一个或者更多个图像序列的一部分)在空间上连接到一起(“缝合”)，从而，依赖于可被本领域技术人员适用的不同的记录位置的选择，测量区域因而可以被放大和/或稠密化，或者在用大致相干光学辐射照射图案序列的各个图案2a、2b的情况下意外出现的散斑场的变化因而可以实现这种散斑场导致的局部测量不准确性或者测量点间隙的减小。
图7和图9示出与图I类似的测量系统，并且在此例示了在测量期间测量头8的不稳固性/移动(由手抖以外地导致或者例如为了稠密化或者放大测量区域估计地导致)。 使用IMU (带有惯性传感器5a)测量到的加速度可以接着用于将从不同手持位置拍摄到的各个图像(作为一个或者更多个图像序列的一部分)在空间上连接到一起(“缝合”)。
另外，在此能够在测量对象I上实现(图案序列的)各个图案投影2a、2b的相机摇晃并且实现(图像序列的)各个图像记录相机摇晃，其中在使用集成在测量头8中的IMU测量到的加速度来确定3D坐标的过程中，根据本发明由于相机摇晃在图像中导致的错误利用被校正或者被补偿或者被考虑在内。
图8例示了根据本发明的具有布置在测量对象I上的IMU (带有惯性传感器5b) 的光学测量系统7，其中测量对象I可以被放置成不同位置用于放大测量区域，并且根据本发明，在(图像序列的)各个图像中记录的测量对象I的不同位置可以基于IMU测量到的加速度被链接并且被放置成相对于彼此的空间关系。
除了在测量对象I上的IMU (带有惯性传感器5b)以外，IMU (带有惯性传感器5a) 还能够再次被集成到测量头8中。作为结果，如上所述，能够除了能够考虑针对在测量期间发生的测量头8的移动，而且根据本发明还考虑在确定深度信息和3D坐标期间发生的测量头8的移动。
图10示出了根据本发明的用于生产线上的光学测量系统，其中基于测量到的加速度来补偿摇晃，该摇晃影响了用本发明的测量系统进行的测量并且是从相邻生产台传递来的。
为此，在每一种情况下，根据本发明，以及例如以上结合图8描述，一个MU (带有惯性传感器5a和/或5b)既可以被布置在测量对象I上也可以集成到测量头8中(在此情况下，仅仅举例，有两个相机)，结果可以在评估视频序列和导出3D坐标期间实现根据本发明的对例如由于从测量区域环境传递到机械臂的摇晃以及由于测量头8的不稳固性而导致的错误的补偿。
可以理解的是，所例示的附图仅仅示意地例示了可能的示例性实施方式。不同方案可以类似地彼此组合以及与现有技术的方法组合。
权利要求
1.一种用于确定测量对象表面(Is)的多个测量点的3D坐标的光学测量方法，所述方法包括以下步骤 使用投影器(3)以不同图案(2a、2b)的图案序列来照射所述测量对象表面(ls)， 使用相机系统(4)来记录被所述图案序列照射的所述测量对象表面(Is)的多个单独图像的图像序列，以及 通过评估所述图像序列来确定所述测量点的3D坐标，尤其是其中，针对所述图像序列的各个图像中的所述测量对象表面(Is)的相同测量点确定一系列亮度值，所述方法的特征在于， 在至少在所述图像序列的单独图像的曝光时间期间记录所述图像序列期间，以至少这样的测量速率来测量所述投影器(3 )的、所述相机系统(4 )的和/或所述测量对象(I)的平移和/或旋转加速度，即，该测量速率使得在所述图像序列的各个单独图像的曝光时间期间在每一种情况下捕捉所述加速度的多个值，尤其是大量值，以及 在基于测量到的加速度来确定3D坐标时，在算法上将所述投影器(3)的、所述相机系统(4)的和/或所述测量对象(I)的移动考虑在内，所述移动引起所述图像序列的各个单独图像中的相机摇晃和/或运动模糊并且发生在所述图像序列的各个单独图像的曝光时间期间。
2.根据权利要求I所述的光学测量方法，其特征在于，在全部六个自由度上测量所述投影器(3)的、所述相机系统(4)的和/或所述测量对象(I)的加速度，并且尤其是在记录所述图像序列的整个操作期间以特定测量速率特别是大约50Hz到2000Hz之间来连续测量所述加速度。
3.根据权利要求I或2所述的光学测量方法，其特征在于，依赖于测量到的加速度，在所述图像序列的单独图像中分别执行对相机摇晃和/或运动模糊的补偿和/或校正，所述相机摇晃和/或运动模糊是由在所述图像序列的各个单独图像的曝光时间期间发生的所述投影器(3)的、所述相机系统(4)的和/或所述测量对象 (O的移动所导致的，其中，特别地，所述移动是由 用户将所述投影器(3)、所述相机系统(4)和/或所述测量对象(I)把持在他的手中导致的，具体地是由手抖和不经意造成的，或者 所述投影器(3)、所述相机系统(4)和/或所述测量对象(I)的保持件的摇晃或者振荡导致的。
4.根据权利要求I到3中任何一项所述的光学测量方法，其特征在于，在记录所述图像序列或者多个图像序列的整个操作期间，测量所述加速度，并且利用测量到的加速度以计算方式将通过针对测量点的3D坐标评估所述单独图像而获得的信息结合到一起，具体地，其中在记录的操作期间， 为了放大所述测量对象表面(Is)上的测量区域， 为了稠密化所述测量区域并由此增大所述测量对象表面(Is)上的测量点密度，和/或 为了改变所述图案序列的各个图案(2a、2b)中的在用大致相干光辐射照射的情况下意外出现的散斑场，并由此用于减小由这种散斑场导致的局部测量不准确度或者测量点间隙，移动所述测量对象(I)、所述相机系统(4)和/或所述投影器(3)，具体地，其中为此目的实现的移动是由 将所述测量对象(I)和/或所述相机系统(4)把持在他的手中的用户实现的，和/或 用于所述投影器(3)、所述相机系统(4)和/或所述测量对象(I)的为此设计并且被手动控制或者以自动编程方式控制的保持件，具体地为机械臂，实现的。
5.根据权利要求4所述的光学测量方法，其特征在于，对于在计算上将所记录的单独图像之间的相对于彼此的关于它们相对于测量对象(I) 的记录位置和方向的空间关系结合到一起，所述关系是从测量到的加速度导出的，被用作开始条件使得在计算上结合到一起本身相比于不使用这种开始条件的方法需要减少的计算花费。
6.根据权利要求I到5中任何一项所述的光学测量方法，其特征在于，根据三角测量原理以摄影测量方式根据所述图像序列以及对在所述图像序列的单独图像中捕捉到的图案序列的图案的了解，具体地使用交叉来确定所述测量点的3D坐标。
7.根据权利要求I到6中任何一项所述的光学测量方法，其特征在于，相对于彼此已知的所述位置的照射和记录是根据相对于彼此已知的配准进行的，具体地其中，由作为所述相机系统(4)的一部分的多个相机(4a、4b、4c)从不同位置进行所述记录。
8.根据权利要求I到7中任何一项所述的光学测量方法，其特征在于，以 不同精细度的条纹图案， 伪随机码，和/或 随机图案作为所述图案序列的不同图案来连续照射所述测量对象表面(ls)，具体地，其中，用大致上直接时域连续的各个图案(2a、2b)进行照射，投影持续时间大约在IOOms到300ms 之间，具体地约200ms，并且以每一种情况下每一图像大约IOOms到300ms之间，具体地约 200ms，的曝光持续时间来进行所述图像序列的记录。
9.一种用于确定测量对象表面(Is)的多个测量点的3D坐标的光学测量系统(7)， 所述光学测量系统(7)包括 投影器(3)，其用于以不同光学图案(2a、2b)的图案序列来照射所述测量对象表面 (Is), 相机系统(4)，其用于记录被所述图案序列照射的所述测量对象表面(Is)的多个单独图像的图像序列，以及 评估单元，其用于从所述图像序列确定所述测量点的3D坐标，尤其是同时针对所述图像序列的单独图像中的所述测量对象表面(Is)的相同测量点确定一系列亮度值，所述光学测量系统(7)的特征在于，在 所述投影器(3)上， 所述相机系统(4)上,和/或 所述测量对象(I)上，设置有惯性传感器(5a、5b)用于以至少这样的测量速率来测量所述投影器(3)的、所述相机系统(4)的和/或所述测量对象(I)的平移和/或旋转加速度，即，该测量速率使得在所述图像序列的各个单独图像的曝光时间期间在每一种情况下能够捕捉所述加速度的多个值，尤其是大量值，并且所述光学测量系统(7)的特征还在于，所述评估单元(6)被配置为用于实现所述惯性传感器(5a、5b)和所述相机系统(4)的同步控制，使得在记录所述图像序列期间，在每一种情况下至少在所述图像序列的单独图像的曝光时间期间捕捉所述加速度的多个值，以及用于基于所述惯性传感器(5a、5b)测量到的用于确定3D坐标的加速度，在算法上将所述投影器(3)的、所述相机系统(4)的和/或所述测量对象(I)的移动考虑在内，所述移动引起所述图像序列的各个单独图像中的相机摇晃和/或运动模糊。
10.根据权利要求9所述的光学测量系统(7)，其特征在于，所述惯性传感器(5a、5b)被组合并集成到惯性测量单元中，具体地，基于基于MEMS的部件中，使得所述惯性测量单元被配置为具体地以大约50Hz到2000Hz的测量速率来测量全部六个自由度上的加速度。
11.根据权利要求9或10所述的光学测量系统(7)，其特征在于，所述评估单元(6)被配置为，依赖于测量到的加速度，在所述图像序列的单独图像中分别执行对相机摇晃和/或运动模糊的补偿和/或校正，所述相机摇晃和/或运动模糊是由在所述图像序列的各个单独图像的曝光时间期间发生的所述投影器(3)的、所述相机系统(4)的和/或所述测量对象(I)的移动所导致的。
12.根据权利要求9到11中任何一项所述的光学测量系统(7)，其特征在于，所述投影器(3)和所述相机系统(4)以固定和已知的定位和方向相对于彼此物理地容纳在所述测量系统的公共测量头(8)中，其中，所述惯性传感器(5a、5b)还被布置成，具体地，其中所述测量头(8)被配置为能够被手把持和/或能够被附接到机械臂上。
13.根据权利要求9到12中任何一项所述的光学测量系统(7)，其特征在于，所述相机系统(4)具有至少一个相机(4a、4b、4c)，具体地，其中所述相机系统(4)包含两个、三个或者四个相机(4a、4b、4c),这些相机以固定和已知定位和方向相对于彼此布置并且被配置为大致同时记录单独图像。
14.根据权利要求9到13中任何一项所述的光学测量系统(7)，其特征在于，所述测量系统被配置并设计为用于执行根据权利要求I到8中任意一项所述的光学测量方法。
全文摘要
本发明涉及一种用于确定测量对象表面(1s)的多个测量点的3D坐标的光学测量方法。为此，使用投影器(3)以各种图案(2a、2b)的图案序列来照射测量对象表面(1s)，用相机系统(4)记录被图案序列照射的测量对象表面(1s)的图像序列，并且通过评估图像序列来确定测量点的3D坐标。根据本发明，在图像序列被记录时，至少在图像序列的单独图像的照射时间内，至少按照使得在图像序列的各个单独图像的照射时间内在每一种情况下能够获得加速度的多个值具体地大量的值的测量速率，来测量投影器(3)、相机系统(4)和/或测量对象(1)的平移和/或旋转加速度。因而当确定3D坐标时，能够基于测量到的加速度在算法上将投影器(3)、相机系统(4)和/或测量对象(1)的移动考虑在内，该移动在图像序列的各个单独图像的照射时间期间发生并且引发图像序列的各个单独图像中的不稳固性和/或运动模糊。
文档编号G01B11/25GK102947670SQ201180030261
公开日2013年2月27日 申请日期2011年6月9日 优先权日2010年6月21日
发明者克努特·西尔克斯 申请人:莱卡地球系统公开股份有限公司