专利名称：用于表面特征自适应性三维扫描的系统的制作方法
技术领域：
本说明总体上涉及物体的表面几何结构的三维扫描领域。
背景技术：
为了建立一个物体表面的几何模型，已经开发了多种距离传感器。这些传感器在 多个点的一个集合处测量传感器与表面之间的距离。对于近距离测量，典型地是使用基于 三角测量的激光距离传感器。然后，一个物体的部分或整个表面形状可以从收集自多个视 点的测量值进行建模。为此目的，应该在将这些距离测量值整合进入一个公共的全局坐标 系之前确定在传感器与物体之间的相对位置。人们可以使用一个外部定位装置或者可以在 传感装置之中整合自动对位功能。例如P. Hebert等人在编号WO 2006/094409A1下公开的 国际专利申请中说明了一种自动对位的手持式距离传感器，该传感器整合了一种激光图案 投影器以及两个照相机，这两个照相机同时捕捉激光图案的图像以及后向反射的目标特征 的图案。这些后向反射的特征被用于自动对位并且使用LED将其照明，这些LED的谱带与 该激光图案投影器的谱带相匹配。基于对这些特征的观察，该系统将激光三角测量与用于 自动对位的摄影测量法的原理结合在一起。对于手持式的操作而言该系统是紧凑的，并且 该系统增量地并且同时建立了这些目标特征的3D位置的一个模型用于在重构该表面的几 何结构的同时匹配和计算该距离传感器的当前位置。使用这样一种系统不允许捕捉该物体表面的颜色纹理。人们可以首先建立该物体 表面的3D模型，并且然后使用一个彩色照相机来收集该物体表面的图像，在将这些图像合 并以及整合进入一种纹理化的模型表示之前，它们可以与该模型对齐。然而，这样一种方法 将要求两个系统，而在扫描的同时并未提供一种增量地建立完整模型的能力。已知系统的另一个限制是与复原的模型的分辨率相关的。由于这些照相机被用于 定位，所以要求宽广的视野。相反，为了复原一个物体表面形状(即其几何结构)的较高分 辨率，应该将一个更小的表面区域映射到这些图像中的更大数量的像素上。因此，在定位与 该几何结构的复原分辨率之间存在着一种妥协。

发明内容
在此提供了多种系统和方法，它们允许用一个可操纵的激光距离传感器增量地捕 获一个物体的表面纹理和几何结构这两者的特征。而且，这些系统和方法进一步允许在保 留自动对位能力的同时在高分辨率下捕获这类特征。为了在提供彩色图像的自动对准的同时使之有可能同时捕获一个物体的表面纹 理以及几何结构，人们可能考虑用彩色照相机替代现有技术中所说明的系统中的这些照相机。人们将会面对许多困难，包括用白光照明替换由LED进行的可见彩色照明(典型地是 红色照明，这些LED的谱带与该激光图案投影器的谱带相匹配)、在扫描的同时表面高光的 最小化、以及在纹理必须被复原处的激光单色光的附近区域之间的干涉。此外，人们应当开 发一种增量方法用于在扫描的同时将纹理整合进入表面模型之中。即使在提出用于解决这 些问题的一种新系统及多种方法之后，由于之前提及的在定位与测量特征的分辨率之间的 妥协，纹理和几何结构特征的分辨率仍然将是受限的。在此提供了多种系统和方法用于获取一个物体的三维表面的几何结构特征和/ 或纹理特征。一个图案被投影到所述物体的一个表面上。获得所述物体的一个基础2D图 像；获得所述物体的一个特征2D图像；从所述基础2D图像、从所述投影的图案在所述物体 上的一个反射中提取多个2D表面点；在一个传感器坐标系中使用所述2D表面点来计算多 个3D表面点的一个集合；并且提取2D表面几何/纹理特征的一个集合。根据本发明的一个广义的方面，在此提供了一种用于获取代表物体多个表面点的 数据的系统。该系统包括一种传感装置，该传感装置具有一个图案投影器，用于在该物体 的一个表面上提供一个投影的图案；至少一个基础照相机，用于获得代表该物体的至少一 部分的一个基础2D图像的数据；以及一个特征照相机，用于获得代表该物体的至少一部分 的一个特征图像的数据；该投影的图案在该基础图像上是清晰的，在一个传感器坐标系中 该基础照相机、该图案投影器以及该特征照相机的一种空间关系是已知的；一个基础图像 处理器，该基础图像处理器用于从该基础2D图像数据提取数据，这些数据代表由该投影的 图案在该表面上的一个反射所提供的多个2D表面点的至少一个集合；一个3D表面点计算 器，该3D表面点计算器用于在该传感器坐标系中使用代表2D表面点集合的数据来计算多 个3D表面点的一个集合；一个特征图像处理器，该特征图像处理器用于在数学意义上地将 该3D表面点集合投影到该特征图像数据上以便获取这些3D表面点在该特征图像数据中的 一个位置、并且用于在该特征图像数据中在离这些投影的3D表面点一个短距离处为该3D 表面点集合提取特征数据。在一个实施方案中，该特征照相机是一种纹理照相机，该特征图像是一种纹理图 像，该特征图像处理器包括一个纹理图像处理器，并且该特征数据是在多个纹理图块中获 得的纹理数据。在一个实施方案中，该特征照相机是一种高分辨率照相机，该特征图像是一种高 分辨率2D图像，该特征图像处理器包括一个高分辨率图像处理器，并且该特征数据是多个 高分辨率的2D表面点。根据本发明的另一个广义的方面，在此提供了一种用于获取代表物体多个表面点 的数据的方法。该方法包括使用至少一个基础照相机来获取代表该物体的至少一部分的 一个基础2D图像的数据，一个投影的图案在该基础图像上是清晰的；使用一个特征照相 机来获取代表该物体的至少一部分的一个特征图像的数据；从该基础2D图像数据中提取 代表由该投影的图案在该表面上的一个反射所提供的多个2D表面点的至少一个集合的数 据；使用该代表2D坐标系表面点集合的数据在该传感器坐标系中计算多个3D表面点的一 个集合；并且在数学意义上将该3D表面点集合投影到该特征图像数据上，以便获得这些3D 表面点在这些特征图像数据中的一个位置；在这些特征图像数据中在离这些投影的3D表 面点一个短距离处为该3D表面点集合提取特征数据。
在一个实施方案中，该基础2D图像以及该特征图像是使用一种传感装置获得的， 该传感装置具有一个图案投影器，用于在该物体的表面上提供该投影的图案；至少一个 基础照相机，用于获取该物体的一个基础2D图像；以及一个特征照相机，用于获取该物体 的一个特征图像；在一个传感器坐标系中该基础照相机、该图案投影器以及该特征照相机 的一种空间关系是已知的。根据另一个方面，在此提供了使用一个额外的彩色照相机的系统和方法，该彩色 照相机具有一个更高焦距的透镜以便捕获一个特征图像、连同与该距离传感器的一种紧密 连接。由该距离传感器捕获的用于低分辨率几何结构测量的基础图像被用于引导该特征图 像中的表面纹理的提取。该额外的照相机也可以是单色的(即灰度)并且可以被用于捕获 该物体上的高分辨率的几何结构。类似地，将多个基础图像用于引导该高分辨率特征的提 取。更广义地讲，当在高分辨率下捕获这两种特征时，在对该物体的表面建模的同时可以对 几何结构和颜色纹理分辨率两者独立地进行适配。根据另一个方面，在此提供了一种用于获得一个物体的多个三维表面点的系统。 该系统包括一个传感装置，该传感装置具有一个图案投影器，用于在所述物体的一个表面 上提供一个投影的图案；至少一个基础照相机，用于获取在所述物体上的一个基础2D图 像；以及一个特征照相机，用于获取在所述物体上的一个高分辨率2D图像。该投影的图 案在所述基础图像上是清晰的，并且在所述基础照相机与所述图案投影器之间的一种对位 (reference)、以及在所述基础照相机与所述特征照相机之间的一种对位是已知的。该系统 进一步包括一个图像处理器、一个3D表面点计算器以及一个高分辨率图像处理器。该图像 处理器从所述基础2D图像中提取由所述投影的图案在所述表面上的一个反射所提供的多 个2D表面点的至少一个集合。该3D表面点计算器在一个传感器坐标系中使用所述2D表 面点集合来计算多个3D表面点的一个集合。该高分辨率图像处理器将所述3D表面点集合 投影到所述高分辨率2D图像上，以便从该高分辨率2D图像计算多个2D高分辨率表面点的 至少一个集合。根据另一个方面，在此提供了一种用于获得物体的多个三维表面点以及一种纹理 的系统。该系统包括一个传感装置，该传感装置具有一个图案投影器，用于在所述物体的 一个表面上提供一个投影的图案；至少一个基础照相机，用于获取在所述物体上的一个基 础2D图像；以及一个特征照相机，用于获取在所述物体上的一个纹理图像。该投影的图案 在所述基础图像上是清晰的，并且在所述基础照相机与所述图案投影器之间的一种对位、 以及在所述基础照相机与所述特征照相机之间的一种对位是已知的。该系统进一步包括一 个图像处理器、一个3D表面点计算器以及一个纹理图像处理器。该图像处理器从所述基础 2D图像中提取由所述投影的图案在所述表面上的一个反射所提供的多个2D表面点的至少 一个集合。该3D表面点计算器在一个传感器坐标系中使用所述2D表面点集合的数据来计 算多个计算的3D表面点的一个集合。该纹理图像处理器将所述3D表面点集合投影到所述 纹理图像上，以便从该纹理图像计算多个纹理图块的至少一个集合。根据另一个方面，在此提供了一种用于获得一个物体的多个三维表面点的系统。 该系统包括一个传感装置，该传感装置具有一个图案投影器，用于在所述物体的一个表面 上提供一个投影的图案；至少一个基础照相机，用于获取在所述物体上的一个基础2D图 像；以及一个特征照相机，用于以高分辨率获取在所述物体上的一个特征2D图像。该投影的图案在所述基础图像上是清晰的，并且在所述基础照相机与所述图案投影器之间的一种 对位、以及在所述基础照相机与所述特征照相机之间的一种对位是已知的。该系统进一步 包括一个基础图像处理器，用于从所述基础2D图像提取由所述投影的图案在所述表面上 的一个反射提供的多个2D表面点至少一个集合；一个3D表面点计算器，用于在一个传感器 坐标系中使用所述2D表面点集合计算多个3D表面点的一个集合；一个高分辨率图像处理 器，用于将所述3D表面点集合投影到所述特征2D图像上，以便获得投影的表面点的一个集 合并且从该特征2D图像计算多个2D高分辨率表面点的至少一个集合；一个纹理图像处理 器，用于从该特征2D图像并且使用该投影的表面点集合来计算多个纹理图块的至少一个 集合；一个3D定位计算器，用于计算多个变换参数，这些变换参数指示在所述传感器坐标 系与所述全局坐标系之间的一种关系，用于在所述全局参考帧中与所述传感装置的一个位 置对位；一个3D表面点变换器，用于使用所述变换参数将在该传感器坐标系中的所述3D表 面点集合变换到在所述全局参考帧中的多个变换的3D表面点的一个集合；一个局部切面 计算器，用于从在该全局参考帧中的变换的3D表面点集合计算多个局部切面的一个集合； 一个纹理整合器，用于将该纹理图块集合映射并且累加到该局部切面集合上，以便产生多 个局部纹理化的切面的一个集合；以及一个表面重构器，该表面重构器用于积累该变换的 3D表面点集合，以便提供所述物体的一个3D表面模型，并且还用于将该局部纹理化的切面 集合映射到该3D表面模型上。根据另一个方面，在此提供了一种用于获得一个物体的多个三维表面点的方法。 在所述物体的一个表面上提供一个投影的图案。获得所述物体的一个基础2D图像。该投 影的图案在所述图像上是清晰的，并且在所述基础2D图像与所述投影的图案之间的一种 对位是已知的。获得所述物体的一个高分辨率2D图像。在所述基础2D图像与所述高分辨 率2D图像之间的一种对位是已知的。从所述基础2D图像数据中，从所述投影的图案在所 述表面上的一个反射中提取多个2D表面点的至少一个集合。在一个传感器坐标系中使用 所述2D表面点集合计算多个3D表面点的一个集合。将该3D表面点集合投影到所述高分 辨率2D图像上，以便从该高分辨率2D图像计算多个2D高分辨率表面点的至少一个集合。根据另一个方面，在此提供了一种用于获得物体的多个三维表面点以及一种纹理 的方法。在所述物体的一个表面上提供一个投影的图案。获得所述物体的一个基础2D图 像。该投影的图案在所述图像上是清晰的，并且在所述基础2D图像与所述投影的图案之间 的一种对位是已知的。获得所述物体的一个纹理2D图像。在所述基础2D图像与所述纹理 2D图像之间的一种对位是已知的。从所述基础2D图像数据中，从所述投影的图案在所述表 面上的一个反射中提取多个2D表面点的至少一个集合。在一个传感器坐标系中使用所述 2D表面点集合计算多个3D表面点的一个集合。将该3D表面点的集合投影到所述纹理2D 图像上，以便从该纹理图像计算多个2D纹理图块的至少一个集合。


图1描绘了一种用于三维表面扫描的装置的构型；图2展示了在使用中的图1中所描绘装置的一种构型以及在采集过程有待测量的 物体；图3是一个框图，展示了一种用于三维表面扫描的系统；
图4展示了在一个物体的表面上的多个区域，其中纹理是在激光轨迹附近提取 的；图5展示了高分辨率激光轨迹在该特征图像中受引导的提取的细节；并且图6示出了一个带有外壳的示例性手持式传感器装置。应注意，在所有附图中类似的特征都由类似的参考号标识的。
具体实施例方式在说明了图1和图2中所适配的装置的一种构型之后，从图3中展示的框图对整 个系统进行说明。图1展示了用在图3的系统中的传感装置40的一个示例性实施方案的示意性正 视图。该装置40包括两个基础物镜和多个光检测器，在此被称为基础照相机46。在这个实 施方案中，基础照相机46是渐进扫描数字照相机。如本领域中的普通技术人员将容易理解 的，除了这类照相机以外多种多样的物镜和光检测装置都是适合用于实施本发明的，并且 毫无疑问今后将会有其他的装置被开发出来。这两个基础照相机46使它们的投影中心分 离开一个距离Dl 52(即基线)并且组成一个被动式立体的照相机对。这些基础照相机46 的视野可以是例如60度，并且它们可以是单色照相机。一个激光图案投影器42典型地定位在离开该立体对的基线的一个距离D3 56处， 以便组成一个紧凑的三角形构型的结构，产生了两个额外的主动传感器，在第一种情况下 它们由左侧照相机以及激光图案投影器组成，并且在第二种情况下由右侧照相机以及激光 图案投影器组成。对于这两个额外的主动立体对，在图1中描绘了基线D2 54。激光图案投 影器42可以是对肉眼安全的II级激光。它可以投影一个红色的十字准线图案。激光图案 投影器42的扇形角可以是45度。在图1的构型中，该传感装置进一步包括光源50。该光源可以由分布在基础照相 机46周围的两组LED构成。在这个实施方案中，尽可能靠近照相机46的光学轴线来定位 光源50，以便从多个后向反射目标捕获更强的信号。典型地，光源50被提供为围绕基础照 相机46的环形灯。例如，在彩色扫描装置中，可以使用一种包括8个白色LED的环形灯。在 高分辨率扫描装置中，可以使用一种包括4个红色LED的环形灯。光源50照亮安置在物体 62上并且被用作定位特征的多个后向反射目标60 (见图2)。这些后向反射目标60能够以 大约IOcm的间隔安置在该物体上。光源50照明可以进一步照亮该物体表面，以便允许观 察颜色纹理。一个第二物镜和光检测器(在此被称为特征照相机59)被添加到该传感装置上， 以便获得物体62的表面的一种高分辨率的几何结构和/或颜色纹理。在一个实施方案中， 该特征照相机59具有一个高分辨率的光检测器，该光检测器捕获物体62的一个放大的图 像，即与由基础照相机46所获得的图像相比是放大的。这个高分辨率特征照相机59可以 具有13度的视野并且可以是单色的。在另一个实施方案中，特征照相机59具有一个彩色 照相机，该彩色照相机捕获物体62的一个颜色纹理图像。这个纹理特征照相机59可以具 有20度的视野并且可以是一种彩色照相机。特征照相机59定位在离这两个基础照相机的 基线轴线的一段距离D4 58处。因此在所有照相机46、59以及激光图案投影器42之间都 存在用于3D测量的基线。
然而应注意的是，在另外的实施方案中使用了一种单色照相机以获得该物体的灰 度纹理图像而不是颜色纹理图像。多个线性偏光过滤器48被安装在光源50之前以及在特 征照相机59之前。在光源50上以及在特征照相机59上的此类过滤器的组合降低或消除 了镜反射高光并且保留了漫反射。当D3 56是使得该三角形是具有两个45度角和一个90度角(在十字准线图案44 的两个激光平面之间)的等腰三角形时，这些基础照相机以及激光图案投影器42的三角形 构型是特别有意义的。借助这种特别的构型，该十字准线图案是被定向为使得每个平面与 每个照相机的投影中心以及与这些图像的中心两者均对齐。这对应于中央核线，其中主要 的优点是，一个激光平面(非主动平面)将总是独立于所观察的场景而被成像为在图像中 处于相同位置的一条直线。于是可以从两个图像的每个中的变形的第二光平面提取相关的 3D f曰息ο因此整个基础传感装置包括两个激光轮廓仪46A-42以及46B-42，一个被动立体 对46A-46B，以及用于同时捕获后向反射目标60的两个模块46A-50以及46B-50。每个激 光轮廓仪46A-42和46B-42是由基础照相机46中的一个与激光图案投影器42的组合所限 定的。该被动立体对46A-46B是由两个基础照相机46A-46B的组合所限定的。每个模块 46A-50和46B-50是由基础照相机46中的一个及其对应的光源50的组合所限定的。这种 构型可以是紧凑的。特征照相机59增加了三个立体组合(即59-46A、59-46B和59-42)。 然而，特征照相机59被用于捕获放大的高分辨率几何结构或者颜色纹理图像。这两种特征 的测量被整合在所说明的这个实施方案中。对于这个示例性传感装置40，对于在传感装置40与物体62之间的300到400mm 的相隔距离处的亚毫米级的准确度而言，基线Dl 52典型地是大约190mm。D3 56的值被设 定为Dl的一半。通过缩放D1，距离D2自动地随之变化。为了紧凑性，距离D4 58通常地是 小于或等于D3。对于D4的一个典型值是55mm。要注意的是传感装置40典型地是一个手持式装置并且使用位于物体62上的多个 定位特征来进行自动对位。然而，传感装置40没有必要是手持式的并且可以是安装在例如 一个机械的致动器上的，并且也可以另外地使用外部对位传感器或者任何其他的定位装置 进行对位。在传感装置40是手持式的情况下，它优选地被制造在一个外壳中，可以容易地 用手对该外壳进行操作。因此手持式传感装置40的总重量应当考虑到一个典型用户的力 量，并且可以被限制到例如1. 5kgo类似地，手持式传感装置40的尺寸应当允许在扫描过程 中对该传感装置进行操作，并且可以被限制为例如20cm χ 30cm χ 25cm。图2展示了被定位为以便观察一个有待测量的物体62的传感装置40的一个3D视 图。可以看到先前所说明的紧凑的三角形体系结构包括两个基础照相机46以及十字准线 激光图案投影器42。传感装置40捕获一个图像，该图像包括投影的图案44以及一组定位 特征60。定位特征60可以由多个孤立的激光点的轨迹或者圆形的后向反射目标组成。在 这个实施方案中，该特征照相机59捕获了该物体表面的一个放大的图像。图6示出了在被适配为由用户手持的外壳中的传感装置40的一个实例。外壳90 包括一个手柄部分91。基础照相机46A和46B、特征照相机59与激光图案投影器42的相 对位置是如以上所讨论的。手柄部分91包括一个触发开关93用以启动在环形灯48上的 灯50以及激光图案投影器42。手持式传感装置40使用线路94连接到(例如)在一台个
10人计算机上提供的采集软件模块上。如将容易理解的，可以由本领域的普通技术人员提供 一种无线扫描装置。参见图3，总体上在10处示出了一种适合与传感装置40 —起使用的3D表面扫描 系统。除了包括传感装置40的整个系统的整合之外，应特别注意到特征图像处理器15以 及它与3D表面点计算器18的交互作用36。由在传感器坐标系中的计算的3D低分辨率表 面点的多个集合的引导下，特征图像处理器15坐标系可以在更高分辨率下提取纹理(在这 种情况下即颜色纹理)和/或几何结构两者。还应特别注意到纹理整合器25，该纹理整合 器将在每个特征图像13中提取的纹理图块74 (见图4)映射到在全局坐标系中复原的部分 几何结构上。图3的3D表面扫描系统10实现了纹理成像以及高分辨率几何结构图像功能两 者。在图3的3D表面扫描系统10中，纹理和几何结构两者是同时获得的。然而，要注意在 另一个实施方案中，仅实施了纹理成像并且省略了高分辨率几何结构成像。在又另一个实 施方案中，仅实施了高分辨率几何结构成像。在后一种情况下，特征照相机59典型地是一 种非彩色(即灰度)照相机，并且省略了纹理整合器25。还应注意图3的3D表面扫描系 统典型地具有多种选项，从而允许用户启动和关闭纹理成像以及高分辨率几何结构成像功 能。传感装置系统10包括一个传感装置11，如以上参见图1和图2在此更详细说明的传感装置 40。传感装置11收集所观察的情景的一组基础图像12并且将其传输到一个图像处理器14 上。这些图像可以是从具有不同视点的两个基础照相机46 (见图1)收集的，其中这些视点 中的每个都具有自己的投影中心。基础图像12中包含的相关信息可以是由在该物体表面 上反射的激光图案44的反射造成的，也可以是由定位特征60造成的，这些定位特征可以被 用于计算传感装置11相对于其他的帧捕获的相对位置。由于在一个给定帧中的所有图像 是被同时捕获的并且包含定位以及表面测量两者，因此定位与表面测量的同步是隐含的。传感装置11还整合了一个额外的照相机，亦即特征照相机59 (见图1)，其目的是 用于捕获一种特征图像13。相对于基础照相机46的视点，特征照相机59的视点是已知的 (即对位的)，并且基础照相机46以及特征照相机59相对彼此都是同步的。典型地，一种 特征图像13或者是一种高分辨率图像或者是例如一种彩色图像。在图3中，传感装置11被示出为包括至少一个基础照相机46以及至少一个特征 照相机59，这个(这些)基础照相机46生成该组基础图像12并且特征照相机59生成特征 图像13。本领域的普通技术人员应注意到并且容易理解的是，替代从一对照相机完成立体 图像，也有可能执行“来自运动的立体图像”或者“来自运动的3D图像”并且因此使用一个 单一的照相机用于定位。图像处理器图像处理器14从每个基础图像12提取定位特征和表面点。对于每个基础图像 12，输出了所观察的多个2D定位特征的一个集合20以及多个2D表面点的多个集合16 (包 括它们的连接性)。对于这些集合中的每个的连接性事实上定义了多个2D曲线区段。在 基础图像12中对这些表面点和特征基于其固有特征进行识别。与这些特征相关的多个像素相对于背景是有反差的，并且在使用质心或椭圆拟合来估算它们的位置之前可以用简单 的图像处理技术将它们隔离(见 E-iTrucco and A. Verr!,"Introductory techniques for 3-D computer vision",Prentice Hall，1998)。使用圆形的目标允许从拟合的椭圆方程式 中提取表面法线定向信息，因此协助了传感器定位。从这些定位特征中将表面点的这些集 合区别出来，因为该激光图案投影器在这些图像中产生了多个对比的曲线部分并且因此展 现了一种不同的2D形状。这些图像曲线部分是作为多个单一的团点被分离出的，并且对于 这些图案中的每个团点都对该曲线区段进行分析从而用亚像素精确度沿该曲线提取多个 点的一个集合。这是通过在该曲线部分上对一个微分算子进行卷积并且将其响应的零交点 进行内插而实现的。后者的运算典型地被称为峰值检测。对于一个十字准线激光图案，人们可以从在此说明的装置的体系结构中获益。在 这样一种带有两个基础照相机46以及一个十字准线图案投影器42的配置中，基础照相 机46被对齐而使得两个激光平面中的一个在每个基础照相机46中在一个恒定的位置产 生一条单一的直线。这就是对于一个给定的照相机46的非活动激光平面。这些非活动 激光平面对两个照相机46而言都是相反的。由H6bert提及的这种构型(见P. Hebert, "A Self-Referenced Hand-Held Range Sensor，，· in proc. of the 3rd International Conference on 3D Digital Imaging and Modeling (3DIM 2001), 28May-lJune 2001, Quebec City, Canada, pp. 5-12)大大简化了图像处理任务。它还将2D表面点的每个集合 的分配简化成了该十字准线的一个激光平面连同它们在3D中的连接性用于限定多个曲线 区段。虽然在这些2D表面点集合16在该系统中遵循一条路径以便恢复对表面几何结构 的整个扫描，这些所观察的2D定位特征集合20遵循一条第二路径并且被用于恢复传感装 置11相对于该物体表面的相对位置。然而，这两种类型的集合被进一步处理用于在该传感 器坐标系中以及在如以下所说明的全局坐标系中获得3D信息。3D表面点计算器3D表面点计算器18将所提取的2D表面点的多个集合16作为第一输入。这些 点可以是与该激光投影的图案的一个部分相关联的，例如十字准线图案44的两个平面之 一。当这种关联是已知的时，通过将相应的投影光线与该激光平面的方程式相交，这些2D 点中的每个都可以被变换成在该传感器坐标系中的一个3D点。该光线的方程式是从相 关联的照相机的投影矩阵获得的。该激光平面的方程式可以使用一种预校准程序来获得 (见 P. Hebert, "A Self-Referenced Hand-Held Range Sensor，，· in proc. of the 3rd International Conference on 3D Digital Imaging and Modeling(3DIM 2001),28 May-I June 2001，Quebec City，Canada，pp. 5-12)。还有可能在使用一种(例如)精确平移台对 传感器11进行校准之后通过采用表格查找来直接地从一个2D点获得一个3D点。两种方 法都是适当的。在第一种情况下，程序是简单的并且不需要复杂的仪器，但是它要求对这些 照相机的固有和非固有参数进行非常好的估算。还有可能避免将每个2D点与该激光图案的一种特定的结构相关联。对于更复杂 或更通用的图案而言，这是特别有意义的。在这种情况下，仍然有可能使用基本矩阵并且利 用核线约束以匹配多个点来计算多个3D表面点。当这可以无歧义地完成时，可以从这些照 相机的已知的投影矩阵计算出三角测量值以便获得在该传感器坐标系中的一个3D点。
3D表面点计算器18将在传感器坐标系中的计算的3D低分辨率表面点的这些集合 19送到特征图像处理器15中以便如以下所说明由特征图像处理器15协助提取高分辨率的 2D点。计算的3D表面点的这些集合被称为具有低分辨率以便将它们在传感器坐标系中的 输出计算的3D表面点的全体集合21内进行区分，该全体集合包括在传感器坐标系中的3D 低分辨率表面点的这些集合19以及在传感器坐标系中的高分辨率表面点的多个集合17。为了计算高分辨率表面点的这些集合，3D表面点计算器18进一步将高分辨率2D 表面点的多个集合17作为输入。使用了与以上在此所说明的用于计算低分辨率3D表面点 的相同的程序。这个程序或者要求该特征照相机的固有和非固有参数的非常良好的估算或 者要求利用表格查找。3D表面点计算器18输出了在该传感器坐标系中所计算的3D表面点的全体集合 21。这些集合可以是无组织的集合或者被组织成使得与在图像中相连的区段相关联的多个 3D点被分组以用于通过微分来估算3D曲线的切线。这些区段可以根据其来源图像被进一 步分组成高分辨率和低分辨率区段。这种信息可以由局部切面计算器四或者表面重构器 34加以利用，用于局部地对该复原的表面模型35的质量进行适配。特征图像处理器特征图像处理器15将一个特征图像13作为输入，该特征图像是从特征照相机 59(见图1)获得的一个图像，该特征照相机典型地安装了具有更高焦距的一个透镜。典型 地，特征图像13仅覆盖该扫描的一小部分(为了更好的分辨率)，该部分没有必要包括一个 定位特征或者反射在该物体上的整个图案。因此，这种对位从基础图像12中是已知的，并 且在特征图像13和基础图像12之间的空间关系从照相机校准中是已知的。特征图像13 可以是单色的或者彩色的。虽然在前一种情况下所提取的特征本质上具有几何结构或者单 色纹理，但是在后一种情况下该特征进一步包括颜色纹理特征。为了计算高分辨率的几何结构信息(即高分辨率特征2D表面点的多个集合)，特 征图像处理器15将在传感器坐标系中的3D低分辨率表面点的这些集合19投影到特征照 相机59的坐标系中，该照相机的固有参数都是预校准的并且该照相机相对该传感器坐标 系的空间关系(即其非固有参数)也已经通过照相机校准而获得。多个相连的3D点的这 些投影的集合将多个区段的集合投影到特征图像13之中。从在该特征图像坐标系中这些 所获得的近似位置处，将局部图像处理应用于从成像的激光轨迹中提取多个2D对应点。为了做到这一点，从投影产生的多个相连2D点的每个集合都提供了该曲线区段 的一个逐段的线性逼近(即一条折线80)。图5展示了在这种特征影像激光轨迹88的引导 提取的细节。在所计算的3D低分辨率表面点的对应相连的集合的投影之后，最初从这些基 础图像获得的一个逐段线性逼近(即一条折线80)被叠加到特征图像13上。这些点的投 影是折线80的多个顶点82。然后对折线80进行重新采样。在图5中，一个部分以采样因 子5展示，导致每个线性部分有4个额外的点84。在沿折线80的每个点82和84处，沿法 线方向86对该特征图像进行采样。典型地，沿这些方向计算20到30个图像样本，产生一 个ID信号。这些样本之间的距离是一个像素的宽度。从这个ID曲线中估算该亚像素峰值 位置，因此提供了一个高分辨率的2D表面点。最后，使用这些信号来检测在该特征图像中 的激光轨迹88的多个峰值。在低分辨率折线的突出处获得了这些峰值的一个细化的位置。 为每个相连的集合收集这些2D表面点致使输出高分辨率2D表面点的多个集合17。
应指出，还有可能从该局部特征图像信号来估算该局部法线方向。几何结构是一个物体表面的一种特征。可以独立地进行处理的其他特征是灰度纹 理和颜色纹理。应指出，虽然在以下说明中假定为颜色纹理采集和处理，但是灰度纹理的采 集和处理也是有可能的。原理保持不变；该局部特征提取是使用在该传感器坐标系中的3D 低分辨率表面点的多个初始集合的投影来引导的。如果在该折线附近存在一个激光轨迹， 那么在接近该激光轨迹两侧处的一个区域中收集这些像素的颜色。图4展示了在该特征图 像中该激光轨迹附近的复原的纹理图块74。在该图的右侧部分，一个部分被放大。离开该 激光轨迹的两个距离τ 1 72和τ 2 70界定了在该激光轨迹附近的所复原纹理的宽度。颜 色在一个间隔距离之内被复原，该间隔距离的范围在τ 1 72和τ 2 70之间。τ 72被设 定为使之避免与该激光发生颜色干扰；在这一个实施方案中对于τ 72典型的值是10像 素并且对于τ 2 70是25像素。这些合成局部纹理的像素中的每个都被指定了在该复原的 曲线区段上或者可替代地在该折线上(当该几何结构没有被细化时)的最近的表面点的坐 标(X，y，ζ, r, g，b)。特征图像处理器15将多个图像纹理图块的集合作为在该传感器坐标 系中使用3D坐标扩充的纹理位图进行输出。对于一个给定的帧，该图像纹理图块集合74 被送到纹理整合器25中，该整合器的作用是将从所有视点收集的所有图像纹理图块合并。 在局部切面计算器之后将对纹理整合器25进行说明。3D定位计算器3D定位计算器23的任务是为每个计算的3D表面点集合21以及图像纹理图块集 合提供变换参数26。这些变换参数沈在保留该结构的同时使之有可能将3D表面点21或 者用于图像纹理图块22的每个像素的(x，y，z)坐标变换入一个单一的全局坐标系中；这种 变换是刚性的。在这个实施方案中，这是通过在全局坐标系30中建立并且维持参考3D定 位特征的一个集合来实现的。这些定位特征可以是多个3D点的一个集合、带有相关的表面 法线的多个3D点的一个集合、或者任何其他表面特征。应指出，虽然在这个实施方案中采 用了使用定位特征的自动对位，但是在另一个实施方案中可以采用其他的定位系统。例如 可以使用外部对位传感器或者其他定位装置。在图3的实施方案中，假设所有的定位特征都是3D点，这些点表示为包含三个分 量的列向量[X，1, Z]T，这些分量指示了这些点沿这三个坐标轴线的位置。由于传感装置11是经过校准的，所以在基础照相机46的多个视点之间的匹配的 定位特征被用于估算它们的3D位置。使用该核线约束对所观察的2D定位特征的这些集合 进行匹配以便获得无歧义的配对。这些核线是使用基本矩阵来计算的，该基本矩阵是从基 础照相机46的多个校准的投影矩阵计算出的。然后，从照相机46的这些已知的投影矩阵， 应用三角测量以便为每个帧计算在该传感器坐标系中的多个3D定位特征的一个单一的集
合 ο在扫描期间开始时，参考3D定位特征的集合30是空的。因为传感装置11提供测 量值的第一集合，使用身份变换将这些特征复制到参考3D定位特征集合30中。因此这个 集合成为所有后续的参考3D特征集合的参考集合，并且这个第一传感器位置定义了所有 3D表面点被对齐到其中的该全局坐标系。在创建参考3D定位特征的这个初始集合之后，首先针对参考集合30对后续的计 算的定位特征集合进行匹配。该匹配操作被分为两个任务i)寻找在在用于当前帧的传感 器坐标系中计算的3D定位特征集合与在该全局坐标系中参考3D特征集合之间对应的特征，并且ii)计算与这两个集合具有最佳对齐的最优刚性3D变换的变换参数沈。一旦已经 计算出这些参数，就可以将它们用于变换当前帧的计算的3D定位特征、在传感器坐标系中 的计算的3D表面点21以及图像纹理图块22，因此将它们全部在该全局坐标系中对齐。在计算出参考3D定位特征的集合R之后，在从照相机1和2获得的所观察的2D定 位特征20，P1和P2计算出在当前帧中所计算的3D定位特征的集合0。这些3D坐标是通过 三角测量获得的。对3D定位特征的这些集合进行匹配就是寻找两个子集Om CC^PRm CR
m ^―m —
的问题，每个子集包含N个特征，这样使得具有0i e Om以及ri e Rm的所有的点对(0i，r,) 代表相同的物理特征。寻找这些子集是通过寻找多个点)的最大的区段数来实 现的，这样使得I Il Oi-Oj Il - Il r-rj || | ( ε 对于所有 i，j e {1，…，N}，i 乒 j， (1)其中ε是一个预定义的阈值，该阈值被设定为对应于该传感装置的准确度。这一 约束使得在这两个集合中一个对应的点对之间的距离差是可忽略的。这一匹配运算是作为一种组合的优化问题得到解决的，其中来自集合0的每个多 点区段是累进地针对集合R中的每个多点区段进行匹配的。然后每个匹配的区段通过使 用在这两个集合的每个中的剩余的多个点而形成一个额外的区段而被扩展。如果两个区 段满足约束(1)，那么形成一个第三区段，并且只要该约束被满足就如此继续下去。否则 就丢弃该对并且检查下一对。其解是满足(1)的多个区段的最大集合。其他算法(参见 例如 Μ. Fischler and R. Bolles, (1981) "Random sample consensus :A paradigm for model fitting with applications to image analysis and automated cartography", Communications of the Assoc. for Computing Machinery, (June 1981)，vol.24, no. 6, PP. 381-395.)可以被用于相同的目的。只要在参考3D定位特征集合30中的元素数量是相对低的(典型地少于十五个)， 上述方法的计算复杂度对于实时操作而言就是可接受的。然而在实际中，参考特征的数量 可以容易地达到数百个定位特征。由于计算复杂度随特征数量以指数方式增长，这些对应 特征的计算可能变得对于实时应用过于缓慢。该问题的解决是通过注意到从任何特定的视 点都可见的定位特征数量是少的，该数量是由传感装置11的有限的视野所限定的。这意味着如果对于一个给定的帧所计算的特征可以针对参考特征30进行匹配， 那么来自该参考集合的匹配的特征应该位于一个小的临近区域中，该邻近区域的大小是由 该计算的特征的集合的大小所决定的。这还意味着在这个邻近区域中的点的数量应该也是 少的(典型地少于十五个)。为了将这一特征利用于加速匹配，将以上方法修改如下。在匹 配之前，为每个参考特征创建多个邻近特征的一个集合[NJ。在初始的多点区段被匹配之 后，通过加入一个额外的区段来扩展该初始的多点区段，该额外区段仅使用在第一匹配特 征的邻近区域集合[队]中的点。通过这样做，不管参考集合30的大小如何，用于匹配的点 的数量保持为低，因此防止了计算复杂度的指数性增长。可替代地，也可以使用传感装置位置与定向的空间相关性来改进匹配速度。通过 假定相对于定位特征集合的大小该传感装置的位移是小的，可以通过为每个所观察的定位 特征寻找最近的参考特征而实现匹配。相同的原理可以被用在2D中，即通过寻找最近的2D 定位特征。
—旦匹配完成，这两个集合就需要通过计算最优变换参数{Μ T](在最小二乘法意 义上)来对齐，这样下面的代价函数被最小化
N2-Moi+Τ|| 对于所有 i G {1，…，N}， (2) 1=1 .这些变换参数包括一个3x3的旋转矩阵M以及一个3x1的平移向量T。可以使用 对偶四元数找到这样一种变换，如在 M. W. Walker，L. Siao and R. A. Volz,"Estimating 3-D location parameters using dual number quaternions，，，CVGIP Image Understanding, vol. 54,no. 3,November 1991,pp. 358-367中所说明的。为了计算这一变换,至少必须找到 三个公共的定位特征。否则对于当前帧，定位特征和表面点两者都被丢弃。用于计算这种刚性变换的一种替代方法是将在所观察的2D定位特征20与参考3D 定位特征30的投影之间的距离最小化。使用透视性的投影变换Π，该在最小二乘法意义上 是最优的刚性变换[Μ Τ]是使下式最小化的变换Σ||ΠΜ_1(Γ.· -Τ)-Ρ,·|对于所有 i，j e {1，…，N}， (3) 1=1 .其中Pi e P1或Pi e P2是所观察的2D特征，它们对应3D的所观察的特征Oi e Offl0 可以通过使用一种优化算法(如Levenberg-Marquardt方法)将上面的代价函数最小化而 找到刚性变换[Μ T]。一旦该刚性变换被计算出来，该计算的3D定位特征集合就从该传感器坐标系变 换到该全局坐标系。所变换的3D定位特征被用于以两种方式对参考3D定位特征的集合30 进行更新。首先，如果已经针对参考特征集合仅对所观察的特征的一个子集进行了匹配，那 么不匹配的所观察的特征代表被添加到该参考集合的新的观察的特征。已经被再观察并且 匹配的特征可以或者被丢弃(因为它们已经在参考集合中)或者被用于改进，即过滤这些 存在的特征。例如，对同一特征的所有观察可以被加在一起以便计算平均特征位置。通过 这样做，测量噪音的变化被减小，因此改进了定位系统的准确度。3D表面点变换器一旦3D定位计算器23使得变换参数沈可供使用，这些对表面点的处理步骤就是 简单的。由3D表面点计算器18提供的在传感器坐标系中的计算的3D表面点集合21于是 由3D表面点变换器M使用刚性变换参数26M和T进行变换。因此，所获得的在全局坐标 系中的变换的3D表面点集合27在相同坐标系中与参考3D定位特征集合30是自然地对齐 的。在全局坐标系中的最后的变换的3D表面点集合27可以被图形化，或者它可以在被送 到表面重构器34之前被送到局部切面计算器四上。该表面重构器将对一个连续的、非冗 余的、并且有可能是被过滤的表面模型35的表示进行估算，该表示可任选地借助叠加的参 考3D定位特征集合30来显示。局部切面计算器局部切面计算器四将全局坐标系中的变换的3D表面点集合27作为输入、并且 在该物体表面上提供对这些3D切面的局部估算。尽管这种处理可以被整合在表面重构 器34之中，但是在此它是分离的以便更好地说明一种连续的表面的表示对跨越一个物体 的表面提供多个局部切面估算而言不是必需的。实时获得这些局部切面估算的一种可能 性包括定义一种规则的体积栅格，并且在每个体素之内对这些3D表面点进行累加。从
16这些3D的累加点，基于位于该体素之内或者位于环绕该体素的一个体积之内的3D点 可以为每个体素计算一个切面。这类的方法使用在T. P. Koninckx，P. Peers, P. Dutre, L. J. Van Gool, "Scene-Adapted Structured Light，，，in proc. of Computer Vision and Pattern Recognition(CVPR 2005)，vol. 2, San Diego, USA,2005, pp. 611—618 中以及 在 S. Rusinkiewicz, 0. A. Hall-Holt, M. Levoy, "Real-time 3D model acquisition，，in proc. of ACM SIGGRAPH 2002，San Antonio, USA, pp. 438-446 或者在 D. Tubic, P. Hebert, D.Laurendeau,"3D surface modeling from curves", Image and Vision Computing, August 2004，vol. 22，no. 9，pp. 719-734 中。一旦这个初始的非连续的几何结构已经局部地稳定，也就是说，例如，一旦该3D 点协方差矩阵的两个最小的本征值是相似的，同时该第三本质值在多个体素之内是显著地 更低的，那么就从它们的协方差矩阵的两个一阶矩来计算这些局部平面的参数。每个局部 切面的跨度典型地是一个直径在1个和2个体素对角线长度之间的圆。该局部切面计算器 输出局部切面的一个集合观，该集合包括这些平面的参数、跨度以及从27复制的在全局坐 标系中的变换的3D表面点的集合31。局部切面计算器四可以包括一个切面分辨率调整器用于对计算该局部切面集合 的一个分辨率进行调整。该调整器可以是一种手动或者自动的调整器，调整该调整器允许 对用于局部切面计算器四的一个分辨率参数进行修改。纹理整合器纹理整合器25收集在所有帧中复原的图像纹理图块的集合22并且进一步将已经 稳定的局部切面集合观作为输入。值得提及的是，这些局部切面当它们变得可供使用时是 被独立地送入的。这使之有可能在该表面被扫描时增量地应用该方法；而没有必要在继续 进行之前等待多个帧的完整集合。每个局部切面部分都作为具有一个选定的分辨率的局部图像而进行镶嵌，该分辨 率可以是独立于该几何结构的分辨率而设定的。我们将把这些单元格称为纹素。这个纹理 整合器进一步将来自3D定位计算器23的变换参数沈作为输入。使用这些变换参数，在当 前传感器坐标系与该全局坐标系之间的空间关系是已知的，并且因此，图像纹理图块的集 合22可以通过回投影被映射到该局部切面上。在纹理图像块集合中的每个像素都对更新 其对应的局部切面起作用。为此目的，从映射到该局部平面上的这些像素对一个局部切面 中的所有纹素进行更新。基于一个随距离递减的权重，每个像素都对所有的纹素都有贡献。 纹素是从所有帧中作为所有起作用的像素的加权平均值而获得的。纹理整合器25还应用了颜色强度补偿。实际上，优选的是在将其整合进入纹素之 前获取这些稳定的色彩测量值。颜色强度将典型地随相对于光源50距离的平方以及光源 50与该切面法线之间夹角的余弦值而发生变化。在一个实施方案中，存在八个光源50，这 些光源分布在这两个基础照相机46的中每个的物镜的外围上。此外，在光源50以及特征 照相机59的前面使用偏光过滤器48消除了镜面反射并且保留了漫反射。因此有可能只考 虑光源50与该表面之间的夹角；该表面与特征照相机59之间的夹角对于颜色强度补偿而 言是可以忽略的。这些光源的位置在该传感器坐标系中从该传感器设计中或者从校准中是 已知的。另外，由于每个光源累加地进行组合，假定这些光源是完全相同的或者通过对它们 的亮度进行校准，可以在多个帧之间将每个纹素上的颜色辐照度归一化。该补偿过程还可以使用光学测量照相机校准，如在 Ρ· E. Debevec and J. Malik. "Recovering High Dynamic Range Radiance Maps from Photographs",in proc. of ACM SIGGRAPH 1997,Los Angeles, USA,pp. 369-378中提及的校准。由纹理整合器25产生的是局部纹理化的切面的一个集合 32。可替代的，可以通过纹理整合器25来准备带有相应的表面坐标映射信息的2D纹 理贴图(texture map) 36，并且这些纹理贴图可以被提供给表面重构器34。可以使用三角 测量数据37作为来自表面重构器M的一个反馈，以便产生这些2D纹理贴图36。表面重构器表面重构器3将一个全局坐标系中的变换的3D表面点的集合31以及局部纹理 化的切面的集合32作为输入并且计算一个表面模型。可替代地，可以使用具有相应的表 面坐标映射信息的这些2D纹理贴图36。值得注意的是，这些局部切面还可以从该重构的 表面获得。从该表面点集合可以使用在美国专利号US 7，487，063或者例如在8.011~1^8， M. Levoy,"A Volumetric Method for Building Complex Models from Range Images，，in proc. of the ACM SIGGRAPH 1996, New Orleans, USA, pp. 303-312 中说明的方法计算出该 表面几何结构的一种连续表示。这两种方法采用了一种体积测量表示。前一种方法可以从 这些局部切面的知识中获益用于更高的效率。然后该体积测量表示被变换成一种三角化的 表面表示。为此目的，可以使用匹配立方体算法(参见例如W.E. Lorensen，and H.E. Cline， "Marching Cubes :A High Resolution 3D Surface Construction Algorithm，，，in proc. of the ACM SIGGRAPH 87，Los Angeles, USA, vol. 21，no. 4，pp. 163-170)。一旦获得了该 三角化的表面，局部纹理化的集合就被映射到三角化的表面上，其中它们的重叠区域被混 合用于获得一种连续的表面纹理。表面重构器34可以包括一个模型分辨率调整器用于对该变换的3D表面点集合的 积累的分辨率进行调整。该调整器可以是一种手动或者自动的调整器，它允许变更用于表 面重构器34的一个分辨率参数。当扫描装置40被用于纹理扫描时，200至250点每英寸(DPI)的位图可以与这些 局部切面相关联。能够以M位、sRGB校准的形式提供纹理颜色。该区域的深度可以是例 如30cm。纹理传感装置40可以进行(例如)每秒大约18，000次测量，具有0. Imm的几何
结构分辨率。当扫描装置40被用于高分辨率扫描时，该高分辨率体素分辨率可以是0. 25mm。相 比之下，不具有高分辨率能力的扫描装置40的体素分辨率可以是1mm。该区域的深度可以 是例如30cm。高分辨率传感装置40可以进行(例如)每秒大约25，000次测量，在x，y, ζ 具有0. 05mm的分辨率。所说明的不同的装置和部件(包括例如多个传感器如基础照相机48、激光投影器 42、以及特征照相机59)可以被用于生成可被图3中示出的不同处理器所使用的输入数据。虽然在这些框图中被展示为经由不同的数据信号连接彼此通信的多组离散的部 件，但是本领域的普通技术人员应理解，这些优选的实施方案可以通过硬件与软件部件的 多种组合来提供，其中一些部件是由一个硬件或者软件系统的一个给定的函数或运算实现 的，并且所展示的这些数据路径中的许多是由在一个计算机应用程序或者操作系统之中的 数据通信来实现的或者可以使用任何适合的已知的或后来开发的有线的和/或无线方法以及装置进行通信地连接。传感器、处理器以及其他装置可以是共同定位的或者是远离与 彼此中的一个或多个。因此所展示的结构是为了本发明的优选实施方案的有效传授而提供 的。 应当理解，对本领域的普通技术人员而言将出现对其多种修改。因此，以上说明 及附图应当被认为对本发明是解说性的而非限制的含义。应进一步理解，在此旨在覆盖总 体上遵循本发明的原理并且包括对本披露的以下偏离的任何变体、用途、或者适配，这些偏 离在本发明所涉及的领域中为人所知或在常规惯例之内、并且可适用于以上给出的本质特 征、并且符合所附权利要求的范围。
权利要求
1.一种用于获取代表物体的多个表面点的数据的系统，所述系统包括一个传感装置，该传感装置具有一个图案投影器，该图案投影器用于在所述物体的一 个表面上提供一个投影的图案；至少一个基础照相机，该至少一个基础照相机用于获取代 表所述物体的至少一部分的一个基础的2D图像的数据；以及一个特征照相机，该特征照相 机用于获取代表所述物体的至少一部分的一个特征图像的数据；所述投影的图案在所述基 础图像上是清晰的，在一个传感器坐标系中所述基础照相机、所述图案投影器以及所述特 征照相机的一种空间关系是已知的；一个基础图像处理器，该基础图像处理器用于从所述基础2D图像数据中提取数据，这 些数据代表由所述投影的图案在所述表面上的一个反射所提供的多个2D表面点的至少一 个集合；一个3D表面点计算器，该3D表面点计算器用于在所述传感器坐标系中使用所述代表 该2D表面点集合的数据来计算多个3D表面点的一个集合；一个特征图像处理器，该特征图像处理器用于将所述3D表面点集合在数学意义上投 影到所述特征图像数据上以便获得所述3D表面点在所述特征图像数据中的一个位置、并 且还用于在所述特征图像数据中在离所述投影的3D表面点一个短的距离处为所述3D表面 点集合提取特征数据。
2.如权利要求1所述的系统，进一步包括一个用于获得多个变换参数的定位系统，所述变换参数代表在所述传感器坐标系与一 个全局坐标系之间的一种空间关系；以及一个3D表面点转换器，该3D表面点转换器用于在所述全局坐标系中使用所述转换参 数将所述3D表面点集合转换成多个被转换的3D表面点的一个集合。
3.如权利要求2所述的系统，其中该定位系统包括在所述物体上多个目标定位特征的一个集合，所述目标定位特征中的每一个都提供在 所述物体上的一个固定位置处；一个使用所述目标定位特征来定义的全局坐标系；所述目 标定位特征集合的至少一部分在所述基础2D图像上是清晰的，所述目标定位特征集合有 待由所述图像处理器从所述基础2D图像中提取；并且其中所述系统进一步包括一个3D定位计算器，该3D定位计算器用于使用所述定位系统来计算所述变换参数。
4.如权利要求3所述的系统，进一步包括一个表面重构器，该表面重构器用于积累该被变换的3D表面点集合以及用于所述3D 表面点的所述特征数据，以便提供所述物体的一个3D表面模型。
5.如权利要求4所述的系统，其中所述表面重构器包括一个模型分辨率调整器，该模 型分辨率调整器用于调整所述积累该被变换的3D表面点集合的一个分辨率。
6.如权利要求4和5中任何一项所述的系统，进一步包括一个局部切面计算器，该局部切面计算器用于在该全局坐标系中从该被变换的3D表 面点集合计算多个局部切面的一个集合，所述表面重构器使用所述局部切面来提供所述物体的所述3D表面模型。
7.如权利要求6所述的系统，其中所述局部切面计算器包括一个切面分辨率调整器， 该切面分辨率调整器用于调整所述计算多个局部切面的一个集合的一个分辨率。
8.如权利要求1至5中任何一项所述的系统，其中所述特征照相机是一种纹理照相机， 所述特征图像是一种纹理图像，其中所述特征图像处理器包括一个纹理图像处理器，并且 其中所述特征数据是在多个纹理图块中获得的纹理数据。
9.如权利要求6至7中任何一项所述的系统，其中所述特征照相机是一种纹理照相机， 所述特征图像是一种纹理图像，其中所述特征图像处理器包括一个纹理图像处理器，并且 其中所述特征数据是在多个图像纹理图块中获得的纹理数据。
10.如权利要求9所述的系统，进一步包括一个纹理整合器，该纹理整合器用于将该多个纹理图块的集合映射并累加到该多个局 部切面的集合上，以便产生以下各项之一多个2D纹理贴图的一个集合以及多个局部的纹 理化切面的一个集合。
11.如权利要求1至10中任何一项所述的系统，其中所述特征照相机是一种高分辨率 照相机，所述特征图像是一种高分辨率2D图像，其中所述特征图像处理器包括一个高分辨 率图像处理器，并且其中所述特征数据是多个高分辨率的2D表面点。
12.如权利要求1至11中任何一项所述的系统，其中所述特征照相机是一种高分辨率 纹理照相机，所述特征图像是一种高分辨率纹理图像，其中所述特征图像处理器包括一个 纹理图像处理器以及一个高分辨率图像处理器，并且其中所述特征数据包括多个高分辨率 的2D表面点以及在多个图像纹理图块中获得的纹理数据。
13.一种用于获取代表物体的多个表面点的数据的方法，所述方法包括使用至少一个基础照相机来获取代表所述物体的至少一部分的一个基础2D图像的数 据，在所述基础图像上一个投影的图案是清晰的；使用一个特征照相机来获取代表所述物体的至少一部分的一个特征图像的数据；从所述基础2D图像数据中提取数据，这些数据代表由所述投影的图案在所述表面上 的一个反射所提供的多个2D表面点的至少一个集合；使用所述代表2D表面点集合的数据在所述传感器坐标系中计算多个3D表面点的一个 集合；并且将所述3D表面点的集合在数学意义上投影到所述特征图像数据上，以便获得所述3D 表面点在所述特征图像数据中的一个位置；在所述特征图像数据中在离所述投影的3D表面点一个短的距离处为所述3D表面点集 合提取特征数据。
14.如权利要求13所述的方法，其中所述基础2D图像以及所述特征图像是使用一个传 感装置获得的，该传感装置具有一个图案投影器，该图案投影器用于在所述物体的所述表 面上提供所述投影的图案；用于获取所述物体的一个基础2D图像的至少一个基础照相机； 以及用于获取所述物体的一个特征图像的一个特征照相机；在一个传感器坐标系中所述基 础照相机、所述图案投影器以及所述特征照相机的一种空间关系是已知的。
15.如权利要求13和14中任何一项所述的方法，进一步包括获得多个变换参数，所述变换参数代表在所述传感器坐标系与一个全局坐标系之间的 一种空间关系；在所述全局坐标系中使用所述转换参数将所述3D表面点集合转换成多个被转换的3D 表面点的一个集合。
16.如权利要求15所述的方法，进一步包括积累该变换的3D表面点的集合以便提供所述物体的一个3D表面模型。
17.如权利要求16所述的方法，进一步包括在该全局坐标系中从该变换的3D表面点集合计算多个局部切面的一个集合， 使用所述局部切面来提供所述物体的所述3D表面模型。
全文摘要
在此提供了多种系统和方法，用于获取一个物体的三维表面的几何结构特征和/或纹理特征。一个图案被投影到所述物体的一个表面上。获得所述物体的一个基础2D图像；获得所述物体的一个特征2D图像；从所述基础2D图像、从所述投影的图案在所述物体上的反射中提取多个2D表面点；在一个传感器坐标系中使用所述2D表面点来计算多个3D表面点的一个集合；并且提取2D表面几何/纹理特征的一个集合。
文档编号G01B11/245GK102112845SQ200980129832
公开日2011年6月29日 申请日期2009年7月30日 优先权日2008年8月6日
发明者埃里克·圣-皮埃尔, 帕特里克·赫伯特, 德拉甘·图比克 申请人:形创有限公司