专利名称：用于将三维模型配准到表现零件姿态的点数据的系统、程序产品、和相关方法
技术领域：
本发明涉及三维扫描，而且特别是涉及了执行三维模型配准的系统、程序产 品、和方法。
背景技术：
近年来，不同的结构例如，高级复合材料结构的使用在航空、汽车、以及许多 其他工商业中经历的大规模的增长。虽然复合材料提供了在性能上的明显改进，但在制 造过程中需要严格的质量控制程序。特别地，非破坏性评估(“NDE” )方法需要估定不 同结构的结构完整性，例如，检测内含物、分层和空隙率。然而在传统上，常规的NDE 方法是劳动密集型并且成本高昂的。作为结果，测试程序不利地增加了与复合结构相关 的制造成本。已提出了不同的系统和技术来估定复合结构的结构完整性。例如，超声波测试 已成为了提供非侵入性的，一般是非破坏性的技术的、非常有用的方法，其被用来测量 包括了层厚度、裂纹、分层、孔洞、脱胶、外来夹杂物、纤维形态、纤维取向和孔隙率 的不同材料特性。在给定应用中，这些特性影响了给定的材料质量和性能。每个结构的 应用在材料结构质量上提出了独特的要求，其包括对不同强度、弹性、热性能、成本、 或紫外线辐射电阻的需求。随着不断改变的要求，更加非侵入性的、非破坏性的材料检 测使用比如超声波测试的技术来执行。超声波测试包括换能器感生的、激光的、电磁感 生的和等离子引起的超声波。换能器感生的超声波技术使用压电换能器以便在对象中感 生超声波信号。超声波技术被应用到科研以及工业环境中。在科研领域中，超声波技术被用来 关于所需特性测试新材料。所述技术也被用来寻找有经受应力或环境耐久力测试的材料 中的缺陷。在工业领域中，在预定服务期间使用所述技术以便针对这些缺陷检查零件。 航空、机车、和其他工商业已显示出对这些技术不断增强的兴趣。广域成像设备还为NDE应用提供了许多速度和适应性方面的优势。这种成像设 备能够被迅速地配置以适应各种零件的几何形状和尺寸，并且能够被部署而不需精确地 紧固传感器和零件。当被检查的零件很大或者复杂(有许多弯曲)时，应用使用若干传 感器，或者将单个传感器移动至多个观察位置以完成检查。随后，操作者必须复查若干 关于单个零件的图像，确定跨不同图像的指示的空间关系，并且假设所收集的图像完全 覆盖所述零件。不同的非破坏性评估系统能够使用激光超声波作为广域成像设备。例如，这些 系统还能够使用三维扫描仪，比如结构光深度摄像机以便在工作单元内定位零件。三维 扫描仪例如能够产生在零件上的几何样本的点云(“点数据”)。这种点数据能够表现 在给定环境中零件的姿态(“传感器数据”)。然而，点数据通常不能直接被利用。摄 像机标定、照相测量法、三角测量法、以及配准技术被用来限定坐标系，其允许系统将来自激光超声波成像设备的三维数据关联到所述零件的计算机辅助设计(“CAD”)模 型。随后所述系统能够将来自不同观察位置的超声波数据映射到CAD模型上，为操作者 产生自然的三维坐标系以便关联指示和评估扫描覆盖范围。然而，经过发明人确定，通过组合两个传感器数据的基础特征将三维模型配准 到表现了零件姿态的点数据很复杂。首先是存在离群点，其被获得作为传感器数据的一 部分，但不代表模型上的点。这些点能够由传感器中的噪声产生，或者由在比如封闭表 面、壁、台面、等等场景中的其他对象产生。其次是缺乏关于模型一些部分的数据，其 可能在零件被封闭的位置或者在传感器范围以外的位置产生。之前的实现通过预先过滤 数据以移除离群点，和/或通过菜单选择要使用的模型和传感器数据区域来规避这种问 题。然而，即便能够配准的话，这些技术降低了效率，并且增加了执行配准所需的时间 量。当前被用于尝试校正这些模型的算法包括了 “迭代最近点算法”。该算法通 过以下操作来工作选择在源中的点，计算在目标中的离这些点中的各个点最近的点， 然后计算最小化了在每个点及其对应点之间的距离的变换，然后将该变换应用到源， 并移动其更靠近所述目标。重复(迭代)该过程，直到当源和目标足够接近、已执行 了固定数量的迭代，或者配准失败的时刻为止。通过对其全文引用而并入Besl等人 的"Method forRegi strati on of 3-D Shapes”， IEEE Transactions on Pattern Analysis and Machine Intelligencel4, pages 239-256 (1992)，其提供了与算法的传统应用相关的额外细 节。当源与目标最初接近，并且当源中所有的点都具有在目标中对应的点时，所述算法 通常工作得很好。然而，如果在源中存在的点“远”离目标中任何对应点，则基于所选 择的“假”对应性的变换的最小化能够抑制实际配准。特别是，当包含离群点的传感器 数据被选择为源时，所述离群点没有模型的真实对应点，并且配准失败。相类似地，当 传感器数据未完全覆盖模型时，则当源失败时使用模型。相应地，经发明人确定需要有要执行自动化三维模型配准的系统、程序产品、 和方法，其允许有噪声的和不完整的传感器数据这两者被自动配准，而不必手动指定对 应点区域并且不必专门过滤数据源。

发明内容
鉴于上述观点，本发明的实施方式有利地提供要执行自动化三维模型配准的系 统、程序产品、和方法，其允许有噪声的和不完整的传感器数据这两者被自动配准，而 不必手动指定对应区域并且不必专门过滤数据源。本发明的实施方式还有利地提供要执 行自动化三维模型配准的系统、程序产品、和方法，其允许按原样使用有噪声的传感器 数据而不必修改，不必识别感兴趣区域，并且不必识别在模型与测距(传感器)数据之 间初始的点的对应。本发明的实施方式还有利地提供一种系统、程序产品、和方法，其 为获得模型和一组传感器数据，根据传感器数据定位靠近正确位置的模型，和在模型和 传感器数据上应用算法做了准备，因此最终变换代表了模型到传感器数据的配准。本 发明的实施方式通过提供自动摈弃在有噪声的和不完整的传感器数据中的离群点和桥孔 (bridgeholes)的机制来改善“迭代最近点”(ICP)算法的应用，例如，使用ICP算法的两 个应用，例如，交换源和目标。
更具体地，本发明的实施方式包括为可在检查单元内远程定位的零件执行非破 坏性评估的自动化三维图像配准的系统。例如，根据本发明的实施方式，所述系统能够 包括激光超声波检查设备，其具有包括了超声波源的扫描头，以产生在预定义的检查 单元内被定位的远程定位零件中的超声波表面位移；检查激光器；以及干涉仪以便在通 过检查激光器扫描期间收集由远程定位零件所反射的相位调制光。所述系统还能够包括 零件位置测定器，例如结构光摄像机，其被定位以测量在远程定位的零件的至少一个表 面上的多个点与扫描激光器参考位置之间的距离。当零件在检查单元内被定位时，所述 多个点整体地表现在远程定位零件的至少一个表面上被测量的姿态。零件位置测定器能 够包括扫描激光器，其被定位以提供光源并且具有与之相关的参考位置；至少一个扫 描镜，其被定位以便沿着远程定位零件的至少一个表面指引光源；光接收器，其被定位 成接收由扫描激光器提供并且从零件的至少一个表面反射的反射激光，由此确定在零件 的至少一个表面上的多个点与扫描激光器参考位置之间的距离。所述系统还能够包括数 据库，其包括关于相应多个感兴趣零件中每一个的多个计算机辅助设计模型，以及检查 单元的至少一个模型。本系统还能够包括与激光超声波检查设备和零件位置测定器通信 的激光超声波检查计算机，该计算机具有处理器和与处理器通信的存储器，该存储器存 储了适于执行零件的自动化三维图像配准的激光超声波检查程序产品。本发明的实施方式还包括在有形的计算机介质内存储的程序产品。例如，能够 提供根据本发明的实施方式的激光超声波检查程序产品，其包括当指令，当指令由计算 机，例如激光超声波检查计算机执行时，导致计算机执行取回或者以其他方式接收关于 零件的三维模型的模型数据的操作，取回或者以其他方式接收表现了在限定测距数据的 检查单元内被测量姿态中的零件的至少一个表面上的点的数据，将零件的三维模型校正 到零件被测量的姿态上，将所收集的检查数据关联到零件姿态的三维模型上以提供对检 查数据的增强可视化，以及响应于将零件配准到零件的三维模型而将检查数据映射到处 于零件姿态的模型上。校正操作能够包括执行将三维模型配准到测距数据，该配准操 作包括识别测距数据中具有与三维模型上实际点的高对应性概率的一组点；并且还包括 执行测距数据中所识别的具有高对应性概率的一组点到三维模型的配准。校正操作还能 够包括确定对作为源的、限定模型数据的、零件的模型上的数据点与作为目标的测距数 据之间的第一变换和测距数据中具有高对应性概率的一组点到模型上的实际点之间的第 二变换的逆变换的结合，以便配准零件与该零件的三维模型。执行三维模型到测距数据的配准的操作能够包括利用限定模型数据的、零件的 模型上的数据点作为源并利用测距数据作为目标，并且确定测距数据中具有与模型上实 际点的高对应性概率的一组点，以及在其之间的变换“Tl”。测距数据中具有与模型上 实际点的高对应性概率的一组点能够为使用迭代最近点算法所计算出的、测距数据中的 最接近模型中的相应点的一组点。执行将测距数据中所识别的具有高对应性概率的一组 点配准到三维模型的操作还能够包括利用在测距数据内的所识别的该组点作为源和利用 模型数据作为目标，以及确定在其之间的变换“T2”，并且校正操作能够包括确定变换 Tl与变换T2的逆变换的结合，以配准零件与该零件之间的三维模型。有利地，将零件 与零件三维模型配准提供独立于测距数据中存在的离群点与测距数据中的缺失数据这二 者的强健匹配。进一步有利的是，将零件的三维模型校正到检查单元内的零件的被测量姿态的操作被执行而不必预先过滤测距数据以移除离群点或预先统计缺失的数据。本发明的实施方式还包括执行对可在检查单元内远程定位的零件自动化三维图 像配准的方法。根据这样一种方法的实施方式，所述方法能够包括的步骤有当零件 被定位在限定了测距数据的检查单元内时，确定该要被检查的零件的至少一个表面上的 多个点的位置；识别在测距数据中的具有与要被检查零件的三维模型上的数据点有高对 应性概率的一组点；确定在三维模型上的数据点与测距数据中的具有与模型上实际点的 高对应性概率的该组点之间的第一变换Tl，例如，以移除离群点；确定测距数据中具有 与模型上实际点的高对应性概率的该组点与三维模型上的数据点之间的第二变换T2，例 如，为了当模型覆盖多个零件和测距数据时统计缺失的数据移除偏差。所述步骤还能够 包括确定第一变换与第二变换逆变换的结合，由此校正三维模型与处于零件姿态的零 件；以及将收集的检查数据关联到处于所述零件姿态的三维模型上，以便提供对检查数 据的增强的可视化。本发明的实施方式还包括计算机可读介质，其可由计算机读取以执行零件的自 动化三维图像配准。根据计算机可读介质的实施方式，计算机可读介质能够包括一组指 令，当由计算机运行时，其导致计算机执行的操作有取回或者以其他方式接收关于零 件三维模型的模型数据；当零件在限定了测距数据的检查单元内的被测量姿态中时，取 回或者以其他方式接收表现了在该零件至少一个表面上的点的数据；将所述零件的三维 模型校正到该零件的被测量姿态；将收集的检查数据关联到处于所述零件姿态的三维模 型上，以便提供对所述检查数据增强的可视化；以及响应于所述零件到零件三维模型的 配准而将检查数据映射到处于零件姿态的模型上。


为了使本发明的特性和优势在所述方法以及其他方法中变得更加明显，可以用 更多细节来理解，以上简要总结的发明更具体的说明可通过引用其实施方式来取得，所 述实施方式在形成了本说明书一部分的附图中示出。然而，要注意的是附图仅示出发明 的不同实施方式，并因此不被认为是对本发明的范围的限制，因为其同样可包括其他有 效的实施方式。图1是根据本发明实施方式执行关于非破坏性评估的、自动化预定维数的图像 配准的系统的说明框图；图2A是根据本发明实施方式的激光超声波检查设备的说明框图；图2B是根据本发明实施方式的激光超声波检查设备机架或者由机架承载的扫描 头的透视图；图3A-C是根据本发明实施方式的要被检查的零件的一系列透视图；图4A-C是根据本发明实施方式的通过对图3A-C中所示位置上的零件进行扫描 过程所产生的一系列二维超声波图像；图5是根据本发明实施方式的图形用户界面的截屏，其表现显示了进入检查单 元中的两个视角的显示框；图6是根据本发明实施方式的在操作中的零件位置测定器的周围环境视图；图7是根据本发明实施方式的零件三维模型的透视图8是根据本发明实施方式的与测距数据结合的图7中所示模型的透视图，以示 出包括了通过对零件进行多视角扫描产生的多个非叠加测距数据段的配准；以及图9是根据本发明实施方式的图8中所示配准的透视图，其具有“被贴墙纸式覆 盖到”被配准模型表面上的检查数据。
具体实施例方式现在，本发明将在下文中参考示出了本发明实施方式的附图来更加全面地描 述。然而，本发明可以按许多不同的形式来实施，并且不应认为是被限制到此处所阐明 的被示出的实施方式中。相反地，这些实施方式被提供，使得本讨论将更全面和完整， 并且将完全地把本发明的范围传达给本领域中的技术人员。相同的数字自始至终是指相 同的元件。不同的系统，比如非破坏性评估系统能够使用或利用广域成像设备。这种系统 还使用例如，三维扫描仪以定位在工作单元中的零件。三维扫描仪例如能够产生在零 件上的几何样本的点云(“点数据”)。这种点数据能够表现在给定环境中零件的姿态 (“传感器数据”)。所述点数据通常不被直接利用。作为替代，包括图像配准技术的 不同技术被用来限定坐标系，其允许系统将来自成像设备的三维数据关联到零件的计算 机辅助设计(“CAD”)模型上。随后，系统能够将来自不同观察位置的传感器数据映 射到CAD模型上，为操作者产生三维坐标系以便将指示和评估扫描范围相关联。图1-9示出根据本发明实施方式的、示例性的基于激光超声波的检查系统30， 其用于扫描例如复合零件，该检查系统30包括执行了模型到所述零件被测量姿态的三维 校正的程序产品和改进方法。正如在图1中被最好显示的，系统30能够包括激光超声 波检查设备31;零件位置测定器33;激光超声波检查计算机35 ；区域网37;激光超声 波检查程序产品39 ；对于在至少一个数据库45中所存储的每个感兴趣零件43的计算机 辅助设计模型(“CAD”)41;以及检查单元49的模型47，其存储在至少一个数据库45 中，下面以更多细节描述上述每个设备。如图2A中所示，激光超声波检查设备31中的激光超声波光学元件能够包括 定点激光器51，其在零件43上指示扫描位置；加热激光器或者其他超声波生成源53 ； 扫描激光器55;扫描镜57，其至少有一个，而优选为至少有两个；以及干涉仪或者其他 光接收器59，其收集在扫描期间由零件反射的相位调制光，由此检测表面位移。如图2B 中所示，能够例如在具有例如5个自由度的机架或者扫描头61上安装不同的激光超声波 光学元件。这种配置能够允许在X、Y、和Z轴上定位光学元件，并且围绕纵轴C和横 轴D旋转。在操作时，能够移动机架头(gantry head)61使得扫描激光器55被定位到例 如与零件40近似相距六十英寸，并且近似垂直于其表面。根据这种特殊的配置，扫描技 术在例如，与垂直线成高达近似士60度的范围内是有效的。根据适用于较大零件的一个 优选配置，通过移动包含在扫描头内的两个扫描镜，单次扫描由此能够覆盖高达六乘六 平方英寸的零件部分。当然，不同的配置和不同的镜定位能够提供不同的扫描能力。根据以上所描述的配置，例如，因为封闭、外延、以及表面正常态的限制，在 扫描期间不需要移动头，但是可以利用多个机架位置以完整地检查给定的零件。每个扫 描(检查)操作的输出包括二维(2D)超声波图像，其描述了与零件43中被扫描所覆盖的一部分有关的检查数据。所有产生的图像的合集表现了在零件43 (见图9)上取得的完整 检查数据。能够控制超声波图像的间距，使得每个像素都表示标准平面上的恒定间距， 所述标准平面垂直于激光源放置，并且距扫描头为固定的距离。这种配置超越更多传统检查技术的益处在于扫描设定和重新设置工具的简易 性。系统30能够产生从扫描激光器55到零件表面的宽入射角度上的可用数据，并且能 够容许零件43从一次扫描到下一个扫描的位置上的轻微变化。这允许零件43在使用了
“软”模具的检查单元49 (图1)中分段(staged)。这种软模具能够包括带有其中能够插 入一系列桩和柱的被预先定位的孔的检查台(未显示)，其主要提供关于零件何时被正确 定位的视觉线索，而不需要昂贵的固定装置或明显的修改。将超声波数据定位到例如CAD模型上的真实位置是很有用的。有利地，这种定 位能够允许在检查过程期间发现的缺陷和零件特性被带回模型中用于分析。接着，应力 和应变的计算能够被用来预测零件的性能和失败的可能性。另外，缺陷能够被放入场景 中，使得它们能够跨零件进行比较，或者按照形成的/使用中进行对比比较。更进一步 地，可方便地确定是过度覆盖还是覆盖不足。按照惯例，要将超声波图像提供给检查者，并且由这些图像来确定零件43的状 态和任何缺陷的位置。图3A-C显示在检查单元49内的零件43的三个视图的序列。图 4A-C显示由对在图3A-C中所示位置上的零件43的扫描过程所产生的超声波(数据)图 像71的序列。观察超声波图像数据，很难查明在被扫描区域内零件43的真实覆盖范围。 注意，图4A-C中所示的较暗色部分指示结构中比其他位置薄的区域。还要注意，在通 常被送达时，图4A-C中所示的图像是被定向与纵向成180°的。图3A和3B中所示的图像看上去似乎覆盖了接缝73，但是在叠加区域中数据的 质量未被很好的限定。有可能的是，图3B中所示的图像是不必要的(过度扫描)，但当 仅使用图3A和3B中所示的图像时同样有可能的是所述接缝未被完全覆盖(扫描不足)。 相类似地，精确的缺陷位置对于确定在附近缺陷处的相互作用，对于分析使用建模分析 的成长和应力特征，对于维持频繁缺陷的位置处的存档，以及对于将已形成的数据匹配 到使用中的数据而言是很重要的。正如本领域中的技术人员已知的一样，当与软模具相 结合时，这些分析能够变的更加复杂，所述软模具可逐次扫描地推移图像的相对位置。为了改进显示给检查者的数据，并且为了改进对缺陷的定位，系统30能够捕捉 软模具对扫描/检查单元49内的零件43的姿态的影响，并且能够使用计算机可视化技术 以便将超声波数据再次应用到作为基础的CAD模型的修正版本上。这种被改进的显示能 够减少或消除当前显示的许多问题，其允许为建模和分析精确地确定缺陷位置，并且允 许为特定的零件姿态精确地确定和测量扫描覆盖范围。有利地，超声波数据的显示能够 从扫描参数去耦合，并且以自然并且更有效率的方式显示给检查者。作为额外的益处， 相同的技术能够被用来作为扫描规划应用的基础，所述扫描规划应用被设计以自动地确 定一组扫描，其提供完整的覆盖范围而同时最小化过度扫描。根据本发明实施方式的方 法包括四个步骤(1)对机架运动和检查单元的特性建模；(2)测量零件在检查单元(限 定了被扫描零件的姿态)中的位置；(3)将CAD模型校正到所述姿态；以及(4)将超声 波数据映射到被重新定位的CAD模型上。机架和检查单元的建模。
如上所述，模型数据库41能够包括扫描/检查单元49的完整模型47，在其中 机架63的模型能够被精确地建模、动态表示、以及定位。这能够有利地允许零件43的 CAD模型被放入扫描/检查单元49内；能够允许现有的扫描计划使用现有的硬件接口模 型被模拟、显示、和分析；以及能够允许将机架头61单触式定位到被限定的扫描位置。 该虚拟环境能够有利地允许操作者模拟模型数据上的操作，并且进行大量所需的预处理 工作而不需要使用扫描/检查单元49。该虚拟环境能够提供零件定位、扫描分析、和可 视化，并且能够形成关于自动化扫描规划和被改进的可视化成果这二者的基础。图5显 示了图形用户界面81的截屏，其表现显示了进入检查单元49中的两个视角的显示框83。 偏上的面板描绘了从扫描激光器55看的单元49，而同时偏下的面板描绘了来自单元49的 五个限定位置中的一个的视图。字段节85提供了机架的位置，并且字段节87提供机架 位置控制标签。图形用户界面81在菜单标签89中还能够包括不同选择，并且那些被显 示围绕框架83定位的选择允许控制和修改模拟。可在图形用户界面81的显示区域中显 示的其他视窗能够显示满足了扫描限制(入射角、距离，等等)处的零件43的区域，这 为零件的定位做了准备，并允许了对虚拟的扫描操作有用的其他操作。测量在检查单元中零件的位置。如上所述，在扫描过程期间能够使用软模具，以便改进系统30的可用性，降低 新零件开发的成本，并且增加产量。系统30的用户能够将所有被扫描的零件43在单个 光学台(未显示)上分段，所述光学台具有例如，桩和柱以提供用于正确校正的视觉线 索。根据这种实现，不需要为了扫描额外的零件43而提供新的固定装置硬件。使用光 学台为新零件43分段可能和选择一组提供了 “可重现”的零件姿态的孔一样简单。很遗 憾的是，该方法通常不为逐个扫描地和逐个零件地真实重现零件位置或姿态做准备。因 此，任何在CAD模型上精确定位超声波图像71的尝试需要确定零件43的位置和姿态， 并且需要为每组独立的扫描(检查)数据重新定位零件43的CAD模型。根据系统30的 实施方式，为了实现这一点，激光超声波机架63能够被扩充带有零件位置测定器33例 如结构光深度摄影机，该结构光深度摄影机例如由Sandia National Laboratories所开发的 StructureLight (SL) Vision camera。正如可能在图6中被最好显示的，在优选配置中，零件位置测定器33包括以条 纹式激光器(laser striper)形式的测距激光器91，以及陷波滤波器摄像机93以确定零件43 到扫描激光器55的距离。注意，如可能在像素图95中被最好显示的，在该配置中，由 于陷波滤波器，摄像机93实质上仅看到由条纹式激光器91投射在零件43上的条纹(线) 的强度。该信息与对收集点上扫描激光器55的位置的认识相结合，以提供在零件位置处 的点云。这种收集能够在大量不同的机架位置上发生，其提供的一组数据共同表现了在 单元49中处于零件姿态的零件43。根据系统30的一个实施方式，零件位置测定器33包 括存储器和独立软件以收集所述点云。根据系统30的另一个实施方式，零件位置测定器 33与激光检查计算机35直接连接，和/或经由激光超声波检查程序产品39被激光检查计 算机35控制。数据的精确度很重要。因此，测距激光器91和摄像机93能够被校准以移除 固有失真，例如透镜效应、摄像机图像平面的失调，和其他的摄像机固有特性；以及确 定摄像机和激光器的姿态，这两者相对于彼此的姿态，和它们相对于激光超声波机架63的姿态。根据系统30的实施方式，能够利用校准程序，其例如能够通过改变摄像机93 的平移和倾斜设定，或者通过移动机架头61，将零件位置测定器33指向一个场景中的 不同点，并随后找到在摄像机图像与实体世界中固定的已知位置之间关联(例如，将零 件位置测定器33的坐标系关联或者以其他形式变换到检查单元49的坐标系)。能够 利用二阶段校准程序，其首先通过使用例如织构摄像机(未显示)来校准零件位置测定 器33的固有特性和零件位置测定器组件关于彼此的姿态，并且其次使用图像处理技术来 确定对象的中心，以校准/确定织构摄像机关于扫描激光器55的姿态，由此确定到摄 像机93的三维距离以给出沿零件43表面的三维点。这种方法通常在例如，Turner等 人的"Using ComputerVision to Map Laser Ultrasound onto CAD Geometries” Review of QuantitativeNondestructive Evaluation, 22, American Institute of Physics (2003)中有所描 述，此处通过全文引用而将其并入。将CAD模型校正到零件姿态。在所述过程中的该点上，系统30有权存取检查单元49的精确模型47，其有 能力动态表示机架运动；在数据库45中所存储的多个模型41的零件43 (图7)精确的特 定CAD模型101;以及数据(以上所确定)的点云，其表示了在检查单元49内处于真实 姿态的零件43上的点。下一步骤是移动CAD模型101，使得其正确地匹配所收集的点 数据，这被称为配准。这种配准的最终结果在图8中示出，其显示了通过更加完整对零 件43的十一视角扫描所产生的多个(例如57个)非叠加的段。这种步骤/操作(一系 列步骤/操作)由所收集的测距数据的性质而被复杂化，所述测距数据可包括相应于检 查单元49中其他表面的点，所述表面例如在其上将零件43分段的台，扫描/检查单元49 的壁(总起来说是离群点)；由于障碍或视角限制的区域而不可完全覆盖要被扫描的零件 43的数据(总起来说是缺失的数据)；以及系统噪声(即，在测距数据的静态精确度中的 误差)；等等。有利地，在激光超声波检查计算机35的存储器111中所存储的激光超声波检查 程序产品39能够包括的指令在被计算机35的处理器113运行时，会导致计算机35实现一 些操作，以执行将各个零件43的模型校正到其被测量姿态中所收集的零件数据。注意， 存储器111能够包括本领域中的技术人员已知的易失性和非易失性存储器，其包括例如 RAM、ROM、以及磁盘或光盘，此处仅举出一些例子。正如本领域中的技术人员已知和 理解的，程序产品39能够以微编码、程序、例程和符号语言的形式，其提供的特殊设定 用于设定控制硬件功能并且指引其操作的被排序的操作。还要注意，根据正如本领域中 的技术人员已知和理解的不同方法，根据本发明实施方式的程序产品39，不需要完全驻 留在易失性存储器中，而是能够根据需要被选择性地加载。根据系统30、程序产品39、和方法的实施方式，操作者首先加载CAD模型101 和测距数据(例如，数据的点云)，其关于要检查的零件43被放入激光超声波检查程序产 品39的零件放置图形用户界面中。根据系统30、程序产品39、和方法的另一个实施方 式，操作者从数据库45里所存储的多个模型41中选择关于零件43的CAD模型101，并 且如果不自动接收使用的测距数据，则选择要使用的测距数据。相应地，激光超声波检 查程序产品39接收零件43的三维模型101，并且接受数据的点云。操作者使用输入设备 (例如，鼠标、轨迹球、触屏板，等等)，随后手动将零件43图形地移动“靠近”模型101，以便与其相关联。这种最初的校正可能非常粗糙，但仍有助于确保配准过程最初的 迭代具有合理的起始点。在该最初的校正之后，激光超声波检查程序产品39的零件放置 部分针对点云和CAD模型101运行，而无需操作者进一步的互动。有利地，如可能在图 8中被最好显示的，该配准产生强健的精细匹配，其独立于离群点的存在以及表示所述零 件的点云中的缺失数据。根据激光超声波检查程序产品39的实施方式，为了执行这种配准过程，激光超 声波检查程序产品39包括的指令在被激光超声波检查计算机35运行时，会导致计算机 35执行运行了迭代最近点算法的操作，其使用模型101作为源，并使用数据云(测距传 感器数据)作为目标。该阶段的输出是变换“Tl”和一组来自传感器数据“Si”的 点。这组点是针对源点生成的对应点，即它们是在测距传感器数据中最接近模型101中 的点的、一组通过迭代最近点算法所计算的点。这些操作接下来还包括再次运行迭代最 近点算法，这一次使用一组来自测距传感器数据的点“Si”作为源并使用模型数据作为 目标。该阶段的输出是变换“T2”。这些操作接下来包括确定变换Tl与T2逆变换的 结合，所述变换T2限定了配准。根据程序产品39的这个实施方式，迭代最近点算法的 最初运行提供了将模型101粗糙地配准到测距传感器数据，和识别在测距传感器数据中 具有与模型101上的实际点的高对应性概率的一组点这二者。第二次运行则将所识别的 有高对应性概率的点配准到模型101。由以上操作所产生的变换为通过第一次运行所识别 的变换与通过第二次运行所识别的逆变换的结合。将超声波数据映射到被重新定位的CAD模型上。如可能在图9中被最好显示的，根据激光超声波检查程序产品39的实施方式， 所述操作还包括将所收集的超声波传感器数据，例如图4A-C中所示的超声波传感器数 据，映射/重新映射到处于所述零件姿态的模型101，以便完成超声波传感器数据与CAD 模型101的关联。这能够例如通过使用可视化工具(未显示)将超声波数据作为织构投 射到零件上来实现。这些操作包括针对用户期望放到CAD模型101上的每个超声波图像 产生场景中模型的新实例。Turner等人主要描述了执行这些操作的示例性方法。重要的是要注意，虽然本发明的实施方式已在全功能系统的背景中被描述，本 领域中的技术人员将明白的是，本发明的至少一些部分的机制和/或其相关方面能够在 指令的计算机可读介质的形式上是分布式的，所述指令以各种形式用于在一个处理器、 一些处理器、或者类似物上运行，并且要注意，无论使用了什么特殊类型的信号承载介 质本发明同样适用于实际实现所述分布。计算机可读介质的例子包括但不限于非易失 性的，硬编码类型的介质比如只读存储器(ROM)、CD-ROM、和DVD-ROM，或者可 擦写的，电可编程只读存储器(EEPROM)，可记录类型的介质比如磁盘、硬盘驱动器、 CD-R/RW、DVD-RAM> DVD-R/RW、DVD+R/RW、闪存、以及其他更新型的存储 器，以及传输类型的介质比如数字的和模拟的通信线路。例如，这种介质能够包括以上 所描述的操作指令，以及与激光超声波检查程序产品39和方法步骤相关的操作指令这二 者ο本发明的实施方式包括若干优势。例如，本发明的实施方式足够强健以允许使 用充满噪声的传感器数据将传感器(测距)数据按原来的样子不做修改地配准到模型，例 如不做专门的过滤；不做识别感兴趣区域；以及不指定相关联的区域，即手动识别模型与测距数据之间的初始对应关系。本发明的实施方式使用一种算法，其在模型和传感器 数据上自动运行，并且其产生表示将模型配准到传感器数据的最终变换。本发明的实施 方式执行了这种自动化配准，其需要的只不过是获得模型和一组传感器数据，并且最初 手动图形定位模型数据靠近关于传感器数据的正确位置，反之亦然。本发明的实施方式 通过利用迭代最近点算法的一个变体执行自动配准，所述算法变体提供迭代最近点算法 的两次运行，在第二次运行时交换源和目标，并由此帮助使得充满噪声或者不完整的传 感器数据无效。本申请涉及于2008年8月29日所提交的，标题为“System，Program Product, andRelated Methods for Registering Three-Dimensional Models to Point Data Representing thePose of a Part”的第12/202,016号美国临时专利申请，以及于2008年3月28日 所提交的，标题为"System, Program Product, and Related Methods for Registering Three-DimensionalModels to Point Data Representing the Pose of a Part"的第 61/040,415 号 美国临时专利申请，此处通过对其全文弓I用并入每个申请。在附图和说明书中，已公开了本发明典型的优选实施方式，而且虽然利用了特 殊的术语，但这些术语仅是以说明性的意义使用的，并且不是出于限制性的目的。本发 明已经关于这些被示出的实施方式以相当多的细节进行了描述。然而，将要明白的是， 能够在如上述说明书中所描述的发明精神和范围内做出不同的修正和改变。例如，根据 本发明的不同实施方式所利用的技术能够被用于各种非破坏性评估、形状检查、以及通 常的导航/操纵应用，其利用激光、非激光、或者两种方法以产生检查数据。相应地， 本领域中的技术人员将认识到本发明的不同实施方式对于各种应用的适用性。
权利要求
1.一种用于对可远程定位在检查单元(49)内的零件(43)的非破坏性评估执行自动化 三维图像配准的系统(30)，所述系统(30)包括激光超声波检查设备(31)和零件位置测定 器(33)，所述系统(30)的特征在于具有扫描头(61)的所述激光超声波检查设备(31)，包括超声波源(53)，其在预定义的检查单元(49)内定位的远程定位的零件(43)中产生超 声波表面位移，检查激光器(55)，以及干涉仪(59)，其在通过所述检查激光器(55)扫描期间收集由所述远程定位的零件 (43)反射的相位调制光，所述相位调制光被在远程定位的零件(43)中的超声波表面位移 调制以提供检查数据；所述零件位置测定器(33)被定位以测量在所述远程定位的零件(43)的至少一个表面 上的多个点与扫描激光器参考位置之间的距离，当所述远程定位的零件在所述检查单元 (49)中被定位时，所述多个点总体地表示所述远程定位的零件(43)上所述至少一个表面 的被测量的姿态，所述零件位置测定器(33)包括扫描激光器(91)，其被定位以提供光源，并且具有与其相关的所述参考位置， 至少一个扫描镜，其被定位以沿着所述远程定位的零件(43)的所述至少一个表面引 导所述光源，以及光接收器(93)，其被定位以接收由所述扫描激光器(91)提供的、所述零件(43)的所 述至少一个表面反射的反射激光，以由此确定在所述零件(43)的所述至少一个表面上的 多个点与所述扫描激光器参考位置之间的距离；激光超声波检查计算机(35)，其与所述激光超声波检查设备(31)和所述零件位置测 定器(33)通信，并且包括处理器(113)和与所述处理器(113)通信的存储器(111)；以 及激光超声波检查程序产品(39)，其存储在所述激光超声波检查计算机(35)的存储器 (111)中且包括指令，当通过所述激光超声波检查计算机(35)的所述处理器(113)执行所 述指令时，导致所述计算机(35)执行以下操作接收关于所述远程定位的零件(43)的三维模型(101)的模型数据， 当所述零件在限定测距数据的所述检查单元(49)内的所测量姿态中时，从所述零件 位置测定器(33)接收表示在所述远程定位的零件(43)的所述至少一个表面上的点的数据 的点云，以及将所述远程定位的零件(43)的所述三维模型(101)校正到在所述检查单元(49)内的 零件(43)的被测量姿态，所述校正操作包括执行将所述三维模型(101)配准到所述测距数据，该配准操作包括识别在所述测距 数据中具有与所述三维模型(101)上的实际点的高对应性概率的一组点，以及执行所述测距数据中的所被识别的具有高对应性概率的一组点到所述三维模型(101) 的配准。
2.如权利要求1所述的系统(30)，其中所述操作还包括将收集的检查数据关联到处于所述零件姿态的所述三维模型 (101)上，以提供对所述检查数据的增强的可视化的操作；以及其中所述系统(30)的特征还在于数据库(45)，其包含针对相应多个感兴趣的零件 (43)中每一个的多个计算机辅助设计模型(41)，以及所述检查单元(49)的至少一个模型 (47)。
3.如权利要求1或2中任一项所述的系统(30)，其中执行将所述三维模型(101)配准到所述测距数据的操作包括利用限定模型数据的、在所述远程定位的零件(43)的三维模型(101)上的数据点作 为源并且利用所述测距数据作为目标；以及确定在所述测距数据中具有与在所述三维模型(101)上的实际点的高对应性概率的 所述一组点以及在其之间的变换。
4.如权利要求3所述的系统(30)，其中所述变换是第一变换Tl ；以及其中所述测距数据中具有与在所述三维模型(101)上的实际点的高对应性概率的所 述的一组点包括使用迭代最近点算法所计算出的、在所述测距数据中最接近在所述三维 模型(101)中的相应点的一组点。
5.如权利要求3或4中任一项所述的系统(30)，其中所述变换是第一变换Tl，并且 其中执行将所述测距数据中具有高对应性概率的所被识别的一组点配准到所述三维模型 (101)的操作包括利用在所述测距数据中所被识别的一组点作为源，并且利用所述模型数据作为所述 目标；以及确定在其之间的第二变换T2。
6.如权利要求5所述的系统(30)，其中所述校正操作包括确定所述第一变换Tl与所 述第二变换T2的逆变换的结合以将所述远程定位的零件(43)与所述零件(43)的所述三 维模型(101)配准。
7.如权利要求6所述的系统(30)，其中所述远程定位的零件(43)与所述零件(43)的 所述三维模型(101)的配准提供了独立于在所述测距数据中的离群点的存在和在所述测 距数据中的缺失数据这二者的强壮的匹配。
8.如权利要求6或7中任一项所述的系统(30)，其中所述操作还包括响应将所述远程 定位的零件(43)配准到所述零件(43)的所述三维模型(101)，将所述检查数据映射到处 于所述零件姿态的所述零件(43)的所述三维模型(101)。
9.如权利要求6-8中任一项所述的系统(30)，其中，不必预先过滤所述测距数据以 移除离群点或者预先统计缺失的数据而执行将所述远程定位的零件(43)的所述三维模型 (101)校正到在所述检查单元(49)内的零件(43)的被测量姿态的操作。
10.如权利要求6-9中任一项所述的系统(30)，其中所述激光超声波检查设备(31)和 所述零件位置测定器(33)被安装到具有至少五个自由度的扫描头(61)中。
11.一种程序产品(39)，包括在有形计算机介质中存储的指令，当通过计算机(35) 运行所述指令时导致所述计算机(35)执行操作，所述操作包括接收关于零件(43)的三维 模型(101)的模型数据的操作，所述操作的特征还在于接收表示当在限定测距数据的检查单元(49)内处于被测量姿态中时的所述零件(43) 的至少一个表面上的点的数据；以及将所述零件(43)的所述三维模型(101)校正到所述零件(43)的被测量姿态，所述校 正操作包括执行将所述三维模型(101)配准到所述测距数据，该配准操作包括识别在所述测距 数据中具有与所述三维模型(101)上的实际点的高对应性概率的一组点，以及执行将所述测距数据中具有高对应性概率的所被识别的一组点配准到所述三维模型 (101)。
12.如权利要求11所述的程序产品(39)，其中所述校正操作还包括确定在作为源的、限定模型数据的、所述零件(43)的所述 三维模型(101)的数据点与作为目标的所述测距数据之间的第一变换Tl和所述测距数据 中具有高对应性概率的所述一组点到所述三维模型(101)上的实际点之间的第二变换T2 的逆变换的结合，以便配准所述零件(43)与所述零件(43)的所述三维模型(101)；以及其中所述操作的特征还在于将收集的检查数据关联到处于所述零件姿态的所述三维 模型(101)上，以提供对所述检查数据的增强的可视化的操作。
13.如权利要求11或12中任一项所述的系统(39)，其中执行所述三维模型(101)到所述测距数据的配准的操作包括利用限定模型数据 的、所述零件(43)的所述三维模型(101)上的数据点作为源并利用所述测距数据作为目 标，并且确定在所述测距数据中具有与所述三维模型(101)上的实际点的高对应性概率 的所述一组点和在其之间的变换；以及其中所述测距数据中具有与在所述三维模型(101)上的实际点的高对应性概率的所 述一组点为使用迭代最近点算法所计算出的、在所述测距数据中的最接近在所述三维模 型(101)中的相应点的一组点。
14.如权利要求13所述的程序产品(39)，其中所述变换是第一变换Tl ；其中执行在所述测距数据中具有高对应性概率的所被识别的一组点到所述三维模型 (101)的配准操作包括利用在所述测距数据中的所被识别的一组点作为源，并利用所述模 型数据作为目标，以及确定在其之间的第二变换T2 ；其中所述校正操作还包括确定所述第一变换Tl与所述第二变换T2的逆变换的结合， 以将所述零件(43)与所述零件(43)的所述三维模型(101)配准；以及其中所述操作的特征还在于，响应将所述零件(43)配准到所述零件(43)的所述三维 模型(101)而将所述检查数据映射到处于所述零件姿态的所述三维模型(101)的操作。
15.如权利要求14所述的程序产品(39)，其中所述零件(43)与所述零件(43)的所述三维模型(101)的配准提供了独立于在所 述测距数据中的离群点的存在和在所述测距数据中的缺失数据这二者的强壮的匹配；以 及其中将所述零件(43)的所述三维模型(101)校正到在所述检查单元(49)内的所述零 件(43)的被测量姿态的操作被执行而不必预先过滤所述测距数据以移除离群点或者预先 统计缺失的数据。
16.—种用于对可远程定位在检查单元(49)内的零件(43)执行自动化三维图像配准 的方法，所述方法的特征在于以下步骤当零件(43)被定位在限定测距数据的检查单元(49)内时，确定要被检查的零件(43) 的至少一个表面上多个点的位置；识别所述测距数据中具有与在要被检查的所述零件(43)的三维模型(101)上的数据 点的高对应性概率的一组点；确定在所述三维模型(101)的所述数据点与所述测距数据中的具有与在所述三维模 型(101)上的实际点的高对应性概率的所述一组点之间的第一变换Tl ；确定在所述测距数据中的具有与在所述三维模型(101)上的实际点的高对应性概率 的所述一组点和所述三维模型(101)上的所述数据点之间的第二变换T2 ；确定所述第一变换Tl与所述第二变换T2的逆变换的结合，由此校正所述三维模型 (101)和处于零件姿态的所述零件(43)；以及将收集的检查数据关联到处于所述零件姿态的所述三维模型(101)上，以便提供对 所述检查数据的增强的可视化。
17.如权利要求16所述的方法，其中识别在所述测距数据中具有与在要被检查的所述 零件(43)的三维模型(101)上的数据点的高对应性概率的一组点的步骤包括确定使用迭代最近点算法所计算出的、在所述测距数据中的最接近在所述三维模型 (101)中的相应点的一组点的步骤。
18.如权利要求16或17中任一项所述的方法，其中所述校正提供独立于在所述测距 数据中的离群点的存在和在所述测距数据中的缺失数据这二者的强壮的匹配。
19.如权利要求16-18中任一项所述的方法，其中确定所述第一变换Tl、第二变换 T2、以及所述第一变换Tl与所述第二变换T2的逆变换的结合的步骤被执行而不需预 先过滤所述测距数据以移除离群点或者预先统计缺失的数据，不需识别一组在所述零件 (43)上的点以手动地配准，并且不需手动选择在所述三维模型(101)中具有与所述数据 中的特定点的对应性的特定点。
20.—种用于对可远程定位在检查单元(49)内的零件(43)执行自动化三维图像配准 的方法，所述方法的特征在于以下步骤接收关于所述零件(43)的三维模型(101)的模型数据；当零件(43)在限定测距数据的所述检查单元(49)内的被测量姿态中时，接收表示在 零件(43)的至少一个表面上的点的数据；以及将所述零件(43)的所述三维模型(101)校正到所述零件(43)的所述被测量姿态，所 述校正操作包括执行将所述三维模型(101)配准到所述测距数据，该配准操作包括识别在所述测距 数据中的具有与所述三维模型(101)上的实际点的高对应性概率的一组点，以及执行将所述测距数据中的具有高对应性概率的所被识别的一组点配准到所述三维模 型(101)。
21.—种计算机可读介质，其可由计算机(35)读取以执行对零件(43)的自动化三维 图像配准，所述计算机可读介质包括一组指令，当通过所述计算机(35)运行所述一组指 令时，导致所述计算机(35)执行不同操作，所述操作包括接收关于所述零件(43)的三维 模型(101)的模型数据，所述操作的特征在于接收表示在限定测距数据的检查单元(49)内处于被测量姿态时的零件(43)的至少一个表面上的点的数据；以及将所述零件(43)的所述三维模型(101)校正到所述零件(43)的被测量姿态，所述校 正操作包括执行将所述三维模型(101)配准到所述测距数据，该配准操作包括识别在所述测距 数据中的具有与所述三维模型(101)上的实际点的高对应性概率的一组点，以及执行所述测距数据中具有高对应性概率的所被识别的一组点到所述三维模型(101) 的配准。
22.如权利要求21所述的计算机可读介质，其中所述校正操作还包括确定在作为源的、限定模型数据的、所述零件(43)的所述 三维模型(101)上的数据点与作为目标的所述测距数据之间的第一变换Tl和所述测距数 据中具有高对应性概率的所述的一组点到所述三维模型(101)上的实际点之间的第二变 换的逆变换的结合，以便配准所述零件(43)与所述零件(43)的所述三维模型(101)；以 及其中所述操作的特征还在于将收集的检查数据关联到处于所述零件姿态的所述三维 模型(101)上以提供对所述检查数据的增强可视化的操作。
23.如权利要求21或22中任一项所述的计算机可读介质，其中执行所述三维模型(101)到所述测距数据的配准的操作包括利用限定模型数据 的、所述零件(43)的所述三维模型(101)上的数据点作为源并利用所述测距数据作为目 标，以及确定在所述测距数据中具有与所述三维模型(101)上的实际点的高对应性概率 的所述一组点和在其之间的变换；以及其中所述测距数据中具有与在所述三维模型(101)上的实际点的高对应性概率的 所述一组点为使用迭代最近点算法所计算出的、所述测距数据中最接近在所述三维模型 (101)中的相应点的一组点。
24.如权利要求23所述的计算机可读介质， 其中所述变换是第一变换Tl ；其中执行所述测距数据中具有高对应性概率的所被识别的一组点到所述三维模型 (101)的配准操作包括利用所述测距数据中所被识别的一组点作为源，并利用所述模型数 据作为目标，以及确定在其之间的第二变换T2 ；其中所述校正操作还包括确定所述第一变换Tl与所述第二变换T2的逆变换的结合， 以将所述零件(43)与所述零件(43)的所述三维模型(101)配准；以及其中所述操作的特征还在于，响应将所述零件(43)配准到所述零件(43)的所述三维 模型(101)而将所述检查数据映射到处于所述零件姿态的所述三维模型(101)的操作。
25.如权利要求24所述的计算机可读介质，其中所述零件(43)与所述零件(43)的所述三维模型(101)的配准提供独立于在所述 测距数据中的离群点的存在和在所述测距数据中的缺失数据这二者的强壮的匹配；以及其中将所述零件(43)的所述三维模型(101)校正到在所述检查单元(49)内所述零件 (43)的被测量姿态的操作被执行而不必预先过滤所述测距数据以移除离群点或者预先统 计缺失的数据。
全文摘要
提供了一种对在检查单元(49)内的零件(43)执行自动化三维图像配准的系统(30)、程序产品(39)、和方法。系统(30)能够包括激光超声波检查设备(31)，其具有扫描头(61)以产生在零件(43)中的超声波表面位移、检查激光器(55)、以及干涉仪(59)，以便收集由所述零件(43)反射的相位调制光。系统(30)还能够包括零件位置测定器(33)，其被定位以测量在零件(43)的表面上的点与扫描激光器参考位置之间的距离。系统(30)还能够包括数据库(45)，其包含关于每个感兴趣零件(43)的计算机辅助设计模型(41)，以及检查单元(49)的模型(47)。系统(30)可还包括与激光超声波检查设备(31)和零件位置测定器(33)通信的激光超声波检查计算机(35)，以及适于对零件(43)执行自动化三维图像配准的激光超声波检查程序产品(39)。
文档编号G01N29/24GK102016565SQ200980116096
公开日2011年4月13日 申请日期2009年3月26日 优先权日2008年3月28日
发明者威廉·洛伦森, 詹姆斯·米勒, 韦斯利·特纳 申请人:洛伊马汀公司