专利名称：一种动态物体的三维测量系统的制作方法
技术领域：
本发明属于精密测量领域，具体涉及一种动态物体的三维测量系统，可以对运动 中的物体进行实时的三维测量。
背景技术：
随着计算机科学与技术的高速发展，动态物体三维测量技术在许多行业中有着越 来越广泛的应用前景。在工业自动化领域，可利用该技术对生产线进行实时监测，及时发现 生产中的质量问题；在体育运动分析、医疗、三维游戏及电影特技等领域，可利用该技术测 量人体或动物在运动过程中的形态、表情特征，并实现三维数字化处理；在汽车安全性测试 试验中，也可采用该技术对汽车碰撞测试进行完整的三维测量，由计算机辅助分析碰撞过 程中的应力应变数据，帮助设计人员改进相关设计，提高汽车的安全性。该技术的进步将对 许多行业的发展带来帮助。在动态物体三维测量技术中，实现实时测量具有特别重要的意义。如在生产线在 线监测过程中，三维测量速度如果不能跟上生产线运行的速度，测量将失去意义。在体育运 动分析、医疗等领域虽然不需要如此强的实时性要求，但由于测量数据数量庞大，如果不能 把计算时间控制在适当的范围内，计算机三维测量就不能及时反馈给使用人员测量信息， 后继工作将无法进行，因此这些领域也需要三维测量具备弱实时性。结构光测量技术由于本身具有的一些优点，完全适合在动态过程测量的研究中 加以开发利用。上世纪八十年代，当美洲和亚洲国家致力于研究激光三维测量技术时，德 国已开始对面结构光三维测量技术进行研究。1985年，位于德国Munich-Karlsfeld的 M.A. N.光学测量技术中心率先利用相移干涉法(Phase Shift Interferometry, PSI)实 现了变形测量和振动分析。1986年，该中心的研究人员Dr. Breuckmann将PSI技术引入 三维形貌测量，形成了一种新的三维形貌测量技术相位测量轮廓术(PMP)，并成立了自 己的实验室，专门从事此技术方面的研究。近20年内相继推出了不同型号的测量系统， 并在工业检测、文物数字化、人体测量等多个领域得到了广泛的应用。除Dr. Breuckmarm 以夕卜，Dr. Steinbichler、Dr. Wolf 及德国 TechnicalUniversity of Braunschweig 的 Reinhold Ritter教授，也是结构光测量技术领域的先驱，他们在上世纪九十年代分别成立 了 SteinbichlerGmbH、Dr. WolfGmbH和GOM GmbH,并相继推出了多款结构光测量系统,如 Steinbichler GmbH的C0MET5型结构光三维测量系统、GOMGmbH的Atos-II型结构光三维 测量系统等。但是上述商品化的结构光测量系统在测量过程中均需要拍摄多张图像，处理 时间需要数秒钟，不能满足动态物体实时测量的需求。目前动态物体实时的三维测量技术在世界范围内还不是很成熟，但是近年来发展 迅速。从目前的发展趋势来看，基于面结构光的动态物体三维测量技术主要可以分为两大 类(1)使用单幅图像进行三维重建；(2)使用多幅图像进行三维重建。目前已有很多研究单位对使用单幅图像进行动态物体三维测量的方法进行了研 究。2006年，德国西门子研发中心开发出了一套基于彩色编码原理的实时三维结构光测量系统。该系统由单相机-单投影仪组成，测量时向被测物体投射一张彩色编码图像，然后通 过对拍摄的彩色图像进行解码和立体匹配重建出被测物体的三维形貌，该系统的分辨率为 640 X 400，测量速度为每秒17-25帧，但计算过程为离线处理，需耗费较长的时间。2008年， 日本大阪大学的Ryusuke Sagawa、埼玉大学的Hiroshi Kawasaki和广岛工业大学的Ryo Furukawa等人共同开发了一种使用彩色网格图像实现缓慢变化物体测量的结构光系统，该 系统能够成功测得缓慢变化的人脸表情，测量误差为0. 52mm。南京理工大学的贺安之教授 在2007年提出了一套基于彩色相位移原理的动态三维形貌测量系统，并成功实现动态的 物体的三维重构。浙江工业大学的陈胜勇教授在2008年也开发了一种基于彩色条纹编码 原理的面结构光测量系统，该系统在普通的硬件条件下实现了对慢速物体的形貌测量。上 述几种单幅测量技术均使用彩色编码图案，测量精度一般会受被测物体表面颜色的影响， 并且上述几种方法的处理算法均较为复杂，目前还无法实现实时处理。另外一种使用单幅图像进行三维测量的方法是基于Takeda和Moutoh于1983年 提出的傅立叶变换轮廓术(Fourier Transform Profilometry，FTP)。国内四川大学光电 技术研究所的苏显渝教授及其课题组，将FTP方法运用到动态物体三维面形测量中，并成 功的测量了处于呼吸过程中、变化速度较慢的人体胸腔起伏变化的情况；在流体力学测量 领域，完整测量和再现了液体漩涡的生成和加深的过程。而且，为材料变形、爆破过程、碰撞 变形等领域的三维测量和研究提供了一种新的方法。该课题组在高速动态测量领域处于领 先水平，但是由于FTP的固有特性，该方法在测量复杂物体方面有一定的局限性，且由于算 法复杂，测量的实时性还有待进一步提高。上述两类单幅图像测量方法均通过牺牲测量精度来提高处理速度。为了提高动态 物体的测量精度，也有很多科研单位提出了在短时间内快速拍摄多幅编码图像的方法来实 现动态物体的三维测量。美国Princeton大学的Szymon Rusinkiewicz教授及其团队，在 2002年提出了一种基于4帧光条图像的结构光面扫描系统，测量过程中允许测量系统或被 测物体做缓慢的运动，该系统每秒可以投射60幅条纹图像，即每秒可采集15帧三维数据。 华盛顿大学的Li Zhang教授，在2004年提出了一种基于Time-Space的动态人脸测量方法， 该方法通过投射一组黑白编码光，根据时间立体匹配法计算出动态物体三维数据。这两种 方法与其它使用二进制编码的测量方法一样，其测量分辨率受编码精度的影响，无法实现 高分辨率的三维测量，且由于其解码算法较为复杂，很难实现实时的三维重建。从动态三维物体实时测量技术的发展来看，GPU计算越来越显现出其重要性，动态三维测量技术中许多计算都可以在GPU上完成，因此可以大大的提高计算速度。最初 GPU是为三维图形渲染专门设计的，用于计算机显卡的三维图形显示加速。由于在GPU的 设计中，将更多晶体管用于数据的并行处理，而非传统CPU所强调的数据缓存(caching) 和流程控制(flowcontrol)，因此GPU可同时处理多达数百个三维顶点及像素的几何计算 工作，具备及其强大的并行处理能力。众多学者开始研究通过将并行数值计算变通为三维 图形显示的方式，来利用GPU高性能计算能力的方法，GPU计算逐渐在物理仿真、计算金融 学、计算生物学等研究领域得到了初步应用。同时，GPU的生产厂商也在不断改良GPU的硬 件架构，使其不再仅仅局限于针对三维图形处理，而是面向通用计算。在新一代的GPU架 构中，GPU由大量被称为流处理器(Streaming Processors)的计算单元组成，它们都遵循 SIMT (single-instruction, multiple-thread，单指令、多线程)的架构模式。多处理器会将各线程映射到一个标量处理器核心，各标量线程使用自己的指令地址和寄存器状态独立 执行。这时GPU才开始真正具备处理复杂算法的能力。2007年，瑞士联邦理工学院的Thibaut Weise教授及其课题组，已将GPU用于实时 动态测量，成功开发出一套实时动态三维测量系统，且速度达到每秒15帧。美国Song Zhang的也将GPU由于实时动态三维测量技术中，并实现了人脸表情变 化的测量，但其算法还无法很好的利用GPU并行计算的功能，因此目前只能应用于测量运 动速度较慢的物体。综上所述目前，结构光测量技术虽然能对物体三维表面形状进行高精度测量，但 测量过程中均需要拍摄多张图像，处理时间过长，还不能满足实时动态物体测量的需求，大 多数情况下还只能进行离线的数据处理。因此现有的结构光测量技术还无法实现高分辨率 的实时动态测量。同时，随着GPU的发展，GPU强大的并行计算能力也逐渐应用于多个领域， 并能很好的应用于实时、高分辨率的动态物体三维测量。

发明内容
本发明的目的在于提供一种动态物体三维测量系统，该系统能够对动态物体进行 三维实时测量。本发明提供的动态物体的三维测量系统，其特征在于该系统包括时钟同步控制 器，DLP投影仪，第一、第二 CCD相机，图像采集卡和计算机；其中，DLP投影仪去掉了用于生 产彩色图像的色轮，第一、第二 CXD相机的光心轴与DLP投影仪的光心轴夹角均在20至60 度之间，并且测量时保持DLP投影仪与第一、第二 CCD相机的相对位置不变；计算机为带有 基于计算统一设备构架的图形显卡；时钟同步控制器分别与DLP投影仪和第一、第二 CXD相机相连，DLP投影仪与计算 机相连，第一、第二 CCD相机均通过图像采集卡与计算机相连；测量的过程中，首先由时钟同步控制器触发DLP投影仪向被测物体以每秒90帧 以上的帧率投影一组黑白正弦光栅图像，投影时正弦光栅图像都在栅线的垂直方向上平移 栅距的1/3，等距平移二次，每帧三维数据投影出三幅正弦光栅图像；同时，时钟同步控制 器给第一、第二 CCD相机发送信号，使两个相机的图像采集帧率与DLP投影仪的投影帧率保 持一致；第一、第二 C⑶相机采集的图像经图像采集卡传送给计算机，计算机中的图形显卡 GPU对采集的数据进行处理，实时计算动态物体的三维数据。本系统中由时钟控制器触发DLP (Digital Light processing，数字光学处理器) 投影仪向被测物体以每秒90帧以上的帧率投影出一组黑白正弦光栅图像，同时，时钟控制 器控制两个CCD相机以与投影仪相同的帧率进行同步拍摄，然后由图像采集卡将拍摄的图 像数据传送给计算机，计算机快速的对图像进行处理并实时的计算三维数据，由于每一帧 三维数据需要3幅图像进行计算，因此动态三维数据的帧率可达每秒30帧以上。此过程中 部分的数据处理由计算机显卡的GPU辅助完成。该系统的最显著地特征测量速度快，能实 时的计算并显示动态物体的三维信息。


图1为动态测量系统的结构图2为DLP投影仪的结构3为同步信号示意图；图4为数据处理流程图；图5为极线约束的原理图；图6为极线约束的匹配算法原理图；图7为双目立体视觉图；图8为系统计算构架图。
具体实施例方式下面结合附图和实例对本发明做进一步详细的说明。如图1，本发明系统包括时钟同步控制器101，DLP投影仪102，第一、第二 C⑶相机 103、104，图像采集卡105和计算机106。其中第一、第二 C⑶相机的光心轴与DLP投影仪的 光心轴夹角均在20至60度之间，并且测量时严格保持DLP投影仪与第一、第二 CCD相机的 相对位置不变。时钟同步控制器101分别与DLP投影仪102和第一、第二 CXD相机103、104相连， DLP投影仪102与计算机106相连，第一、第二 CXD相机103、104均通过图像采集卡105与 计算机106相连。测量的过程中，首先由系统中的时钟同步控制器101触发DLP投影仪102向被测 物体以每秒90帧以上的帧率投影一组黑白正弦光栅图像，投影时正弦光栅图像都在栅线 的垂直方向上平移栅距的1/3，等距平移2次，故每帧三维数据需投影出3幅正弦光栅图像。 同时，时钟同步控制器101给第一、第二 C⑶相机103、104发送信号，使两个相机的图像采 集帧率与DLP投影仪102的投影帧率保持一致。第一、第二 CXD相机103、104采集的图像 经图像采集卡105传送给计算机106。计算机106机对采集的数据进行处理，实时计算动态 物体的三维数据。本系统中要求DLP投影仪102的投影速度为至少每秒90帧以上，才能以每秒24帧 的速度流畅的获取动态三维数据。然而目前市面上的DLP投影仪投影的速度普遍较低。因 此本系统中的DLP投影仪102在商业投影仪的基础上进行了改装。如图2所示，普通的商 业DLP投影仪主要包括光源201，两个透镜202和203，DMD (Digital Micromirror Device) 芯片205，色轮204和镜头206。为获得更高的投影速度，本系统中DLP投影仪102去掉了 用于生产彩色图像的色轮204。由于DLP投影仪102投出的均为黑白的正弦光栅图像，因此 去掉色轮204对本系统没有影响，相反还可以利用DLP投影仪102中的彩色通道来生成黑 白正弦光栅图像来提高投影速度。然而，DLP投影仪102去掉色轮后，色轮204后的发光二 极管无法产生触发信号来触发DMD芯片205生成图片。因此，本系统中的时钟同步控制器 101会给DLP投影仪102发送触发信号，使DMD芯片205生成图像。本系统实现动态物体实时三维测量的关键技术之一是令高速投影的DLP投影仪102与第一、第二 CXD相机103和104之间的同步工作。时钟同步控制器101通过发送触 发信号来保持整个系统的同步工作。以红(R)、绿(G)、蓝(B)和白(W)四个通道的DLP投 影仪为例，如图3所示，Ip为DLP投影仪投影通道的时序曲线，Id为同步时钟控制器101发 送给DMD芯片205的触发信号，1。为同步时钟控制器101发送给CXD相机103和104的信号，用来控制两个相机拍摄图像。图中同步时钟控制器101向DMD芯片205发送触发信号，DMD芯片205感受到触发信号的下降沿时，便依次按红(R)、绿(G)、蓝(B)和白(W)四个通 道生成黑白的正弦光栅图像。同时C⑶相机103和104按同步时钟控制器101发来的信号 依次采集四个通道所生成的图像，以达到同步工作的目的。将DLP投影仪中的色轮去除后， 系统的投影速度为原投影速度的四倍。目前商业投影仪所采用的色轮技术各不相同，但均可按上述方式进行改装，其工 作原理相同，均可以系统大幅度提高投影速度。数据采集完毕后便开始计算三维数据，本发明系统所采用计算机106为带有基 于通用计算设备构架(Compute Unified Device Architecture, CUDA)的图形显示芯片 (GPU)，该芯片具有强大的并行计算功能，可加三维数据的计算过程。如图8所示，801为 CXD相机103和104所拍摄的任意数字图像，802中所有像素点划分成若干像素块。803为 计算机106的中央处理器CPU (Central Processing Unit), 804为计算机106的图形显卡 GPU(Graphic Processing Unit)，805为GPU的流处理器。首先根据GPU804的线程块数目 将已展开的所有像素点分为若干像素块802，以保证让GPU804最大化的并行运算，同时使 用CPU803对每一块进行标识，第一批像素块处理完毕后，CPU803会立刻将新的像素点信息 传入GPU804中，依次处理，最终获取完整的三维模型信息，并显示出来。其它的计算过程如 图像的分块，数据传输等都可以再CPU803上完成。这样，通过GPU804并行运算模型的加速， 使得系统能在极短时间内完成大量数据的处理，使高分辨率的实时测量能够实现。以下说明每个流处理器805对像素块中像素的计算过程，如图4所示，其详细过程 为(1)计算机首先对变形黑白正弦光栅进行三步相移解相。DLP投影仪102连续快速的投射出的黑白正弦光栅，当黑白正弦光栅投影到被测 物体表面时，在物体表面上形成变形光栅，假设投影光强是标准正弦分布，则变形光栅图像 的光强分布函数为
<formula>formula see original document page 7</formula>( 1)其中为Ι(χ，y)为相机拍摄图像上像素(X，y)的光强，a(x, y)和b(x，y)为与背 景相关的光波振幅，k称为波系数，树为像素(x，y)的相位值。三步相移解相法将光栅 在栅线的垂直方向上平移栅距的1/3，则式(1)的光强表达式中相位将移动2 π/3，对于相 同频率的正弦光栅等距离平移2次，获得3幅图像。进行三步相移后，像素(x，y)在各步的 光强函数Ip 12、I3分别为
<formula>formula see original document page 7</formula>(3)
<formula>formula see original document page 7</formula>(4)
<formula>formula see original document page 7</formula>(5)由式(3)至(5)可得<formula>formula see original document page 8</formula>(6)I1, Ι2、I3分别为相机拍摄图像上像素(x，y)的光栅未平移时的光强、光栅平移栅 距的1/3时的光强和光栅平移栅距的2/3时的光强。这样就可以计算出图像中每个像素的相对相位值识.(又称相位主值)，在一个相位 周期内它是单调递增的，但是在整个测量空间中该值不唯一，因此无法直接通过相位主值 来寻找相机图像上的匹配点，这样便不能进行立体重构。(2)利用基于极限约束的立体匹配算法获取二个C⑶相机所拍摄的图像的匹配
<formula>formula see original document page 8</formula>此处采用一种基于极线约束的立体匹配算法。极线约束原理如图5所示，设被测 点P在CXD相机103所拍摄的图像301上的像点为P1，在CXD相机104所拍摄的图像302 上的像点为P2,并且O1和O2分别与CCD相机103和104的光心点，直线O1O2与图像301所 在的平面和图像302所在的平面的交点ei和e2为极点，平面PO1O2与图像301和图像302 的交线为极线I1和I2，则易知极线I1 一定通过极点ei，极线I2 —定通过极点e2，像点P1 — 定在极线I1上，像点P2在极线I2上，也就是说可以通过图像301上的点P1坐标在图像302 上求出与P1对应的极线方程。这便是极线约束原理。该系统中立体匹配算法如图6所示，其步骤为(1)计算时取图像301中的某一点P1 ；(2)根据极线约束原理，根据P1的坐标值便可在DLP投影仪102的投影图像303 上求出一条极线13，这里把投影仪303当做相机看待，投影仪303投影出的图像也可以看做 是投影仪303所拍摄的图像；(3)在DLP投影的图像303中找到至少两条与P1点具有相同相位主值的直线I31 和I32'设极线I3与直线I31和I32交于点P31和P32 ；(4)在图像302上根据极限约束求出与P1J31和P32对应的极线12、121和I22的方 程；(5)极线12、I21和I22中有两条线在图像302上相交于一点P2,则P2为P1的匹配 点，同时P2也是P点在图像302上的像点；(6)通过匹配点P1. P2利用双目立体视觉原理进行点云重构，获得物体的三维数 据。匹配完成后便可使用双目立体视觉原理进行点云重构，计算出被测物体表面的三 维点坐标。如图7所示，空间点P在世界坐标系OwXwYwZw下的坐标值为(Xw，Yw, Zw)，图像301上 P点的像点P1的图像坐标为(U1, V1)，通过小孔成像模型，可以列出P点从图像坐标到世界 坐标的转换关系方程(8)，其中Ic1为P点在相机103坐标系下的Z轴坐标，alx = ^D Sxl且 aly = ^D Sy^f1为相机103的焦距，Sxl和Syl为相机103所拍摄图像平面单位距离上的像 素数(pixels/mm)，(u10,v10)为图像中心点的坐标,R1和T1为从世界坐标系到相机103坐标 系间的旋转矩阵和平移矩阵。图像302上像点P2的图像坐标为(u2，v2)。同样也可以列出 方程(9)，其中k2为P点在相机104坐标系下的Z轴坐标，a2x = f2 □ Sx2且a2y = f2 □ Sy2， f2为相机104的焦距，S2x和S2y为相机104所拍摄图像平面单位距离上的像素数(pixels/mm)，(u20,v20)为图像中心点的坐标，R2和T2为从世界坐标系到相机104坐标系间的旋转矩 阵和平移矩阵。根据方程⑶和(9)计算出被测物的三维坐标氏义4)，其中1^和1^为 比例因子在方程的求解过程中求出。<formula>formula see original document page 9</formula>
本系统利用GPU+CPU混合架构加速实时动态三维测量的计算过程。以上计算过程 中的三步相移解相、基于极线约束的匹配、立体重构和数据显示都是以像素为单位进行计 算，且在算法上像素之间独立不相关。因此，这四步计算均可利用GPU的大规模、微粒度的 并行计算模型进行优化加速，使得多个像素的计算同时进行。以上DLP投影仪102投影速度和CXD相机103和104采集速度都是每秒90帧，计 算每一帧三维形貌数据需要三副图片，在基于GPU+CPU混合构架的基础上每帧三维数据的 计算和显示可在30ms时间内完成，因此本发明可以实现动态物体的实时三维测量，且测量 帧率可达30帧/秒。以上所述为本发明的较佳实施例而已，但本发明不应该局限于该实施例和附图所 公开的内容。所以凡是不脱离本发明所公开的精神下完成的等效或修改，都落入本发明保 护的范围。
权利要求
一种动态物体的三维测量系统，其特征在于该系统包括时钟同步控制器(101)，DLP投影仪(102)，第一、第二CCD相机(103、104)，图像采集卡(105)和计算机(106)；其中，DLP投影仪(102)去掉了用于生产彩色图像的色轮(204)，第一、第二CCD相机的光心轴与DLP投影仪的光心轴夹角均在20至60度之间，并且测量时保持DLP投影仪与第一、第二CCD相机的相对位置不变；计算机(106)为带有基于计算统一设备构架的图形显卡；时钟同步控制器(101)分别与DLP投影仪(102)和第一、第二CCD相机(103、104)相连，DLP投影仪(102)与计算机(106)相连，第一、第二CCD相机(103、104)均通过图像采集卡(105)与计算机(106)相连；测量的过程中，首先由时钟同步控制器(101)触发DLP投影仪(102)向被测物体以每秒90帧以上的帧率投影一组黑白正弦光栅图像，投影时正弦光栅图像都在栅线的垂直方向上平移栅距的1/3，等距平移二次，每帧三维数据投影出三幅正弦光栅图像；同时，时钟同步控制器(101)给第一、第二CCD相机(103、104)发送信号，使两个相机的图像采集帧率与DLP投影仪(102)的投影帧率保持一致；第一、第二CCD相机(103、104)采集的图像经图像采集卡(105)传送给计算机(106)，计算机(106)中的图形显卡GPU对采集的数据进行处理，实时计算动态物体的三维数据。
2.根据权利要求1所述的动态物体的三维测量系统，其特征在于计算机106按照下 述过程进行数据处理第1步计算机首先对变形黑白正弦光栅进行三步相移解相； 第2步按照下述过程获取第一、第二 CXD相机所拍摄的图像的匹配点 (2. 1)计算时取所第一 CXD相机拍摄的图像301中的某一点P1 ； (2. 2)根据极线约束原理，根据P1的坐标值在DLP投影仪102的投影图像303上求出 一条极线I3 ；(2. 3)在DLP投影的投影图像303中找到至少两条与P1点具有相同相位主值的直线I31 和I32'设极线I3与直线I31和I32交于点P31和P32 ；(2. 4)在第二 CXD相机拍摄的图像302上根据极限约束求出与Pp P31和P32对应的极 线12、121和I22的方程；(2. 5)极线I2U21和I22中有两条线在图像302上相交于一点P2，则P2为P1的匹配点， 同时P2也是P点在图像302上的像点；(2. 6)通过匹配点PpP2进行点云重构，获得物体的三维数据； 第3步匹配完成后使用双目立体视觉原理进行点云重构，计算出被测物体表面的三维 点坐标。
全文摘要
本发明公开了一种动态物体的三维测量系统，包括时钟同步控制器，DLP投影仪，二个CCD相机，图像采集卡和计算机；其中，DLP投影仪去掉了用于生产彩色图像的色轮，CCD相机的光心轴与DLP投影仪的光心轴夹角均在20至60度之间，并且测量时保持DLP投影仪与CCD相机的相对位置不变；计算机为带有基于计算统一设备构架的图形显卡；时钟同步控制器分别与DLP投影仪和CCD相机相连，DLP投影仪与计算机相连，CCD相机均通过图像采集卡与计算机相连。该系统的最显著地特征是测量速度快，能实时的计算并显示动态物体的三维信息。
文档编号G01B11/00GK101825445SQ20101016687
公开日2010年9月8日 申请日期2010年5月10日 优先权日2010年5月10日
发明者史玉升, 周钢, 张炜, 朱晓鹏, 李中伟, 湛承诚, 王从军, 钟凯, 黄奎 申请人:华中科技大学