专利名称：一种基于联合变换相关器的全局运动检测方法
技术领域：
本发明涉及数字图像处理的运动检测技术。具体指一种基于联合变换相关器的全 局运动检测方法，它可以广泛的应用于电子稳像和图像运动补偿等领域。
背景技术：
电子稳像技术是综合电子、计算机、数字信号处理等技术为一体的新一代实现序 列图像稳定的技术。它不同于图像恢复，图像恢复是针对每一帧模糊的图像，而电子稳像稳 定的是一个图像序列，在序列中的每一帧图像都是清晰的。稳像的基本原理是首先根据图 像序列的各种信息进行局部运动估计和全局运动估计，取得运动参数后进行综合评价，继 而进行运动补偿，最终得到稳定的输出序列。电子稳像前提条件是先获得图像的全局运动 矢量。传统的图像序列运动估计方法有很多，例如基于光流模型的图像运动估计，是通 过计算光流确定成像目标运动物体的速度、方向等特性；块匹配算法是对当前帧图像进行 分块，对每个小块在参考帧的特定搜索范围内进行搜索匹配，通过计算两个块的相对位置 来求得它们之间的运动矢量；位平面匹配法是利用图像的灰度码和图像的位平面实现二值 匹配来确定局部运动矢量；以上所描述的算法都是以图像的灰度变换为依据，其共同点缺 陷就是对图像所包含的信息利用不充分，而且对噪声比较敏感，造成计算结果不精确。另外 很多算法本身比较复杂，估算所需的时间开销很大。图像之间的运动估算也可以通过对相邻两帧图像求相关运算来获得。并且相关运 算所求结果精确，但是由于数字化的图像相关运算要经过两次傅立叶变换，运算量极大。目 前高速DSP求两帧256X256大小的图像的相关运算，速度在每秒20帧左右。光电混合联合 变换相关器是以相干光波为光源，利用透镜的傅氏变换特性和光学上的空间滤波原理，将 当前图像与参考图像进行相关运算，从而实现两个函数或图像之间的相似度测量。它具有 速度快、精度高和并行处理的优点，可以有效地解决电子处理中速度和精度的矛盾。目前， 国外开发的标准型联合变换相关器其相关运算速度达到每秒200帧，美国Litton公司2000 年发表了小型化强固的光学相关器MR0C，每秒可以处理32000对50)(50像素的图像，光学相 关器在相关速度上具有绝对的优势。

发明内容
本方法的主要目的是解决运动成像平台的全局运动估计问题，通过该方法实时检 测出全局运动后，给稳像算法提供精确的补偿信息，为消除运动带来视频抖动和图像模糊 提供依据。该方法利用了光电联合变换相关器的相关识别理论，将光学模拟处理的高速特 性和电子学的高精度特点结合起来，以达到在线实时处理的要求。本方法实现的系统结构如图1所示，整个系统主要由高速CCD、激光源、液晶光阀、 傅立叶透镜与实时嵌入式控制模块构成。其中激光源、液晶光阀、傅立叶透镜构成一个光学 傅立叶变换过程，对高速CCDl采样到的图像进行光学傅立叶变换，在CCD2上获得联合功率谱，对联合功率谱再进行一次光学傅立叶变换，在CCD3上获得相关峰图像，DSP检测相关峰 的位移，位移结果就是两帧图像的像移矢量。电子学控制模块的硬件框图如图2所示，其实 时处理的步骤包括1.首先由FPGA产生探测器驱动程序，驱动探测器CXDl工作，控制积分时间尽量 小，高速探测器实时对运动场景进行采样，采样探测器像素不宜太大，U8XU8即可，采样帧 频每秒100帧频以上。2. FPGA对采样得到的连续两帧有像移的图像进行实时合并，将两帧12^(128的图 像合并成一帧256X128的图像。3.通过VGA接口芯片将合成后的图像实时的送入空间光调制器SLM中，前面合成 的图像不断对SLM进行刷新。激光器产生的相干光经过准直扩束后通过一偏振镜成线偏振 光，SLM对线偏振光进行幅度调制，产生和送入SLM图像灰度值成正比的光场分布。4.通过SLM的光场再经过一傅立叶透镜进行光学傅立叶变换，选择合适的透镜的 孔径和焦距，在后焦面上可以获得前面合成图像的联合功率谱图像，并在后焦面上用CCD2 对联合功率谱进行采样。5.将采样获得的联合功率谱图像送入频谱预处理模块中，FPGA实时对联合功率 谱图像进行二值化处理。获得的二值化联合功率谱图像再实时送入另一个SLM中，经过步 骤4 一样的傅立叶变换过程，最后在透镜后焦面上获得相关峰图像，再用(XD3对相关峰图 像进行实时采样。6. (XD3获得的相关峰图像通过控制模块送入DSP中，DSP实现质心检测算法，检测 出两个峰值的位置，两峰值位置的差值就是图像位移量的两倍，最后将位移结果通过RS232 串口或USB接口传出。为了实现高速实时相关处理，联合变换相关器的控制模块用FPGA+DSP实现，其硬 件框图如图2所示，处理流程图3所示。FPGA产生探测器驱动程序，并对采样到的连续两帧 图像进行合并，参考帧图像可用二维矩阵foU，y)表示，则当前帧图像可表示为为(χ，y)， 由于当前帧图像是参考帧图像的平移结果，则可得下关系式f^x, y) = f0(x+5x, y+δγ)(1)其中δχ，Sy为像移量。设合并后的图像为f(x，y)，且满足下关系式 f (x, y) = f0 (χ, y) (χ, y) = f0 (χ, y) +f0 (χ+ δ χ, y+δ y)(2)则空间光调制器的输入图像就是f(x，y)，如图4所示。该输入图像经过一次傅立 叶变换后，得到频谱函数F(u，ν)F (U，ν) = F0 (u，v) +F1 (u, ν) = F0 (u, ν) +F0 (u, ν) exp {2 π i (u δ χ+ν δ y)} (3)其中FtlOi, ν)为参考图像fjx，y)的傅立叶变换，经过一平方均探测器采样后获 得功率谱为I F(u，v) I I2 = I F0(u，ν) I I2+1 IF1Oi, v) I 2+F0(u, Uu，v)+F*0(u, v)F1 (u，v) (4)其中*表示复数共轭。将功率谱图像再输入空间光调制器中，进行一次傅立叶变 换后在傅立叶透镜后焦面上获得到相关输出图像为Φ, y) = Λ (χ, y) /0 (χ, y)+A (χ, y) A (χ, y)+Λ (χ, y) A (χ, y)+A (χ, y) Z0 (χ, y) (5)其中0表示相关运算。前两项为自相关图像，后两项为互相关图像。由傅立叶变换 位移性质得互相关输出的峰值位置分别在(-δ χ，- δ y)和(δ χ，δ y)处，如图5所示。将 获得的相关峰图像输入DSP进行快速峰值检测，将获得的坐标差值除于2就是位移量δ χ 和Sy。由于自相关峰在实际相关图像中是干扰信息，互相关峰才是要检测的信号，并且 自相关峰太大有可能淹没互相关峰信息，导致检测不到互相关峰信号，所以在第二次进行 傅立叶变换之前，要对功率谱进行预处理，采用二值化的方法可以有效的减小自相关峰信 号，并且增强互相关峰的强度。在这里可以预先将频谱图像送入FPGA，利用多次统计结果获 得一个合适的阈值，对功率谱图像进行二值化处理。二值化后的功率谱进行傅立叶变换得 到的相关峰图像可以到达如图5所示的效果。联合变换相关器全局运动检测的优点在于1.高速实时图像相关运算特性。本方法的傅立叶变换过程实际上是由透镜来实现 的，不需要数字信号处理器做乘积处理的大量时间。联合变换相关器实现相关处理的速度 只由两个因素决定一个是空间光调制器的刷新速度，另一个是相关峰的检测速度。近年来 出现的新的铁电液晶空间光调制器的刷新速度可以达到每秒1000帧以上，DSP检测相关峰 的时间一般可以达到Ims以下。这样相关处理的时间可以控制在aiis以内，可以满足实时 相关的要求。2.位移检测结果精确。运动采样探测器的像素大小和图像的分辨率决定了位移检 测的精度。采用小型的高分辨率CCD探测器，像素大小在IOumXlOum以内。用联合变换相 关的方法处理可以使位移检测结果达到一个像素的精度，方差小于0. 3像素。3.对输入图像的噪声不敏感，抗干扰能力强。由于相关运算利用的是图像全局信 息，局部噪声对相关结果影响比较小。通过仿真实验，输入图像的信噪比只有3dB时相关处 理结果仍精确。


图1是全局运动检测系统光路结构示意图。图2是全局运动检测系统嵌入式控制模块硬件框图。图3是运动检测系统工作流程图。图4是联合变换相关器的输入图像示意图。图5是联合变换相关器的输出相关峰结果示意图。图6单光路联合变换相关器结构例图。
具体实施例方式根据说明书所述的实时相关处理方法，该系统要搭载在运动成像平台上，要求联 合变换相关器的结构要紧凑，尺寸不宜过大，可以将联合变换相关器的一支光路整合到一 个30mmX30mm)^90mm的长方体金属盒内，如图6所示。其中采样CXD规格是512X512像素， 采样帧频可到达100帧频的高速CCD ；选用波长范围为636nm 641nm的半导体激光器，由 于半导体激光器的体积小，很适合于紧凑型结构要求。
SLM采用规格为512)(512像素，刷新率大于IOOHz的铁电液晶实现。傅立叶透镜的焦距要由探测器的像素大小和激光器的波长来决定，透镜的孔径要 大于SLM的边长，这样将各器件封装在一个金属盒子内，并用硅胶固定，外面只留数据接口 和控制电路接口。要实现实时的联合变换相关，则需要两个如图6所示的装置，一个对输入 图像进行光学傅立叶变换获得联合功率谱，另一个对联合功率谱进行光学傅立叶变换获得 相关峰图像，通过外面的控制电路模块控制两路并行的处理。实时控制电路模块如图2所示，采样FPGA+DSP的嵌入式控制方法，其中FPGA逻辑 单元数为12060LEs，内置2个PLL和234Kbits RAM，外部时钟为40MHz ；选择的定点DSP外 部时钟为50MHz，运算频率为600MHz，具有GPIO接口和32位的EMIF接口，程序存储在Flash 中。FPGA主要实现探测器的驱动程序，图像的预处理算法等，DSP实现质心检测算法实时获 得相关峰的位置。为了尽量缩短DSP的运算时间，将质心检测的范围设置在理想中心的30 像素半径范围内，根据图像运动速度，只要两帧图像像移不超过30像素，这样可以避免DSP 对整幅相关峰图像进行遍历耗费大量时间。
权利要求
1. 一种基于联合变换相关器的全局运动检测方法，其特征在于包括以下步骤1)首先由FPGA产生探测器驱动程序，驱动探测器CCDl工作，控制积分时间尽量小， 高速探测器实时对运动场景进行采样，采样探测器像素12^(128，采样帧频每秒100帧频以 上；2)FPGA对采样得到的连续两帧有像移的图像进行实时合并，将两帧12^(128的图像合 并成一帧256X128的图像；3)通过VGA控制芯片将合成后的图像实时的送入空间光调制器SLM中，前面合成的图 像不断对SLM进行刷新，激光器产生的相干光经过准直扩束后通过一偏振镜成线偏振光， SLM对线偏振光进行幅度调制，产生和送入SLM图像成正比的光场分布；4)通过SLM的光场再经过一傅立叶透镜进行光学傅立叶变换，选择合适的透镜的孔径 和焦距，在后焦面上可以获得前面合成图像的联合功率谱图像，并在后焦面上用CCD2对联 合功率谱进行采样；5).将采样获得的联合功率谱图像送入频谱预处理模块中，FPGA实时对联合功率谱图 像进行二值化处理；获得的二值化联合功率谱图像再实时送入另一个SLM中，经过步骤4 一 样的傅立叶变换过程，最后在透镜后焦面上获得相关峰图像，再用CCD3对相关峰图像进行 实时采样；6)(XD3获得的相关峰图像通过控制模块送入DSP中，DSP实现质心检测算法，检测出两 个峰值的位置，两峰值位置的差值就是图像位移量的两倍，最后将位移结果通过RS232串 口或USB接口传出。
全文摘要
本发明公开了一种基于联合变换相关器的全局运动检测方法，该方法采用高帧频小型面阵探测器为采样单元，联合变换光学相关器作为傅立叶变换模拟处理单元，DSP实现相关峰实时检测算法，最终实现高精度实时的运动矢量检测。本方法对输入图像的噪声不敏感，抗干扰能力强；位移检测结果准确，测量精度可以到达1个像素级。
文档编号G01P3/80GK102109532SQ201010565108
公开日2011年6月29日 申请日期2010年11月26日 优先权日2010年11月26日
发明者丁雷, 周伟, 李丹 申请人:中国科学院上海技术物理研究所