专利名称：立体图像处理器和立体图像处理方法
技术领域：
本发明涉及一种立体图像处理器，其基于通过拍摄同一对象的图像而获得的立体图像(基准图像和参照图像)来计算图像之间由视差导致的部分位移。
背景技术：
传统地，已知如下立体图像处理器，其基于使用立体照相机拍摄同一对象的图像时获得的两个图像(基准图像和参照图像)来计算图像之间的部分位移，并基于图像之间的部分位移测量到该对象的距离。立体图像处理器正处在用于如下设备的应用研究中，所述设备诸如基于通过使用车载照相机拍摄前方车辆的图像而获得的图像来测量到该车辆的距离的设备；或者基于通过使用车内照相机拍摄驾驶员的面部的图像而获得的图像来测量到面部器官(诸如眼睛和鼻子)的距离并估计驾驶员的面部方向的设备。然而，当前照相机(诸如车载或车内照相机)的更小尺寸已经导致更小的照相机间距并且因此在立体图像之间产生更小的部分位移。传统地，在这样的立体图像处理器中使用立体配对(match)方法(其用于立体图像处理的视差计算)，诸如绝对差和(SAD)方法和纯相位相关方法(POC)。在SAD方法中，通过使用矩形窗分别从基准图像和参照图像中剪切出部分图像， 并且计算部分图像的亮度值之间的差的绝对值的总和。这里，诸如SAD值的特性值表示图像的亮度差异度(level)。然后，在基线方向上以每一(per)像素为基础移动(shift)参照图像的矩形窗的位置，以找到使SAD值最小的对准(alignment)，其被定义为“像素级视差 (即，部分位移)”。此后，最小值附近的三个SAD值(即，SAD值的最小值、第二小值和第三小值)被用于通过等距线性拟合来计算“子像素级视差(即，部分位移)”。传统地已经使用了这样的SAD方法，并且其特征在于相对高的分析分辨率 (analytical resolution)且较少的运算量。然而，SAD方法具有子像素级视差计算的低精度；SAD方法仅可以在1/4到1/6像素精度的量级上确定视差(即，图像之间的部分位移)， 并且难以满足对高精度视差计算功能的需求。因此，近来，POC方法由于其在视差计算上的高确度而引起注意。在POC方法中， 通过使用用于减小来自使用汉宁(Harming)窗等剪切图像时发生的谐波的影响的窗口函数来分别从基准图像和参照图像中剪切出部分图像，并对部分图像执行2D傅立叶变换。将 2个傅立叶图像数据组合，并且将振幅成分(component)归一化。然后对数据执行2D逆傅立叶变换，以确定相位限定(phase-limited)相关系数。然后基于相关峰值确定图像之间的部分位移的量。称为2D POC方法的这种POC方法具有在视差计算上具有非常高的精度的优点。然而，2D POC方法在视差计算中需要大运算量，并且难以在短时间中进行运算。另外，2D POC 方法在分析分辨率方面次于SAD方法，分析分辨率是屏幕上可以区分孤立对象并可以测量距离的量。近来，提出了 ID POC方法(见专利文献1)，其需要比2D POC方法少的运算。在IDPOC方法中，通过使用汉宁窗分别从基准图像和参照图像中剪切出部分图像，并且对部分图像执行ID傅立叶变换。将2个傅立叶图像数据组合，并且将振幅成分归一化。然后对数据执行ID逆傅立叶变换以确定相位限定相关系数。换言之，为了减少运算，执行ID逆傅立叶变换而非2D逆傅立叶变换。然而，即使在传统ID POC方法中已经稍微减少了运算，所述减少也仍然不够，并且计算视差所需的运算仍然大得多(与SAD方法比较)；因此，不易在短时间中进行运算。另外，ID POC方法在分析分辨率方面显著地次于SAD方法，其中分析分辨率是屏幕上可以区分孤立对象并且可以测量距离的数量。引用列表专利文献专利文献1 日本专利公开特许公报(Laid-Open)No. 2008-123414

发明内容
技术问题已经在这样的情形下做出了本发明。本发明的目的是提供一种立体图像处理器， 其具有改善的视差计算精度和分析分辨率，且需要较少的运算用于视差计算并且能够快速处理。解决问题的方案本发明的一个方面是立体图像处理器。该设备是基于通过拍摄同一对象的图像而获得的基准图像和参照图像来计算图像之间由视差导致的部分位移的立体图像处理器，该处理器包括图像配对单元，用于对基准图像和参照图像中分别包括的同一对象的部分图像执行图像配对，并基于图像配对的结果检测基准图像和参照图像之间的像素精度部分位移；逆相位滤波器处理单元，用于针对同一对象的具有最小像素精度部分位移的部分图像， 利用逆相位滤波器对来自参照图像的像素值进行滤波，其中逆相位滤波器使用来自基准图像的经顺序颠倒的像素值作为滤波器系数；以及峰值位置检测单元，用于检测利用逆相位滤波器的滤波的输出值最大的峰值位置，并基于峰值位置检测基准图像和参照图像之间的子像素精度部分位移。本发明的另一方面是立体图像处理器。该设备是基于通过拍摄同一对象的图像而获得的基准图像和参照图像来计算图像之间由视差导致的部分位移的立体图像处理器，该处理器包括图像配对单元，用于对基准图像和参照图像中分别包括的同一对象的部分图像执行图像配对，并基于图像配对的结果检测基准图像和参照图像之间的像素精度部分位移；互相关计算单元，用于对于同一对象的具有最小像素精度部分位移的部分图像，计算基准图像和参照图像之间的互相关值；以及峰值位置检测单元，用于检测互相关值最大的峰值位置，并基于峰值位置检测基准图像和参照图像之间的子像素精度部分位移。本发明的又一方面是立体图像处理器。该设备是基于通过拍摄同一对象的图像而获得的基准图像f(x，y)和参照图像g(x，y)来计算图像之间由视差导致的部分位移的立体图像处理器，该处理器包括图像配对单元，用于对基准图像和参照图像中分别包括的同一对象的部分图像 f (X，y)和 g (X，y)(其中，xa-wh/2 xa+wh/2，ya-wv/2 彡 y 彡 ya+wv/2) 执行图像配对，并基于图像配对的结果在作为基线方向的χ方向上检测基准图像和参照图像之间的像素精度部分位移η ；计算单元，用于对通过使用窗口函数w(m)在像素精度部分位移η最小的位置剪切出的ID部分图像f’ (m) =f(xa+m,ya) Xw(m)和g’ (m) =g(xa+n+m, ya)(其中，J彡m彡K)计算以下表达式[表达式3]z{m) = Y4 f\-k) χ g\m -幻…(3)；
k=J以及峰值位置检测单元，用于检测所述计算的输出值ζ (m)最大的峰值位置，并基于峰值位置检测基准图像和参照图像之间的子像素精度部分位移δ。本发明的再一方面是立体图像处理方法。该方法是用于基于通过拍摄同一对象的图像而获得的基准图像和参照图像来计算图像之间由视差导致的部分位移的立体图像处理方法，该方法包括对基准图像和参照图像中分别包括的同一对象的部分图像执行图像配对，并基于图像配对的结果检测基准图像和参照图像之间的像素精度部分位移；针对同一对象的具有最小像素精度部分位移的部分图像，利用逆相位滤波器对来自参照图像的像素值进行滤波，其中逆相位滤波器使用来自基准图像的经顺序颠倒的像素值作为滤波器系数；以及检测利用逆相位滤波器的滤波的输出值最大的峰值位置，并基于峰值位置检测基准图像和参照图像之间的子像素精度部分位移。如下所述，本发明具有其它方面。因此，本发明的公开意在提供本发明的某些方面，并非意在将本发明的范围限制为这里所述和所主张的。


图1是示出根据实施例的立体图像处理器的结构的框图。图2是用于图示像素级配对的图。图3是用于图示子像素级配对的图。图4是用于图示利用逆相位滤波器进行滤波的处理的图。图5是用于图示使用sine函数检测峰值位置的处理的图形表示。图6是用于图示使用二次曲线近似来检测峰值位置的处理的图形表示。图7是用于图示根据该实施例的立体图像处理器的操作的流程图。图8是用于图示根据该实施例的子像素计算(即，使用逆相位滤波器检测峰值位置)的流程的流程图。图9是用于图示根据又一实施例的立体图像处理器的结构的框图。图10是用于图示计算互相关值的处理的图。图11是距离测量精度的比较结果的图形表示。图12示出运算时间的比较结果。图13是用于图示根据另一实施例的立体图像处理器的结构的框图。
具体实施例方式现在将详细描述本发明。然而，下面的详细描述和附图并非意在限制本发明。根据本发明的立体图像处理器是基于通过拍摄同一对象的图像而获得的基准图像和参照图像来计算图像之间由视差导致的部分位移的立体图像处理器，该处理器包括图像配对单元，用于对分别包括在基准图像和参照图像中的同一对象的部分图像执行图像配对，并基于图像配对的结果检测基准图像和参照图像之间的像素精度部分位移；逆相位滤波器处理单元，用于针对同一对象的具有最小像素精度部分位移的部分图像，利用逆相位滤波器对来自参照图像的像素值进行滤波，其中逆相位滤波器使用来自基准图像的经顺序颠倒的像素值作为滤波器系数；以及峰值位置检测单元，用于检测利用逆相位滤波器进行滤波的输出值最大的峰值位置，并基于峰值位置检测基准图像和参照图像之间的子像素精度部分位移。利用此结构，通过图像配对检测基准图像和参照图像之间的像素精度部分位移， 并且针对具有最小像素精度部分位移的部分图像，利用逆相位滤波器进行滤波。基于滤波的结果检测峰值位置，并且计算基准图像和参照图像之间的子像素精度部分位移。因此可以改善视差计算的精度和分析分辨率。在此情况下，用于检测像素精度部分位移的图像配对需要更少的运算，并且使用逆相位滤波的滤波也需要更的运算，因为可以仅使用具有最小像素精度部分位移的部分图像用于执行滤波。因此，可以进行快速视差计算。根据本发明，提供了逆相位滤波器处理单元，其针对同一对象的具有最小像素精度部分位移的部分图像，利用逆相位滤波器执行滤波。因此，可以改善视差计算的精度和分析分辨率，并且可以进行快速处理，因为在视差计算中需要更少的运算。(实施例1)现在将在下面参考附图描述根据本发明的实施例的立体图像处理器。在此实施例中，将作为示例对用于在诸如如下设备的设备中使用的立体图像处理器进行描述通过使用车载照相机测量到前方车辆的距离的设备；或者通过使用车内照相机估计驾驶员的面部方向的设备。现在将在下面参考附图描述根据本实施例的立体图像处理器的结构。图1是根据本实施例的立体图像处理器的结构的框图。如图1中所示，立体图像处理器1包括立体图像输入单元3，其接收由立体照相机2拍摄的立体图像(基准图像和参照图像)作为输入； 以及图像校正单元4，用于在立体图像(基准图像和参照图像)中校正镜头畸变以及并行地布置光轴，作为预处理。具体地，图像校正单元4使用校准数据来生成与实际空间中的对象一样真实(straight)地反映真实对象的照相图像。图像校正单元4还执行坐标变换用于生成如下照相图像无论将对象拍摄在照相图像中的哪里，该照相图像总是以同一尺寸反映在照相机光轴的方向上位于一定距离处的对象；并且图像校正单元4平行地布置照相机光轴并移动图像以使得无限远点处的对象可以在两个照相图像中位于相同位置。虽然这里已经通过在坐标变换之后使用图像移动来实现图像校正的方法作为示例而进行了描述，但是本发明的范围不限于此，并且任何手段可以用于执行这样的校正，诸如通过使用坐标变换来在镜头畸变校正的同时平行地布置光轴，只要可以校正镜头畸变并且可以校正两个照相机之间的位置关系即可。虽然已经对仅执行图像校正作为预处理的情况进行了描述，但并不意在限制预处理的类型，诸如在典型图像处理中使用的对比度校正以及使用拉普拉斯(Laplacian)滤波器的边缘增强，并且可以省略这样的处理。因此，如果实施对比度校正，则其可以配对基准图像和参照图像之间的亮度变化的动态范围，从而可以进行更精确的图像配对。同样，如果实施使用拉普拉斯滤波器的边缘增强，则其可以去除由照相机之间的个体差异(即，基准图像和参照图像之间的明亮度 (brightness)差异)导致的DC成分，从而可以进行更精确的图像配对。在图像的坐标变化和移动中，通常将以每一像素为基础采样的某一整数位置处的亮度信息转换为实数位置处的另外的亮度信息。为了实现此转换，可以采用使用线性插值的行间插值(interlinear)方法、使用要转换的位置附近的亮度信息的双三次方法等。虽然已经引用行间插值方法和双三次方法作为用于坐标变换的方法，但是本发明的范围并非限制于此，并且可以使用任何方法用于这样的转换，只要其可以用于坐标变换即可。立体图像处理器1包括第一图像剪切单元5和第一配对单元6作为用于像素级配对的机构。图2是用于图示像素级配对的示例的图。第一图像剪切单元5使用矩形窗从基准图像和参照图像中的每一个中剪切出数据。图2示出如何使用具有预定窗口尺寸(垂直尺寸个像素；水平尺寸wh个像素)的矩形窗来从基准图像和参照图像剪切出数据。 在此情况下，中心在预定位置(xa，ya)的矩形窗被用于从基准图像剪切出数据，如图2中所示。另一方面，在从参照图像剪切出数据的同时，在水平方向(X方向)上以每一像素为基础移动矩形窗的位置(Xa，ya)。第一配对单元6计算从基准图像和参照图像剪切出的数据的SAD值，并基于下列表达式(1)确定图像之间使SAD值最小的部分位移η[表达式1]
ya+wv/2 xa+wh/2SAD(n) = Yj Y4\f(x + i,y + j)-g(x + i + n,y + j)[--(l)
j=ya-wv! 2 i=xa-wh/2这样，第一配对单元6具有如下功能对从基准图像和参照图像剪切出的部分图像(基准图像和参照图像)执行图像配对，并基于图像配对的结果检测基准图像和参照图像之间的像素精度部分位移。第一配对单元6对应于本发明的“图像配对手段”。虽然这里已经作为示例对使用SAD方法用于像素级配对的情况进行了描述，但是本发明的范围并不限制于此，并且诸如差平方和(SSD:Sum of Squared Differences)方法的任何其它方法可以用于像素级配对，只要他们需要较少的运算即可。立体图像处理器1还包括第二图像剪切单元7和第二配对单元8作为用于子像素级配对的机构。图3是用于图示子像素级配对的示例的图。第二图像剪切单元7使用窗口函数来从基准图像和参照图像中的每一个中剪切出数据。图3示出如何使用诸如下面的表达式⑵的汉宁窗的窗口函数w(n)来从基准图像和参照图像剪切出数据。在此情况下，中心在预定位置(xa，ya)的汉宁窗被用于从基准图像剪切出数据，而中心在如上所述在像素级配对中配对的位置(xa+n，ya)的汉宁窗被用于从参照图像剪切出数据，如图3中所示。 虽然在图1中省略，但与在像素级配对中配对的位置(xa+n，ya)关联的信息“η”被从第一配对单元6发送到第二图像剪切单元7。[表达式2]w(m)=丄 cos (π ~-~) + 1 L.. (2)
2 1 K-J J虽然这里已经作为示例对“垂直尺寸1个像素；以及水平尺寸K_J个像素”的窗口尺寸的情况进行了描述，但是本发明的范围并不限制于此。此外，虽然已经对汉宁窗的窗口函数的情况进行了描述，但是可以使用任何其它窗口函数。第二配对单元8包括逆相位滤波器单元9，用于利用逆相位滤波器对在像素级配对中配对的位置处的部分图像进行滤波；以及峰值检测单元10，用于从来自逆相位滤波器单元9的输出值检测峰值位置。现在将参考附图对逆相位滤波器单元9中执行的处理进行详细描述。图4是用于图示利用逆相位滤波器进行滤波的示例的图。图4中的示例示出将表示“0，0，1，2，3，4，5， 0，0”的输入信号x(m)输入到逆相位滤波器的情况。在此情况下，将逆相位滤波器h(k)的抽头长度(在第二图像剪切单元7中用于剪切出部分图像的窗口函数w(n)的长度K-J)设定为“5”，并且将通过5个数据(基准图像的亮度值)顺序颠倒而获得的一组值“5，4，3，2， 1”用作滤波器系数。假设位置k作为输入信号的中心，则利用逆相位滤波器对围绕k的5 个数据(即，k-2，k-l，k，k+l，k+2)进行滤波，该逆相位滤波器计算总和作为输出信号ζ (m)。 在此逆相位滤波器单元9中，根据像素级配对中检测的部分位移η (像素精度部分位移)的大小，设定逆相位滤波器的抽头长度。例如，如果像素精度部分位移η较小，则逆相位滤波器的抽头长度也相应地变得较小。具体地，参考图4，例如当t = 0时，利用逆相位滤波器“5，4，3，2，1”对围绕t = 0的5个数据(8卩，0，0，1，2，3)进行滤波，并且计算输出值“26”(= 0X1+0X2+1X3+2X4+3X5)。这里所使用的字符“t”表示通过汉宁窗从参照图像剪切出的部分图像中的坐标点，如图4中所示。当t = 1时，则利用逆相位滤波器“5，4，3， 2，1”对围绕t = 1的5个数据(8卩，0，1，2，3，4)进行滤波，并且计算输出值“40” (= 0X1+1X2+2X3+3X4+4X5)。同样，当 t = 2，t = 3 禾口 t = 4 时，分别计算输出值“55”、 “40”和“26”。这样，利用逆相位滤波器的滤波的特征在于其对称的(在图4中，关于t = 2双侧对称性)且在中心具有峰值的输出信号。另外，逆相位滤波器是所谓的HR滤波器的类型，因此特征在于其是线性移不变系统，其中具有任何移动的输入信号导致具有与输入信号相同移动量的输出信号。这意味着即使在输入具有比采样间隔小的移动间隔时，输入也将具有与输入相同的移动量，并且输出将具有在经移动的信号中的采样点处所取得的值。在逆相位滤波器单元9中，通过基准图像的亮度值顺序颠倒而获得的值f’ (-k)被用作逆相位滤波器的滤波器系数，并且参照图像的亮度值g’ (m)是输入信号x(m)。因此， 由此可见，在逆相位滤波器单元9处获得的输出信号ζ (m)可以通过下列表达式C3)计算[表达式3]
权利要求
1.立体图像处理器，包括立体图像获取单元，包括第一成像系统和第二成像系统，所述立体图像获取单元通过用所述第一成像系统拍摄对象的图像来获取基准图像并通过用所述第二成像系统拍摄所述对象的图像来获取参照图像；图像配对单元，从立体图像获取所述基准图像和所述参照图像，利用第一窗口函数从所述基准图像提取中心在预定参考点的第一部分图像，并从所述参照图像中的预定义区域得出对应点，所述对应点是相对于所述第一部分图像的图像亮度差异度最小的第二部分图像中的中心点；滤波器单元，从所述立体图像获取所述基准图像和所述参照图像，利用第二窗口函数从所述基准图像提取中心在预定参考点的第三部分图像，从所述参照图像提取中心在所述对应点的第四部分图像，并基于包含在所述第三部分图像中的各个坐标点的亮度值序列的坐标顺序颠倒后的值、以及包含在所述第四部分图像中的各个坐标点的亮度值，生成输出信号序列；以及峰值位置检测单元，从所获取的输出信号序列检测具有最大输出值的输出信号，以基于所检测的输出信号在所述输出信号序列中的位置来确定所述基准图像和所述参照图像之间的视差。
2.如权利要求1所述的立体图像处理器，所述第二窗口函数是在一个周期的相对边缘上提供比所述第一窗口函数更连续变化的窗口函数。
3.如权利要求1所述的立体图像处理器，所述滤波器单元以所述第三部分图像和所述第四部分图像中的坐标的相对位置为基础，对包含在所述第三部分图像中的各个坐标点的亮度值序列的坐标顺序颠倒后的值、与包含在所述第四部分图像中的各个坐标点的亮度值求和，以生成输出信号序列。
4.如权利要求1所述的立体图像处理器，所述峰值位置检测单元使用sine函数来检测所述峰值位置。
5.如权利要求1所述的立体图像处理器，所述峰值位置检测单元使用二次曲线近似来检测所述峰值位置。
6.如权利要求1所述的立体图像处理器，还包括配对误差检测单元，获取由所述滤波器单元生成的输出信号序列，并基于包含在所述输出信号序列中的输入信号的值，判定由所述图像配对单元得出的所述第二部分图像中的中心点不应被采用作为所述对应点。
7.如权利要求1所述的立体图像处理器，基于在由所述图像配对单元得出的所述对应点与所述参考点之间的坐标轴上的部分位移量，确定所述第二窗口函数的窗口长度。
8.立体图像处理方法，包括在包括第一成像系统和第二成像系统的立体图像获取单元中，通过用所述第一成像系统拍摄对象的图像来获取基准图像并通过用所述第二成像系统拍摄所述对象的图像来获取参照图像；在图像配对单元中，从立体图像获取所述基准图像和所述参照图像，利用第一窗口函数从所述基准图像提取中心在预定参考点的第一部分图像，并从所述参照图像中的预定义区域得出对应点，所述对应点是相对于所述第一部分图像的图像亮度差异度最小的第二部分图像中的中心点；在滤波器单元中，从所述立体图像获取所述基准图像和所述参照图像，利用第二窗口函数从所述基准图像提取中心在预定参考点的第三部分图像，从所述参照图像提取中心在所述对应点的第四部分图像，并基于包含在所述第三部分图像中的各个坐标点的亮度值序列的坐标顺序颠倒后的值、以及包含在所述第四部分图像中的各个坐标点的亮度值，生成输出信号序列；以及在峰值位置检测单元中，从所获取的输出信号序列检测具有最大输出值的输出信号， 以基于所检测的输出信号在所述输出信号序列中的位置来确定所述基准图像和所述参照图像之间的视差。
9.立体图像处理器，基于通过拍摄同一对象的图像而获得的基准图像和参照图像来计算图像之间由视差导致的部分位移，所述处理器包括图像配对单元，对分别包含在所述基准图像和所述参照图像中的所述同一对象的部分图像执行图像配对，并基于所述图像配对的结果检测所述基准图像和所述参照图像之间的像素精度部分位移；互相关计算单元，对于所述同一对象的具有最小像素精度部分位移的部分图像，计算所述基准图像和所述参照图像之间的互相关值；以及峰值位置检测单元，检测所述互相关值最大的峰值位置，并基于所述峰值位置检测所述基准图像和所述参照图像之间的子像素精度部分位移。
10.立体图像处理器，基于通过拍摄同一对象的图像而获得的基准图像f(x，y)和参照图像g(x，y)来计算图像之间由视差导致的部分位移，所述处理器包括图像配对单元，对分别包含在所述基准图像和所述参照图像中的所述同一对象的部分图像f(x，y)和g(x，y)执行图像配对，并基于所述图像配对的结果检测所述基准图像和所述参照图像之间在作为基线方向的χ方向上的像素精度部分位移n，其中， xa-wh/2 ^ χ ^ xa+wh/2, ya~wv/2 ^ y ^ ya+wv/2 ；计算单元，对通过使用窗口函数W (m)在像素精度部分位移η最小的位置处剪切出的ID 部分图像 f’ (m) = f(xa+m, ya) Xw(m)和 g’ (m) = g(xa+n+m, ya)计算以下表达式z(m) = fjf(-k)xg'(m-k)k=J其中，JSmSK;以及峰值位置检测单元，检测所述计算的输出值ζ (m)最大的峰值位置，并基于所述峰值位置检测所述基准图像和所述参照图像之间的子像素精度部分位移S。
全文摘要
一种立体图像处理器(1)在第一配对单元(6)中对基准图像和参照图像中包括的同一对象的部分图像执行图像配对处理，并基于所述图像配对处理的结果检测所述基准图像和所述参照图像之间的以像素为单位的位移。接着，在第二配对单元(8)的逆相位滤波器单元(9)中，对于所述同一对象的具有以像素为单位的最小位移的部分图像，将使用逆相位滤波器的滤波处理应用至参照图像的像素值，其中所述逆相位滤波器将基准图像的一行像素值的反向值作为滤波器系数。然后，在峰值检测单元(10)中，检测使用逆相位滤波器的滤波处理的输出值达到最大的峰值位置，并且基于所述峰值位置检测基准图像和参照图像的以子像素为单位的位移。因此，提供了一种立体图像处理器，其能够在视差计算需要较小的运算负载的情况下，改善视差计算的精度和分析分辨率并加快处理。
文档编号G01B11/26GK102369550SQ20108001557
公开日2012年3月7日 申请日期2010年3月5日 优先权日2009年3月31日
发明者丸谷健介, 南里卓也, 西村洋文 申请人:松下电器产业株式会社