专利名称：校准数据选择装置、选择方法、选择程序以及三维位置测量设备的制作方法
技术领域：
本发明涉及校准数据选择装置、选择方法、选择程序和用于在测量三维位置时使用视差图像选择校准数据的三维位置测量设备。
背景技术：
已知立体相机作为三维位置测量设备用于测量目标对象的三维信息。相机拍摄的一对视点图像构成视差图像。根据该对视点图像中对应点的视差，获得目标对象的三维位置，即目标对象上的给定点Pi在三维空间中的坐标(Xi，Yi, Zi )。为了高精度测量三维位置，需要从视点图像消除作为从拍摄光学系统的特性得到
的分量的失真，例如像差。同样，必须根据拍摄光学系统在拍摄时的正确焦距、位置关系、方向等信息，校正视点图像。在分析视点图像之前，与视点图像相关联地校正根据拍摄光学系统的特性创建的校准数据。在焦距可调的拍摄光学系统中，必须根据拍摄时的聚焦位置选择校准数据并将其应用于视点图像，这是因为该特性随着拍摄光学系统的聚焦位置改变。在上述方式中为了根据聚焦位置选择校准数据，必须在拍摄时指定聚焦位置。作为指定的方法，已知有根据移动聚焦透镜的步进电动机的步进位置指定的方法(专利文献I)。为了获得视点图像之间的视差，根据相关性处理检查视点图像中像素之间的相关性，从而根据相关特性在视点图像中搜索相同的拍摄目标点，即对应点。根据视点图像的清晰度的程度，相关处理的计算成本会较高。即使清晰度的微小提高，计算成本也显著地增力口。由此，考虑了距离分辨率随着在距目标对象的距离方面的接近而变得更高的事实。视点图像被分成多个距离区域的区。以清晰度随着这些区的距离的接近而降低的方式来转换这些区。已知这样的一种装置，其中在降低计算成本时获得针对整个视点图像所需的距离分辨率(range resolution)(专利文献2)。现有文献专利文献专利文献I :日本专利公开No. 2008-241491专利文献2 :日本专利公开No. 2001-12606
发明内容
本发明要解决的问题顺便提及，如专利文献I所披露的，施加到步进电动机的驱动脉冲用于根据步进电动机的步进位置指定焦点位置。然而，这并非优选的，因为如果在步进电动机中出现临时步进失调或者如果拍摄光学系统出现震动而与驱动脉冲无关地使透镜位置移动，则无法检测到正确的聚焦位置。尽管可以借助直接检测透镜位置的编码器来检测正确的焦点位置，但是问题在于提供这种机构无法适用于适于许多用户的立体相机，这是因为配件数量或成本会增加。同样，可以考虑另一方法，其中在不对视点图像施加校准数据或在对视点图像施加了校准数据的适当的数据之后，借助从视点图像获得的视差来指定拍摄光学系统的聚焦的聚焦距离。可以根据聚焦距离检测聚焦位置。然而，由于浪费较长的处理时间，该方法没有效率，这是因为相比选择校准数据所需的距离分辨率，以更高的距离分辨率执行了处理。在降低计算成本时，根据距离区域改变清晰度的专利文献2的方法是有效的。然而，该方法仅可用于特定距离分布的视点图像，而不能应用于各种场景中创建的视点图像。根据上述问题作出本发明，其目的是提供能够不浪费计算地根据视差图像从校准数据中选择适当数据的校准数据选择装置、选择方法、选择程序和三维位置测量设备。解决问题的方式为了实现上述目的，根据本发明的校准数据选择装置包括图像获取单元，用于获 取由具有多个拍摄光学系统的成像设备从多个不同点拍摄的多个视点图像；校准数据输入单元，用于输入与所述多个拍摄光学系统的多个基准聚焦距离分别对应的校准数据；图像缩小单元，用于分别以第一缩小比率缩小所述视点图像，该第一缩小比率所处的范围使得所述多个视点图像的清晰度不小于对应于最高距离分辨率的清晰度，其中根据对应于所述校准数据的所述多个基准聚焦距离和与所述多个基准聚焦距离分别相关联的多个设置距离区域来确定最高距离分辨率，所述最高距离分辨率用于确定所述多个设置距离区域中的哪一个包括到所述多个拍摄光学系统聚焦的目标对象的物距；距离确定单元，用于根据相关处理获取通过所述图像缩小单元所缩小的所述视点图像之间的对应点，用于根据所获取的对应点的视差确定到所述多个拍摄光学系统聚焦的所述目标对象的物距；和校准数据选择器，用于以以下方式从多个校准数据中选择校准数据使得所述距离确定单元所确定的所述物距落在所述设置距离区域内。优选地，聚焦区获取单元在视点图像中指定聚焦区。所述距离确定单元使用所述聚焦区获取单元所指定的所述聚焦区中的所述对应点的所述视差确定所述物距。优选地，距离确定单元进行操作来获取聚焦区获取单元所指定的聚焦区中的对应点。而且优选地，视差检测器根据所述距离确定单元针对所述多个视点图像整体所获取的所述对应点的所述视差存在的分布，检测与针对所述多个拍摄光学系统的焦点状态所估计的距离对应的视差。所述距离确定单元根据所述视差检测器检测的所述视差获取所述物距。而且优选地，图像缩小单元在视点图像中设置沿拍摄光学系统的布置的第一方向上的第一缩小比率，并且在垂直于第一方向的第二方向上设置视点图像的小于第一缩小比率的第二缩小比率。优选地，相关窗口校正单元根据第一和第二缩小比率调节距离确定单元的相关处理中使用的相关窗口的纵横比。而且优选地，焦距获取单元获取多个拍摄光学系统的焦距，该多个拍摄光学系统在改变焦距时使得能够在成像设备中拍摄视差图像。校准数据获取单元根据焦距获取针对拍摄光学系统的多个焦距中每一个的校准数据。图像缩小单元从一个范围内的缩小比率设置第一缩小比率，在该范围内，使得视点图像的清晰度不小于对应于最高距离分辨率的清晰度，其中根据与用于焦距获取单元获取的焦距的校准数据对应的基准聚焦距离、以及根据与所述基准聚焦距离相关联的设置距离区域来确定对应于最高距离分辨率。校准数据选择器选择与距离确定单元所确定的物距和焦距获取单元获取的焦距对应的校准数据。优选地，而且图像缩小单元包括缩小比率确定单元，用于获取成像分辨率，从而根据包括基线长度、焦距和拍摄的像素间距的成像设备的基本信息并根据分别针对多个基准聚焦距离未缩小的视点图像之间的视差测量距离，用于根据对应于校准数据的基准聚焦距离和与其相关联的设置距离区域获取分别用于基准聚焦距离的距离分辨率，并且用于根据成像分辨率和距离分辨率确定第一缩小比率。而且优选地，缩小比率确定单元执行校正， 使得具有会聚角的多个拍摄光学系统的光轴以近似方式彼此平行，从而获取成像分辨率。而且，根据本发明的三维位置测量设备包括如上构成的校准数据选择装置；录入单元，用于将校准数据选择装置选择的校准数据施加到输入的视点图像以校正所述视点图像；以及运算处理单元，用于根据录入单元校正的多个视点图像之间的视差确定目标对象的三维位置信息。根据本发明的校准数据选择方法包括图像获取步骤，用于获取由具有多个拍摄光学系统的成像设备从不同点拍摄的多个视点图像；校准数据获取步骤，用于获取与所述多个拍摄光学系统的多个基准聚焦距离分别对应的校准数据；图像缩小步骤，分别以第一缩小比率缩小所述视点图像，所述第一缩小比率所处的范围使得所述视点图像的清晰度不小于对应于最高距离分辨率的清晰度，其中根据对应于所述校准数据的所述多个基准聚焦距离和与所述多个基准聚焦距离分别相关联的设置距离区域而确定最高距离分辨率，所述最高距离分辨率用于确定所述多个设置距离区域中的哪一个包括到所述多个拍摄光学系统聚焦的目标对象的物距；距离确定步骤，用于根据相关处理获取通过所述图像缩小步骤所缩小的所述多个视点图像之间的对应点，用于根据所获取的对应点的视差确定到被所述多个拍摄光学系统聚焦的所述目标对象的物距；和校准数据选择步骤，用于以以下方式从多个校准数据中选择校准数据使得所述距离确定步骤所确定的所述物距落在所述设置距离区域内。而且，根据本发明的校准数据选择程序使得计算机执行如上所述的图像获取步骤、校准数据获取步骤、图像缩小步骤、距离确定步骤和校准数据选择步骤。发明效果根据本发明，减小了其中能够检测针对对应于校准数据的各个基准聚焦距离而确定的任一设置距离区域的范围内减小各个视点图像。根据从缩小的视点图像获得的视差获取了目标对象的物距，从而选择了对应于物距的校准数据。结果，在无浪费处理的情况下通过缩短处理时间能够选择适合的校准数据。


图I是示出了三维位置测量设备的框图；图2是示出了与多个焦距对应的校准数据集和各个校准数据的设置距离区域的一个示例的示意图；图3是示出了测量分辨率的示意图4是示出了测量分辨率与远距离侧的物距之间的关系以及与缩小比率的关系的曲线图；图5是示出了测量分辨率与近距离侧的物距之间的关系以及与缩小比率的关系的曲线图；图6是示出了从校准数据的选择到输出3D数据的处理的流程图；图7是示出了检测面部区来指定聚焦区的示例的重要组件的构造的框图；图8是示出了其中检测具有较大量的高频分量的区域的示例的重要组件的构造的框图；图9是示出了根据视差存在的分布指定用于确定估计聚焦距离的视差的示例的 重要组件的构造的框图；图10是示出了三维位置测量设备根据校准数据获得相机信息的框图；图11是示出了根据校准数据创建相机信息的条件的示意图；图12是示出了对应于多个焦距的三维位置测量设备的框图；图13是示出了从对应于多个焦距时校准数据的选择到输出3D数据的处理的流程图；图14是示出了与多个焦距对应的校准数据集和各个校准数据的设置距离区域的一个示例的示意图；图15是示出了三维位置测量设备的构造的框图，其中根据水平方向上的缩小比率分别地确定垂直方向上的缩小比率；图16是示出了通过考虑会聚角确定缩小比率的示例的重要组件的构造的框图；图17是示出了会聚角的示意图；图18是示出了针对聚焦区专门执行相关处理的示例的重要组件的构造的框图；图19是示出了其中专门针对从面部区确定的聚焦区执行相关处理的示例的重要组件的构造的框图；图20是示出了其中专门针对利用较大量的高频分量确定的聚焦区而执行相关处理的框图；图21是示出了在拍摄立体图像时估计和输出聚焦距离的聚焦距离估计单元的框图；图22是示出了在拍摄立体图像时估计和输出聚焦距离时的处理的流程图。
具体实施例方式[第一实施例]在图I中，示出了实施本发明的三维位置测量设备。三维位置测量设备10从借助立体相机拍摄目标对象所形成的立体图像测量目标对象的三维位置信息，或者分析并提取目标对象上的给定点Pi在三维空间中的坐标(Xi、Yi、Zi)。在提取位置信息之前，在拍摄目标对象时执行处理任务从而估计拍摄光学系统的聚焦的距离(本文称为聚焦距离)。根据用于按照估计的聚焦距离去除拍摄光学系统的失真的校准数据，来校正立体图像。例如由计算机构成三维位置测量设备10。通过在计算机中运行用于估计聚焦距离并测量三维位置的处理的程序，来实现相关组件。
立体图像输入单元11针对目标对象提取立体相机所创建的立体图像。公知的立体相机包括左右侧的两个拍摄光学系统，通过拍摄光学系统从右和左视点拍摄目标对象，并且输出立体图像作为视差图像。立体图像包括从左视点拍摄的左视点图像和从右视点拍摄的右视点图像。立体图像输入单元11提供有分配了标签信息的立体图像，该标签信息是指示立体相机聚焦的立体图像中的区域的聚焦区。注意，拍摄光学系统的布置方向不限于水平方向，例如可以是垂直方向。而且，图像可以是视差图像，其包括从三个或更多视点拍摄的视点图像。相机信息输入单元12获得已拍摄了待输入立体图像的立体相机的相机信息(基本信息)。对于相机信息，输入作为右和左拍摄光学系统之间间距的基线长度、焦距和像素间距。注意，相机信息的各种值的精度对于确定稍后将描述的估计聚焦距离来说可以较低。初始准备的校准数据集提供给校准数据集输入单元13。待输入的校准数据集对应于已拍摄待输入的立体图像的立体相机。校准数据集包括用于消除拍摄光学系统的失真及其会聚角的影响的多个校准数据。
根据聚焦位置、即透镜位置，拍摄光学系统的失真等是不同的。针对多个位置事先准备校准数据作为基准。作为对应于校准数据的基准的聚焦距离(下文称为基准聚焦距离)分别与校准数据相关联。聚焦距离的信息与校准数据一起输入到校准数据集输入单元13。基准聚焦距离为如上所述的拍摄光学系统的聚焦距离。根据作为拍摄光学系统的基准的聚焦位置确定该距离。基准聚焦距离与作为基准的聚焦位置相关。针对连续聚焦距离创建校准数据是不实际的。如图2所示，例如，与分别地设置的几个基准聚焦距离相对应地创建校准数据。使得校准数据对应于除了对应于基准聚焦距离之外的距离，并且对应于针对基准聚焦距离确定的设置距离区域内的聚焦距离。在该实施例中，三维位置测量设备10针对基准聚焦距离确定设置距离区域。在三维位置测量设备10中，使用基准聚焦距离之间的中间值作为设置距离区域内的边界值。一组校准数据的设置距离区域是从近距离侧的边界值到远距离侧的边界值。在这些边界值之间确定一个基准聚焦距离。在图2的示例中，准备了与四个基准聚焦距离(50cm、lm、2m和5m)对应的校准数据C1-C4。针对根据基准聚焦距离“50cm”的校准数据Cl，三维位置测量设备10具有从特写(close up)距离到距离“75cm”的设置距离区域。距离“75cm”的边界值为校准数据Cl和C2的各个基准聚焦距离的中间值。针对对应于“ lm”的基准聚焦距离的校准数据C2，设置距离区域是从“75cm”的距离到“I. 5m”的距离，其中上述“75cm”的距离以及校准数据C2和C3之间的“I. 5m”的中间值为边界值。类似地，对于校准数据C3，设置距离区域是从“I. 5m”的距离到“3. 5m”的距离。对于校准数据C4，设置距离区域是从“3. 5m”的距离到无穷大的距离。设置设置距离区域的方法不限于以上方法。例如，可以与校准数据一起预定校准数据的设置距离区域，并且与校准数据一起将设置距离区域输入到三维位置测量设备10。同样，可以手动输入设置距离区域。用于所需分辨率的运算处理单元15与用于成像分辨率的运算处理单元16、缩小比率确定单元17和图像缩小单元18 —起构成图像缩小单元。运算处理单元15从输入校准数据集提取基准聚集距离，并且针对各个基准聚焦距离确定所需的分辨率。所需的分辨率被确定作为距离分辨率，该距离分辨率用于找到哪个设置距离区域包括到拍摄光学系统所聚焦的目标对象的物距。距离分辨率为对应于一个像素间距的三维空间中(在(右侧或左侧或上侧或下侧)平面上和在深度上)的长度。确定的所需分辨率被发送到缩小比率确定单元17。在使用相机信息和输入视点图像的所有像素确定三维位置时，运算处理单元16确定成像分辨率作为深度方向的测量分辨率(距离分辨率)。即使基线长度、焦距和图像传感器上的像素间距在拍摄时相同，但是根据到目标对象的物距，成像分辨率不同。运算处理单元16利用校准数据的基准聚焦距离作为物距，分别确定与基准聚焦距离相对应的成像分辨率。成像分辨率被发送到缩小比率确定单元17。缩小比率确定单元17根据来自运算处理单元15的所需分辨率和来自运算处理单元16的成像分辨率来操作，并且确定用于缩小视点图像的清晰度的一个范围内的缩小比率，使得视点图像的清晰度不低于根据校准数据的基准聚焦距离及其相关联的设置距离区域确定的基于最高距离分辨率的清晰度。确定缩小比率使得在使用缩小的视点图像获得目标对象的物距时的距离分辨率满足所需分辨率中的最高所需分辨率，并且将获得最可能的 缩小效果。在本实施例中，从作为整数的值K获得最可能的缩小效果的缩小比例，其中缩小比率为“1/K”。图像缩小单元18以通过缩小比率确定单元17确定的缩小比率缩小各个视点图像从而降低视点图像的清晰度。在用于缩小的处理中，缩小视点图像，使得对于视点图像的水平方向(视差方向)和与其垂直的垂直方向上的像素来说，缩小后的像素数与缩小前的像素数的比率等于缩小比率。例如，以“1/K”作为缩小比率。缩小后的一个像素为缩小之前的视点图像中包含“KXK”像素的区域在平均值。同样，通过根据基于缩小比率的数量进行的稀疏处理可以缩小视点图像。第一运算处理单元21执行包括相关处理和视差确定的第一运算处理。在相关处理中，被图像缩小单元18处理缩小之后的视点图像被处理用于相关处理，从而在右侧视点图像中搜索与左侧视点图像的基准点(像素)对应的对应点(像素)。在视差确定中，确定由相关处理检测到的基准点及其对应点之间的视差。第一运算处理的结果提供给距离估计单元22。以基准点及其对应点之间的平移量(像素数)的形式获得视差。聚焦区获取单元23读取和分析分配给输入立体图像的标签信息，并且获得聚焦区。区转换器24将聚焦区获取单元23在缩小之前获得的立体图像中聚焦区的坐标根据缩小比率转换成缩小立体图像中的坐标。将转换后的聚焦区提供给距离估计单元22。距离估计单元22和第一运算处理单元21构成距离确定单元。距离估计单元22根据从缩小视点图像中的聚焦区获得的视差来操作，确定到聚焦区中记录的目标对象一部分的物距，并且将其输出作为估计的聚焦距离。对于确定估计的聚焦距离，一起使用了像素间距、焦距、基线长度和视点图像的缩小比率与来自第一运算处理单元21的视差。校准数据选择器26从分别输入的校准数据中选择与估计的聚焦距离相关联的校准数据作为校准数据集。对于选择校准数据，校准数据选择器26参考了与校准数据相关联的设置距离区域，从而选择了其中估计的聚焦距离位于设置距离区域内的校准数据。由此，选择在拍摄立体图像时与拍摄光学系统的聚焦位置相关联的校准数据。校准数据录入单元31将校准数据选择器26选择的校准数据应用于未缩小的视点图像，从而消除拍摄光学系统的失真及其会聚角的影响。第二运算处理单元32执行包括相关处理和视差确定的第二运算处理。第二运算处理的这些处理与第一运算处理的那些处理相同，但是其针对未缩小的视点图像来执行。第二运算处理的结果提供给3D数据转换器33。3D数据转换器33根据作为左侧视点图像的基准点的像素和右侧视频图像中与其对应的点的像素，确定3D数据作为包括目标对象的距离的三维位置信息。输出接口 34将例如立体图像的3D数据记录到记录介质。输出方法不限于该方法，也可以是例如输入到监视器的方法。现在描述缩小比率的确定。从立体相机到测量点的物距L由下式(I)表示L= (D · f) / (B · d)…(I) 其中，“D”为用于拍摄的立体相机的基线长度，“f ”为焦距，“B”为像素间距，“d”
为视差。可以通过将视差乘以像素间距来获得对应于视差的长度。如果缩小视点图像，则可能借助通过将相机信息的像素间距除以缩小比率所确定的值获得该长度。因此，满足"P=B · dO=K · B · dl”的关系，其中“P”为对应于视差的长度，“B”为相机信息的像素间距，“ 1/K”为视点图像的缩小比率，“do”为缩小前的视差而“dl”为缩小后的视差。如公知那样，如果测量点在远距离方向上平移，则视差变小，如果测量点在近距离方向上平移，则视差变大。针对给定的物距，令测量分辨率为在一个像素的视差变化时距离增加或减小的变化量。如图3所示，物距L与远距离侧具有小一个像素的较小视差的测量点Tl的距离之间的差为远距离侧的测量分辨率R1。物距L与远距离侧具有大一个像素的较大视差的测量点T2的距离之间的差为近距离侧的测量分辨率R2。这可以表达在下式(2)和(3)中。可以通过基于利用立体相机的基线长度D、焦距f、像素间距B和物距L的式(I)的关系的下式(2')和(3')来表达测量分辨率Rl和R2。Rl= [(D · f)/(B · (d-l))]-[(D · f)/(B · d)]…(2)=[L/(1_(B · L)/(D · f))] -L…(2')R2=[(D · f)/(B · d)]-[(D · f)/(B · (d+1))]. . . (3)=L- [L/ (1+ (B · L) / (D · f))]…(3')根据拍摄时的基线长度、焦距、像素间距和物距，可以将成像分辨率确定作为从上述式(2')和(3')获得的远距离侧和近距离侧的测量分辨率。各个基准聚焦距离被用作物距，所以能够针对各个基准聚焦距离获得远距离侧的成像分辨率和近距离侧的成像分辨率。另一方面，为判断待测量的物距是否落在给定校准数据的设置距离区域内，以基准聚焦距离作为物距通过上述方式获得的远距离侧的测量分辨率需要为Rf或更低，近距离侧的测量分辨率需要为Re或更低，其中Rf为根据校准数据的基准聚焦距离与设置距离区域的上限之间的差，Re为根据校准数据的基准聚焦距离与设置距离区域的下限之间的差。因此针对给定的基准聚焦距离，基准聚焦距离与包括基准聚焦距离的设置距离区域的上限之间的差为远距离侧的所需分辨率。基准聚焦距离与包括基准聚焦距离的设置距离区域的下限之间的差为近距离侧的所需分辨率。由此，可以针对各个基准聚焦距离获得远距离侧和近距离侧的所需分辨率。确定缩小比率作为成像分辨率与使用相同基准聚焦距离的相同分辨率时的所需分辨率的比率的最大值(=成像分辨率/所需分辨率)。简而言之，针对各个基准聚焦距离获得远距离侧的成像分辨率与远距离侧的所需分辨率的比率。针对各个基准聚焦距离获得近距离侧的成像分辨率与近距离侧的所需分辨率的比率。确定最高的一个比率为缩小比率。根据缩小比率的下降进一步降低测量分辨率(=“1/K”)。然而，通过以上述方式确定缩小比率，缩小的立体图像可以满足与基准聚焦距离之一相对应的所需分辨率。通过上述方式针对等于“ l/Κ”的缩小比率将值K设置为整数来确定缩小比率，以简化缩小图像的处理，其中可以最小化立体图像的分辨率从而提高相关处理的效率。 注意，为了满足针对基准聚焦距离中任一的所需分辨率，所确定的缩小比率为根据本示例的缩小中的效果最好的一个。然而，在确定缩小比率时不必使得缩小的效果最好。在图4和5中，示出了从立体相机到测量点之间的物距L与物距L处的测量分辨率之间的关系的一个示例。甚至在不缩小视点图像的情况下，也可以根据物距L的增加来缩小测量分辨率。根据缩小导致的测量分辨率降低的影响随着物距L的增加而增大。而且，随着缩小比率的降低存在测量分辨率减小的趋势。符号L1-L4指示对应于图2所示的校准数据C1-C4的基准聚焦距离。图4和5中的符号“ο”指示所需分辨率。关于远距离侧校准数据Cl和C2所需的分辨率，如果缩小比率小于“1/45”，则在基准聚焦距离处满足所需分辨率“250mm”和“500mm”。然而，对于校准数据C3，如果缩小比率小于“1/45”，则在基准聚焦距离处不满足所需分辨率“1，500mm”。关于近距离侧校准数据C2和C3所需的分辨率，如果缩小比率小于“ 1/32”，则在基准聚焦距离处满足所需分辨率“250mm”和“500mm”。然而，对于校准数据C4，如果缩小比率小于“ 1/18”，则在基准聚焦距离处不满足所需分辨率“ 1，500mm”。结果，确定“ 1/18”被确定为缩小比率，这是因为成像分辨率与所需分辨率的比率作为缩小比率最大。参考图6描述上述构造的操作。首先，使用校准数据集输入单元13输入校准数据集，其针对拍摄用于测量三维位置的立体图像的立体相机而准备。随后使用相机信息输入单元12输入立体相机的相机信息。在输入校准数据集和相机信息时，提取与各个校准数据对应的基准聚焦距离。根据基准聚焦距离，运算处理单元15获得与基准聚焦距离相对应的远距离侧和近距离侧两者的所需分辨率。同样，从基准聚焦距离和相机信息获得与基准聚焦距离相对应的远距离侧和近距离侧两者的成像分辨率。根据各个所需分辨率和成像分辨率,缩小比率确定单元17确定视点图像的缩小比率。此时，针对各个基准聚焦距离，缩小比率确定单元17获得远距离侧的成像分辨率与远距离侧的所需分辨率的比率以及近距离侧的成像分辨率与近距离侧的所需分辨率的比率。确定最高的一个比率为缩小比率。在立体图像输入单元11输入视点图像时，将视点图像发送到图像缩小单元18和校准数据录入单元31。以缩小比率确定单元17所确定的缩小比率来缩小图像缩小单元18中的视点图像。在视点图像中，减小像素数和清晰度。增大了像素间距从而降低了测量分辨率。以上述方式缩小的视点图像被发送到第一运算处理单元21并且在第一运算处理中处理其整个区域。通过相关处理搜索对应点从而获得针对检测到的对应点的基准点的视差。随着视点图像缩小，比输入视点图像的相关处理更短时间地完成了相关处理。尽管校准数据在第一运算处理中没有施加到视点图像，但是可以在无大故障的情况下搜索对应点，这是因为由于缩小了视点图像，甚至在不存在校准数据时，对拍摄光学系统或其会聚角的失真的影响也较小。获得的对应点的位置信息及其视差的信息被发送到距离估计单元22。同样，由聚焦区获取单元23通过分析分配给立体图像的标签信息获得的聚焦区被区转换器24转换成各个缩小视点图像中的坐标，并且被发送到距离估计单元22。
在输入第一运算操作和以上述方式转换的聚焦区的结果的状态下，距离估计单元22根据相机信息和转换的聚焦区中检测到的对应点的视差确定到视差的目标对象一部分的物距。输出该物距作为估计的聚焦距离。在估计的聚焦距离被发送到校准数据选择器26时，从各个校准数据中选择其中估计的聚焦距离包括在设置距离区域中的校准数据。在选择的校准数据被发送到校准数据录入单元31时，向未缩小的各个视点图像施加校准数据，从而消除用于拍摄的立体相机中拍摄光学系统的失真。如前所述，根据从各个缩小视点图像获得的估计的聚焦距离选择校准数据。由此，由于通过上述方式进行选择，得以将适当选择的校准数据施加到视点图像。第二运算处理单元32在第二运算处理中处理施加了校准数据之后的视点图像。针对各视点图像中的像素，借助包括目标对象的距离的三维位置信息，来根据第二运算处理的结果确定3D数据。将3D数据记录到记录介质。为了测量来自同一立体相机连续拍摄的立体图像的三维位置信息，可以使用通用校准数据和相机信息。可以仅输入立体图像而不输入数据和信息。在上述实施例中，根据分配给立体图像的标签信息指定聚焦区作为立体相机聚焦的一部分。然而，聚焦区的指定不限于该方法。例如，可以通过分析视点图像来指定聚焦区。根据分析视点图像的方法可以是根据检测面部区或包含较大量的高频分量的区的方法。在图7的示例中，使用面部区。面部区检测器41检测视点图像中的各个面部区。面部区选择器41选择检测到的面部区中的任何一个并且指定为聚焦区。选择为聚焦区的该面部区可以是面部区中靠近视点图像的中央的一个、面部区中最大的一个等。在拍摄人像时这是有用的，因为通常是对人脸聚焦。在图8的示例中，利用了聚焦区中高频分量增加的特征。视点图像被分成几个区。高频分量区检测器43检查各个分割区中高频分量的量，并且根据最大量的高频分量指定分割区之一作为聚焦区。不同于利用聚焦区的指定，可以根据对立体相机的聚焦状态的估计的距离指定视差。在图9的实施例中，视差分配检测器44检查第一运算处理单元21获得的整个视点图像区的视差的分布，并且根据基于该分布针对聚焦状态而估计的距离指定例如针对该视差的视差模值。可以使用视差的中间值等而不是视差的模值。同样，可以检查距离的分布而不是视差。注意在图7-9中仅示出重要部分。在描述中去除了剩余部分。[第二实施例]描述第二实施例，其中从校准数据获得相机信息。该实施例除了下文描述的其他部分之外与第一实施例相同。基本上为相同组件分配了相同标号，从而省略进一步的描述。在图10所示的实施例中，用于相机信息的运算处理单元51被提供作为相机信息获取单元来取代相机信息输入单元。各个校准数据由校准数据集输入单元13输入到运算处理单元51。运算处理单元51分析校准数据，并且提取并输出相机信息。 如图11所示，通过与失真参数相关的立体参数矩阵和立体图像中的像素位置来表示校准数据，所述失真参数用于将拍摄光学系统的失真表达为三维空间的坐标。运算处理单元51分析该校准数据并且将校准数据分成离散参数，以提取右侧和左侧拍摄光学系统的位置(原点坐标)和像素焦距。根据右侧和左侧拍摄光学系统的各个部分确定基线长度。像素焦距为通过将拍摄光学系统的焦距除以像素间距获得的值(dividend)(焦距/像素间距)。即使在三维位置测量中的焦距和像素间距之间没有分离的情况也没有问题。运算处理单元51根据各个校准数据获得基线长度和像素焦距，并且输出通过对它们求平均确定的平均基线长度和平均像素焦距作为相机信息。根据拍摄光学系统的聚焦位置，校准数据之间存在细微差别。根据校准数据获得的相机信息在精确的意义上是不准确的。然而，为了选择校准数据的目的，根据具有缩小测量分辨率的视点图像获得估计的聚焦距离时不会有问题。注意，可以使用中间值而非平均值。例如，根据选择的校准数据获得的基线长度和像素焦距可以用作第二运算处理单元32和3D数据转换器33中的基本信息。[第三实施例]与使用变焦透镜作为拍摄光学系统的立体相机对应地描述第三实施例。该实施例除了下文描述的其他部分之外与第一实施例相同。基本上为相同的组件分配了相同标号，从而省略进一步的描述。在第三实施例中，针对拍摄光学系统在广角端和长焦端中任一个的焦距设置来描述拍摄立体图像的构造。可以将该实施例应用于其他焦距，并且可应用于三个或更多的焦距。图12示出了第三实施例的三维位置测量设备10的构造。图13示出了处理步骤。立体图像提供给立体图像输入单元11，该立体图像不仅分配有拍摄立体图像使用的拍摄光学系统的聚焦区还有焦距作为标签信息。焦距获取单元53从输入的立体图像的标签信息获得并输出专门使用的焦距。在该实施例中，焦距获取单元53获得长焦端和广角端中任一个的焦距。相机信息输入单元12接收作为相机信息的基线长度、像素间距和长焦端和广角端的焦距的输入。在示出一个示例的图14中，校准数据集输入单元13接收校准数据集的输入，其中针对焦距准备了用于各个基准聚焦距离的校准数据。运算处理单元15针对各个校准数据的焦距和各个基准聚焦距离确定远距离侧和近距离侧的所需分辨率。运算处理单元16根据相机信息针对各个焦距以及针对各个基准聚焦距离确定远距离侧和近距离侧的成像分辨率。按照与第一实施例的缩小比率确定单元17类似的方式，用于缩小比率的运算处理单元54根据针对各个焦距的所需分辨率和成像分辨率确定缩小比例。由此，确定长焦端和广角端的缩小比率。缩小比率被写入存储器54a。将从立体图像的标签信息提取的焦距提供给缩小比率选择器55。响应于焦距的输入，缩小比率选择器55从存储器54a提取与焦距相对应的缩小比率，并且将缩小比率发送给图像缩小单元18、区转换器24和第一运算处理单元21。随后以以下方式缩小视点图像满足基于拍摄输入的立体图像所用的焦距的所需分辨率，并且使得缩小效果最大。根据视点图像获得估计的聚焦距离。校准数据选择器26选择与从立体图像的标签信息获得的焦距对应的校准数据和距离估计单元22获得的估计的聚焦距离。将选择的校准数据应用于各个视点图像。[第四实施例]描述第四实施例，其中相互分离地确定视点图像的垂直和水平缩小比率。该实施 例除了下文描述的其他部分之外与第一实施例相同。基本上，为相同组件分配了相同标号，从而省略进一步的描述。在图15中，用于水平方向缩小比率的比率确定单元61与缩小比率确定单元17相同，不同之处在于其确定输出作为视点图像的水平方向缩小比率(本文称为水平缩小比率)的缩小比率。在该实施例中，通过在视点图像上取右侧和左侧拍摄光学系统的布置方向为水平方向、取在视点图像上与水平方向垂直的方向中为垂直方向来进行描述。用于垂直方向缩小比率的比率输入单元62被提供并操作用于输入垂直方向上的缩小比率(本文称为垂直方向缩小比率)。图像缩小单元18在水平缩小中根据来自比率确定单元61的水平缩小比率、在垂直缩小中根据来自比率输入单元62的垂直缩小比率来缩小各个视点图像。类似地，对于聚焦区，在水平缩小中根据水平缩小比率并且在垂直缩小中根据垂直缩小比率来缩小区转换器24获得的聚焦区的大小从而调节纵横比。如果水平缩小比率不同于垂直缩小比率，则窗口尺寸校正单元63根据各个缩小比率校正相关处理中使用的相关窗口的尺寸。进行校正以满足“Wv=Wh Qv/Qh”，其中Wv为相关窗口的垂直尺寸，Wh为相关窗口的水平尺寸，Qv为垂直缩小比率，而Qh为水平缩小比率。检测深度方向上的距离差别，来作为布置拍摄光学系统的视差方向上的平移量。测量分辨率受到水平方向上的缩小影响，而不受垂直方向上的缩小影响。因此，缩小比率被确定为用于在垂直方向比水平方向缩小更多，使得在不影响测量分辨率的情况下可以进一步减少处理时间。在以上实施例中，输入了垂直缩小比率的绝对值。然而,可以输入垂直缩小比率与水平缩小比率的相对值。同样，可以自动将垂直缩小比率设置为比水平缩小比率缩小更多，而不是输入垂直缩小比率。[第五实施例]描述第五实施例，其中在考虑会聚角情况下确定成像分辨率。该实施例除了下文描述的其他部分之外与第一实施例相同。基本上，为相同组件分配了相同标号，从而省略进一步的描述。在图16所示的实施例中，提供了用于会聚角校正的校正设置单元67。根据与基线长度一同作为相机信息输入的立体图像的会聚角，校正设置单元67校正用于在运算处理单元16中确定成像分辨率的运算处理。在该实施例中，如果在如图17所示的光轴PL和PR之间不平行情况下给出拍摄光学系统68L和68R之间的会聚角，校正设置单元67校正像素间距以确定成像分辨率。令“B0”为校正之前图像传感器69L和69R的像素间距。令“BI”为校正之后的像素间距。校正设置单元67根据“B1=B0 cosPA)”执行校正。由此，在以倾角(Θ/2)从立体相机的前端观看时，通过将图像传感器69L和69R的像素间距BO转换成明显像素间距BI来确定成像分辨率。在以上描述中，校正了像素间距。然而，可以校正像素的平移量来确定成像分辨率。如果存在会聚角Θ，则在“d=(f/B) ^tane ”条件下测量距离为无穷大(L=⑴)，其中“d”为像素的平移量，“f ”为拍摄光学系统的焦距而“B”为像素间距。同样，如果拍摄光学系统的光轴平行而不存在会聚角，则测量距离无穷大时，“d=0”。简而言之，像素的平移量在存在会聚角Θ的情况下比没有会聚角的情况下要大。通过校正该平移量可以解决不存在会聚
角的情况。因此，可以根据“dl=dO-(f/B) · tan Θ”使用校正的像素的平移量dl来确定成像分辨率，其中“d0”为像素在校正之前的平移量，而“dl”为像素在校正之后的平移量。以上实施例并未用于严格消除会聚角的影响，但是可以充分有效地实施从而确定用于获得估计的聚焦距离的成像分辨率。在用于具有人眼的立体观测的立体拍摄的立体相机中，会聚角被分配给立体相机以易于立体观测。这些实施例在处理来自这种立体相机的立体图像时是有效的。[第六实施例]描述第六实施例，其中指定一个区来执行相关处理并且确定视差。该实施例除了下文描述的其他部分之外与第一实施例相同。基本上，为相同组件分配了相同标号从而省略进一步的描述。在图18中，仅示出了重要组件，而省略了其余组件。在图19和20中，类似地示出了各组件。如图18所示，提供了用于运算处理区的区设置单元68。区设置单元68使得第一运算处理单元21执行相关处理的任务并且仅针对视点图像中由区转换器24转换成缩小了的区的聚焦区确定视差。由此，缩短了搜索对应点或获得视差的处理时间。在本实施例中，相关处理和视差确定的区被限制于从标签信息指定的聚焦区。然而，可以以图19和20的方式使用该实施例，用于借助聚焦区指定在视点图像中检测或选择的面部图像或者具有最大量高频分量的区。[第七实施例]针对在拍摄立体图像时估计和输出聚焦距离的聚焦距离估计单元的示例，描述第七实施例。该实施例除了下文描述的其他部分之外与第一实施例相同。基本上，为相同组件分配了相同标号从而省略进一步的描述。图21示出了聚焦距离估计单元。通过输入立体相机拍摄的立体图像或者输入立体相机的相机信息，聚焦距离估计单元70估计和输出拍摄立体图像时立体相机的拍摄光学系统的聚焦距离。与立体相机的拍摄光学系统可以设置的焦点位置对应的基准聚焦距离输入到距离步幅输入端口 71。例如，如果通过在对应于物距50cm、60cm、80cm、lm、I. 2m、I. 5m等的焦点距离逐步地移动立体相机的拍摄光学系统来调节聚焦，则输入那些物距作为基准聚焦距离。将用于立体相机的聚焦的区信息提供给聚焦区输入端口 72。如果控制立体相机聚焦在图像框的中央，则输入到聚焦区输入端口 72的区信息为视点图像中央区的坐标。输出接口 73输出距离估计单元22确定的估计的聚焦距离，例如将其记录到记录介质。在图22所示的实施例中，在输入各个基准聚焦距离和立体相机的相机信息时确定缩小比率。以缩小比率来缩小输入的立体图像(各个视点图像)。随后针对缩小的立体图像执行相关处理和视差确定从而获得视差值。根据缩小来使用与被输入和转换的聚焦区内对应的视差值之一确定物距，并且输出作为估计的聚焦距离。
可以与立体相机一起使用上述聚焦距离估计单元70。对于该结构，在立体相机中提供存储器，用于存储各个基准聚焦距离、相机信息和聚焦区。可以从存储器提取信息，或者直接从存储器输入立体图像。对于将聚焦距离估计单元70与立体相机结合进行拍摄，针对拍摄之间聚焦区的变化事件，可以获得拍摄时确定的聚焦区。同样，可以在检测焦点位置的立体相机中并入聚焦距离估计单元70的功能，而取代检测拍摄光学系统的焦点位置的编码器。在上述第一到第六实施例中，描述了三维位置测量设备作为示例。然而，可以使用包括选择校准数据的功能来构建校准数据选择装置。在实施例中，在设备中确定缩小比率。然而，可以利用校准数据集创建缩小比率并且与校准数据集一起输入缩小比率。同样，可以在不冲突的情况下将上述实施例的结构组合。标号的描述10 二维位置测量设备11立体图像输入单元12相机信息输入单元13校准数据集输入单元17缩小比率确定单元18图像缩小单元21第一运算处理单元22距离估计单元26校准数据选择
权利要求
1.一种校准数据选择装置，其特征在于包括 图像获取单元，用于获取由具有多个拍摄光学系统的成像设备从多个不同点拍摄的多个视点图像； 校准数据输入单元，用于输入与所述多个拍摄光学系统的多个基准聚焦距离分别对应的校准数据； 图像缩小单元，用于分别以第一缩小比率使所述多个视点图像缩小，所述第一缩小比率所处的范围使得所述多个视点图像的清晰度不小于对应于最高距离分辨率的清晰度，其中根据对应于所述校准数据的所述多个基准聚焦距离和与所述多个基准聚焦距离分别相关联的多个设置距离区域来确定所述最高距离分辨率，所述最高距离分辨率用于确定所述多个设置距离区域中的哪一个包括到所述多个拍摄光学系统聚焦的目标对象的物距； 距离确定单元，用于根据相关处理获取通过所述图像缩小单元所缩小的所述多个视点图像之间的对应点，用于根据所获取的对应点的视差确定到所述多个拍摄光学系统聚焦的所述目标对象的物距； 校准数据选择器，用于以以下方式从所述多个校准数据中选择校准数据使得所述距离确定单元所确定的所述物距落在所述设置距离区域内。
2.如权利要求I所述的校准数据选择装置，其特征在于，进一步包括聚焦区获取单元，用于在所述多个视点图像中指定聚焦区； 其中，所述距离确定单元使用所述聚焦区获取单元所指定的所述聚焦区中的所述对应点的视差确定所述物距。
3.如权利要求2所述的校准数据选择装置，其特征在于，所述距离确定单元进行操作以获取所述聚焦区获取单元所指定的所述聚焦区中的对应点。
4.如权利要求I所述的校准数据选择装置，其特征在于，进一步包括视差检测器，其根据所述距离确定单元针对所述多个视点图像整体所获取的所述对应点的所述视差存在的分布，检测与针对所述多个拍摄光学系统的焦点状态所估计的距离对应的视差； 其中，所述距离确定单元根据所述视差检测器检测的所述视差获取所述物距。
5.如权利要求I所述的校准数据选择装置，其特征在于，所述图像缩小单元在所述多个视点图像中设置沿所述多个拍摄光学系统的布置的第一方向上的第一缩小比率，并且在垂直于所述第一方向的第二方向上设置所述多个视点图像的小于所述第一缩小比率的第二缩小比率。
6.如权利要求5所述的校准数据选择装置，其特征在于，进一步包括相关窗口校正单元，用于根据所述第一缩小比率和所述第二缩小比率调节所述距离确定单元的所述相关处理中使用的相关窗口的纵横比。
7.如权利要求I所述的校准数据选择装置，其特征在于，进一步包括焦距获取单元，用于获取所述多个拍摄光学系统的焦距，其中所述多个拍摄光学系统在改变所述焦距时使得能够在所述成像设备中拍摄视差图像； 其中所述校准数据获取单元根据所述焦距获取针对所述多个拍摄光学系统的多个焦距中每一个的校准数据； 所述图像缩小单元根据一个范围内的缩小比率设置第一缩小比率，在所述范围内，使得所述多个视点图像的所述清晰度不小于对应于最高距离分辨率的所述清晰度，其中根据与用于所述焦距获取单元获取的焦距的所述校准数据对应的所述基准聚焦距离、以及根据与所述基准聚焦距离相关联的设置距离区域来确定所述最高距离分辨率； 所述校准数据选择器选择与所述距离确定单元所确定的所述物距和所述焦距获取单元获取的焦距相对应的校准数据。
8.如权利要求I所述的校准数据选择装置，其特征在于，所述图像缩小单元包括缩小比率确定单元，用于获取成像分辨率，以根据包括基线长度、焦距和拍摄的像素间距的所述成像设备的基本信息并根据分别针对所述多个基准聚焦距离未缩小的所述多个视点图像之间的视差测量距离，用于根据对应于所述校准数据的基准聚焦距离和与其相关联的设置距离区域获取分别用于所述基准聚焦距离的距离分辨率，并且用于根据所述成像分辨率和所述距离分辨率确定第一缩小比率。
9.如权利要求8所述的校准数据选择装置，其特征在于，所述缩小比率确定单元执行校正，使得具有会聚角的所述多个拍摄光学系统的光轴以近似方式彼此平行，从而获取所述成像分辨率。
10.一种三维位置测量设备，其特征在于，包括 如权利要求1-9中任一所述的校准数据选择装置； 录入单元，用于将所述校准数据选择装置所选择的校准数据施加到输入的所述多个视点图像以校正所述多个视点图像； 运算处理单元，用于根据所述录入单元所校正的所述多个视点图像之间的视差确定所述目标对象的三维位置信息。
11.一种校准数据选择方法，其特征在于包括 图像获取步骤，用于获取由具有多个拍摄光学系统的成像设备从不同点拍摄的多个视点图像； 校准数据获取步骤，用于获取与所述多个拍摄光学系统的多个基准聚焦距离分别对应的校准数据； 图像缩小步骤，用于分别以第一缩小比率使所述多个视点图像缩小，所述第一缩小比率所处的范围使得所述多个视点图像的清晰度不小于对应于最高距离分辨率的清晰度，其中根据对应于所述校准数据的所述多个基准聚焦距离和与所述多个基准聚焦距离分别相关联的多个设置距离区域来确定所述最高距离分辨率，所述最高距离分辨率用于确定所述多个设置距离区域中的哪一个包括到所述多个拍摄光学系统聚焦的目标对象的物距； 距离确定步骤，用于根据相关处理获取通过所述图像缩小步骤所缩小的所述多个视点图像之间的对应点，用于根据所获取的对应点的视差确定到被所述多个拍摄光学系统聚焦的所述目标对象的物距； 校准数据选择步骤，用于以以下方式从所述多个校准数据中选择校准数据使得所述确定步骤所确定的所述物距落在所述设置距离区域内。
12.—种校准数据选择程序，其特征在于，使得计算机执行如权利要求11所述的图像获取步骤、所述校准数据获取步骤、所述图像缩小步骤、所述距离确定步骤和所述校准数据选择步骤。
全文摘要
通过消除无用的计算从而缩短了计算时间来选择适当的校准数据。在根据立体图像测量待测目标的三维位置之前，将对应于图像拍摄光学系统的聚焦位置的校准数据施加给立体图像。在选择校准数据时，根据从缩小的立体图像获得的像差计算物距，并将其定义为对应于聚焦位置的估计聚焦距离，其中，选择了校准数据以使得将可应用的距离范围设置成包括估计的聚焦距离。每个视点图像被缩小到这样的范围内该范围使得能够识别施加了针对对应于校准数据的每个基准聚焦距离设置的可应用距离范围中的哪个范围。
文档编号G01C3/00GK102822621SQ20118001775
公开日2012年12月12日 申请日期2011年4月1日 优先权日2010年4月6日
发明者石山英二, 增田智纪 申请人:富士胶片株式会社