专利名称：长距离目标检测相机系统的制作方法
技术领域：
本发明涉及一种用于检测长距离目标的长距离目标检测相机系统，具体地说涉及 其中组合具有不同的视角的相机的长距离目标检测相机系统。
背景技术：
本发明人已经开发了各种类型的用于目标检测/跟踪的相机系统，其中，组合了 具有不同视角的相机(专利文件1至专利文件4)。这些系统每一个一般由在基座上安装 的用于目标检测/跟踪的双目活动相机组成，并且使用同一相机系统来执行相同的跟踪控 制，而与相对于目标的距离无关。专利文件1 日本专利申请Kokai公报No. 2006-258543专利文件2 日本专利申请Kokai公报No. 2006-329747专利文件3 日本专利申请Kokai公报No. 2007-093479专利文件4 日本专利申请Kokai公报No. 2007-12099
发明内容
本发明要解决的问题然而，相对于自远离相机的目标的距离而言，在双目相机的两个透镜之间的基线 长度不足以检测和跟踪长距离目标，因此存在不能获得满意的距离测量精度的情况。而且， 经常有自目标的距离本身不重要的情况。在该情况下，虽然仅一个高级远摄相机的使用足 以检测或跟踪长距离目标，但是使用了两个相机来执行检测或跟踪。上述的相机系统具有能够允许两眼执行共轭移动的致动器。然而，这种移动使其 上安装相机系统的基座的左右旋转移动重复，由此使得控制复杂化。因此，在用于目标检测/跟踪的传统相机系统中的相机和致动器的数量上存在冗 余。然而，在指定目的或条件下，需要在冗余上的减少、在系统重量上的减少、在系统成本上 的减少和视觉识别处理的简化。已经根据上面的情况建立了本发明，并且其目的是提供一种长距离目标检测相机 系统，其能够在简化结构的同时检测/跟踪从长距离到短距离的宽范围的目标。用于解决问题的手段为了实现上面的目的，根据本发明的一种长距离目标检测相机系统可以包括一 对会聚相机(convergence camera),其能够执行会聚移动(convergence movement)；远摄 相机，其具有与在所述一对会聚相机的视线之间的交点的轨迹线基本上相等的视线，并且 具有比所述一对会聚相机的每一个更窄的视场；基座，在其上安装了所述一对会聚相机和 所述远摄相机；以及，用于基座移动的马达，其控制所述基座的移动。所述长距离目标检测相机系统可以进一步包括广角相机，所述广角相机具有与所 述远摄相机的视线基本上相等的视线，并且具有比所述一对会聚相机的每一个更宽的视 场。所述广角相机可以被安装在基座上。
所述远摄相机可以被布置在所述一对会聚相机之间的中点处。所述远摄相机和/或所述广角相机可以被固定在所述基座上，以便与所述基座的 移动联动。所述远摄相机和/或所述广角相机可以被固定到所述一对会聚相机的一个，以便 与所述一个会聚相机的移动联动。所述会聚相机可以使用一个马达和一个皮带轮来实现会聚移动。一种用于通过使用根据本发明的所述长距离目标检测相机系统来从宽范围区域 检测目标的控制方法可以包括广角相机控制处理、会聚相机控制处理和远摄相机控制处理。所述广角相机控制处理可以包括步骤使用所述广角相机来成像宽范围区域；利 用通过使用所述广角相机在所述成像步骤中获得的广角图像来测量所述长距离目标检测 相机系统的移动速度；以及，使用在所述测量步骤中获得的所述移动速度来执行所述基座 的视觉反馈控制，以便将所述广角相机的视线保持在预定位置。所述会聚相机控制处理可以包括步骤使用所述一对会聚相机来成像所述目标； 利用使用所述一对会聚相机在所述成像步骤中获得的会聚图像来执行所述一对会聚相机 的会聚移动控制；使用在所述会聚相机移动控制步骤中获得的所述会聚相机的旋转角度来 测量到所述目标的距离；以及，使用所述会聚图像来执行所述一对会聚相机的视觉反馈控 制，以便将所述一对会聚相机的视线保持在预定位置。所述远摄相机控制处理可以包括步骤使用所述远摄相机来成像所述目标；在使 用所述远摄相机在所述成像步骤中获得的远摄图像中检测是否存在所述目标；在所述检测 步骤中没有所述目标存在的情况下，移动所述远摄相机的视线，使得所述远摄相机的下一 个视场的一部分在当前远摄图像的范围内重叠；并且，在所述检测步骤中存在所述目标的 情况下，使用所述远摄图像来执行所述远摄相机的视觉反馈控制。本发明的优点根据本发明的长距离目标检测相机系统具有下述优点可以在简化结构的同时检 测/跟踪从长距离到短距离的宽范围的目标。而且，实现了高速视觉识别处理，因此可检测 /跟踪甚至高速移动的目标。


图1是用于描述根据本发明的第一实施例的长距离目标检测相机系统的示意图。图2是用于描述根据本发明的第二实施例的长距离目标检测相机系统的示意图。图3是用于描述广角相机控制流程的流程图，广角相机控制流程用于使用本发明 的长距离目标检测相机系统来从宽搜索区域检测特定目标。图4是用于描述会聚相机控制流程的流程图，会聚相机控制流程用于使用本发明 的长距离目标检测相机系统来从宽搜索区域检测特定目标。图5是用于描述远摄相机控制流程的流程图，远摄相机控制流程用于使用本发明 的长距离目标检测相机系统来从宽搜索区域检测特定目标。
具体实施例方式下面参考附图来描述用于实施本发明的优选实施例。图1是用于描述根据本发明 的第一实施例的长距离目标检测相机系统的示意图。如所示，根据本发明的第一实施例的 长距离目标检测相机系统主要由下述部分构成一对会聚相机10 ；远摄相机20 ；广角相机 30 ；其上安装了相机的基座40 ；以及，控制基座的移动的用于基座移动的马达50。一对会聚相机10能够执行会聚移动。会聚移动指的是会聚相机10的旋转移动。 即，例如，当一对会聚相机10用于成像给定物体时，各个相机旋转以便允许相机的视线会 聚在该物体上，使得成像的照片彼此对应。在本说明书中，会聚移动也包括用于成像近物体 的“特写移动”和用于成像远物体的“扩展移动”。优选的是，会聚相机10每一个具有标准 的视角，即中间视角，而不是广视角或远摄视角。所图示的一对会聚相机10使用一个马达11和一个皮带轮12来实现会聚移动。马 达11和皮带轮12通过带13彼此连接。带13交叉地环绕，以便使得马达11和皮带轮12 在相反方向上旋转。这种配置允许一对会聚相机10的会聚移动仅被马达11控制。本发明 不限于使用一个马达和一个皮带轮的配置，而是可以采用如下的配置，其中，两个马达被提 供来独立于彼此地驱动会聚相机10的每一个以便控制会聚移动。远摄相机20具有比一对会聚相机10的每一个更窄的视场。而且，远摄相机20具 有与在一对会聚相机10的视线之间的交点的轨迹线基本上相等的视线。进行会聚移动的 一对会聚相机10的视线的交点绘制了在与会聚相机10的基线垂直的方向上从在一对会聚 相机10之间的中点延伸的轨迹线。因此，具有与该轨迹线基本上相等的视线的远摄相机20 被布置在一对会聚相机10之间的中点处。更具体地，远摄相机20被布置在一对会聚相机 10的旋转中心之间的中点处。远摄相机20在基座40上的这样的布置消除了提供诸如马达 这样的致动器以控制远摄相机20的视线的必要。即，远摄相机20的视线总是位于一对会 聚相机10的视线的交点上，因此，当一对会聚相机10捕捉目标时，远摄相机20可以捕捉同 一目标，消除了通过使用致动器来执行远摄相机20的视线控制的必要。广角相机30具有比一对会聚相机10的每一个的视场更宽的视场。而且，广角相 机30具有与远摄相机20的视线基本上相等的视线。广角相机30被布置使得具有与远摄 相机20的视线基本上相等的视线，远摄相机20的视线即在一对会聚相机10的视线之间的 交点的轨迹线。在该说明性示例中，广角相机30被布置在与远摄相机20基本上相同的位 置。即，广角相机30被布置在一对会聚相机10之间的中间部分处。像在远摄相机的情况 中那样，广角相机30在基座40上的这样的布置消除了提供诸如马达这样的致动器以控制 广角相机30的视线的必要。在根据本发明的长距离目标检测相机系统中，广角相机不是必要部件，而是根据 使用目的，一对会聚相机10可以被用作广角相机的替代品。即，可以使用会聚相机的标准 视角来取代广角相机的宽视角以用于长距离目标检测。在基座40上安装了具有上面的配置的一对会聚相机10、远摄相机20和广角相机 30。控制基座40的移动的用于基座移动的马达50连接到基座40。在该说明性示例中，用 于基座移动的马达50具有用于三轴控制的三个马达部分，并且被配置来将基座40定位在 任意方向上。远摄相机20和广角相机30被固定到基座40，以便它们与如此配置的基座40 的移动联动。因此，通过用于基座移动的马达50控制远摄相机20和广角相机30的视线。
具有这样的配置的长距离目标检测相机系统被安装在诸如汽车或飞机这样的移 动物体100上。根据本发明的长距离目标检测相机系统可以于在移动物体100上移动的同 时检测和跟踪长距离目标。可以在必要时在基座40中设置移动传感器42。可以使用能够 测量旋转或平移移动的传感器来作为移动传感器42。这样的传感器可以用于控制基座的姿 态。可以设置一个或多个移动传感器42，并且在设置偶数数量的移动传感器42的情况下， 优选的是，相对于基座的中心对称地设置相同数量的传感器。接下来，将描述根据本发明的第一实施例的长距离目标检测相机系统的操作。在 此，例如，将描述用于从宽搜索区域检测特定目标并且跟踪所检测到的目标的操作。首先， 使用广角相机30来开始对在宽范围上的区域进行成像。然后，使用所成像的广角图像来测 量长距离目标检测相机系统的移动速度，并且，基于测量结果来控制基座40的移动，由此， 广角相机30的视线被固定到在环境中的预定位置。更具体地，基于以连续方式成像的多个 广角图像上的特定点在移动上的变化，来测量长距离目标检测相机系统的移动速度。即，基 于广角相机30的控制信号是速度信号。这个速度信号被用作反馈信号，以执行用于基座移 动的马达50的视觉反馈控制，使得基座40在抵消移动速度的方向上以相同的速度旋转，以 便使得广角相机30的视线相对于在环境中的预定位置稳定。然后，从稳定的广角图像检测特定目标。该目标是具有特定形状和颜色的物体，并 且可以是移动物体。该目标的示例例如包括要搜索的物体，诸如捕获物或建筑物的裂缝。可 以向这样的目标的检测应用任何检测方法，诸如模式识别，包括传统的检测方法和在未来 开发的方法。因此，可以在要搜索的区域各处检测目标。在广角图像中，相对于视场范围的分辨率较低，因此仅使用广角图像的目标检测 可能不能检测小目标。因此，在本发明中，不仅使用广角图像，而且使用远摄图像来执行目 标检测，视线相对于环境稳定。更具体地，远摄相机的视线被移动使得远摄相机的下一个视 场的一部分在当前远摄图像的范围内重叠。因为使用基座来执行远摄相机的视线的移动， 所以广角相机和会聚相机的视线也随着基座的移动而移动。远摄相机的视线可以以恒定的 速度移动，或以预定的间隔以跳跃的方式移动。即，可以将扫视控制用于视线移动的控制。 视线移动的范围被设置得比远摄相机的视场的范围更窄，以便防止视线落在要搜索的区域 之外。如上所述，检测是否在远摄图像中存在目标，并且在目标不存在的情况下，移动远摄 相机的视线。因此，可以使用高分辨率远摄图像来检测目标。然后，用于基座移动的马达50经历视觉反馈控制，使得被固定到基座40的远摄相 机20的视线被设置在所检测到的目标上。这种移动被称为“扫视”。而且，用于基座移动的 马达50经历视觉反馈控制，使得远摄相机20的视线跟随目标的移动。这种移动被称为“平 滑追踪”。具体地说，由远摄相机20成像的远摄图像用于测量在远摄图像中的目标相对于相机 的视线的位置。即，基于远摄相机20的控制信号是位置信号。这个位置信号用于执行视觉反 馈控制，使得远摄相机20的视线跟随目标，由此允许远摄相机20继续以高分辨率来成像目标。而且，一对会聚相机10经历会聚移动控制，以便对远摄相机20的视线被设置在其 上的目标进行成像。即，在由一对会聚相机10成像的各自的会聚图像中的目标的位置之间 的差被用来执行使用马达11的会聚移动控制。此时，一对会聚相机10的每一个的旋转角 被用来测量到目标的距离。一旦已知在一对会聚相机10之间的基线长度及其旋转角，则可 以基于三角测量方法来测量到目标的距离。
利用这样的控制，根据本发明的长距离目标检测相机系统可以从宽搜索区域检测 特定目标，跟踪目标，并且使用高分辨率来清楚地对目标进行成像，即使目标的大小很小。接下来，将描述根据本发明的第二实施例的长距离目标检测相机系统。图2是用 于解释根据本发明的第二实施例的长距离目标检测相机系统的示意图。在图2中，与在图1 中的那些相同的附图标记表示与在图1中的那些相同的部分，并且在此将省略其描述。如 图2中所示，在根据本发明的第二实施例的长距离目标检测相机系统中，远摄相机20和广 角相机30被固定到一对会聚相机10之一。在第一实施例中，远摄相机20被布置在一对会 聚相机10之间的中点处。另一方面，在第二实施例中，远摄相机20被固定到一对会聚相机 10之一，以便具有与该一个会聚相机10的视线基本上相等的视线。即使使用这种布置，远 摄相机20也具有与在一对会聚相机10的视线之间的交点的轨迹线基本上相等的视线。类 似地，广角相机30被固定到一对会聚相机10之一，以便具有与远摄相机20的视线基本上 相等的视线。远摄相机20和广角相机30如此被固定到一对会聚相机10之一，使得它们与 这一个会聚相机10的移动联动。在第二实施例中的基本控制原理与在图1中所示的第一实施例中的相同。以下， 参考流程图，将更详细地描述根据本发明的第一或第二实施例的长距离目标检测相机系统 的控制流程。图3至5是用于描述使用本发明的长距离目标检测相机系统来从宽搜索区域检测 特定目标的控制流程的流程图。图3是广角相机的控制流程图，图4是一对会聚相机的控 制流程图，并且图5是远摄相机的控制流程图。如图3中所示，在广角相机的控制处理中，使用广角相机来对宽范围区域进行成 像(步骤301)。然后，所成像的广角图像用于测量长距离目标检测相机系统的移动速度(步 骤30 。如上所述，基于以连续方式成像的多个广角图像上的特定点的移动上的变化来测 量长距离目标检测相机系统的移动速度。然后，检测在成像的广角图像中是否存在特定目 标(步骤303)。在检测到目标的情况下，基座经历扫视控制，使得所检测到的目标位于例如 广角图像的中心(步骤304)。另一方面，在未检测到目标的情况下，执行下述的远摄相机 的控制流程(步骤30幻。当通过使用远摄相机来搜索目标时，基座使用所测量的移动速度 来经历视觉反馈控制，以便将广角相机的视线保持在预定位置(步骤306)。然后，组合基 于远摄相机的控制信号和基于广角相机的控制信号，以便执行基座的视觉反馈控制(步骤 307)。如上所述，基于远摄相机的控制信号是位置信号，并且基于广角相机的控制信号是速 度信号。这些信号每一个乘以预定增益，然后被彼此相加以用作基座的反馈控制信号。然后，如图4中所示，在一对会聚相机的控制处理中，一对会聚相机用于对目标成 像(步骤401)。如在广角相机的控制流程中所述，当广角相机的成像视线被保持在预定位 置时，基座总是被保持在特定方向上。因此，一对会聚相机被保持在特定方向上。因此，由会 聚相机成像的图像彼此匹配(步骤40 ，以便执行会聚相机的会聚移动控制(步骤403)。 在控制广角相机使得目标位于广角图像的中心的状态中，每一个会聚相机被控制使得目标 位于会聚图像的每一个的中心处，由此会聚相机的视线彼此重合。此时获得的会聚相机的 旋转角用于测量到目标的距离(步骤404)。如上所述，对于距离测量，可以使用三角测量方 法。然后，测量目标的位置(坐标)(步骤40 。虽然在此还测量目标的坐标，但是在不需 要位置信息的情况下不必测量它。然后，为了将会聚相机的视线保持在预定位置，使用会聚图像来执行一对会聚相机的视觉反馈控制(步骤406)。执行这种控制使得目标被定位在一 对会聚相机的视线之间的交点的轨迹线上。然后，如图5中所示，使用远摄相机来对目标进行成像(步骤501)。当在远摄相机 的远摄图像上存在目标时(步骤50 ，测量目标的位置(步骤50；3)。然后，执行视觉反馈 控制使得在远摄图像中包括目标(步骤504)。另一方面，当在远摄相机的远摄图像上不存 在目标时(步骤50 。远摄相机的视线被移动使得远摄相机的下一个视场的一部分在当前 的远摄图像的范围内重叠，以便移动搜索区域(步骤505)。利用这样的控制，可以从宽搜索区域检测特定目标，测量到目标的距离，并且使用 远摄相机以高分辨率来清楚地对目标进行成像。可以根据到目标的距离来选择性地使用如上所述的控制流程。在其上安装了这样 配置的本发明的长距离目标检测相机系统的移动物体向检测和跟踪的长距离目标移动的 情况下，如下地控制该长距离目标检测相机系统。在到目标的距离大的情况下，使用广角控制流程(图幻和远摄相机控制流程(图 5)来搜索目标。当已经检测到目标时，执行扫视控制，随后，执行视觉反馈控制，同时根据远 摄相机流程来测量目标位置。然后，使得移动物体向目标所位于的位置移动。当其上安装了本发明的长距离目标检测相机系统的移动物体在一定程度上接近 目标时，使用广角相机控制流程(图幻和会聚相机控制流程(图4)来以高精度测量目标 的距离或位置，并且在视觉反馈控制下继续对目标进行成像。结果，移动物体可以精确地接 近目标。如上所述，根据本发明的长距离目标检测相机系统，可以从宽搜索区域检测特定 目标，跟踪目标并且接近目标。在诸如汽车或飞机这样的移动物体上安装的本发明的长距离目标检测相机系统 可以检测和跟踪长距离目标或找到作为要从长距离检测的目标的建筑物的裂缝等。当需要 检测长距离目标时，会聚相机基于由广角相机成像的广角图像来经历会聚移动，以获取大 致的距离信息。然后，使用远摄相机来成像要被聚焦的目标，以便于检测和聚焦。对于目标 的检测方法，基于由广角相机成像的广角图像和由会聚相机成像的会聚图像来执行视觉反 馈控制以便使得视线稳定，远摄相机的视线被移动以便扫描搜索区域。一旦检测到目标，则 可以在视觉反馈控制下在跟踪目标的同时接近目标。当到目标的距离已经变小时，可以使 用会聚相机来取代远摄相机以便跟踪目标。根据本发明的长距离目标检测相机系统的配置可以消除提供用于远摄相机或广 角相机的致动器的必要，以简化结构，因此有助于减小系统的重量和大小。而且，这种简单 结构使得控制简单，由此实现高速目标检测或跟踪处理。根据本发明的长距离目标检测相机系统不限于上面的说明性示例，而是可以在本 发明的范围内不同地修改。例如，一对会聚相机可以是多个会聚相机组。附图标记的解释10 一对会聚相机11 马达12:皮带轮13 带
20 远摄相机30 广角相机40 基座42 移动传感器50.用于基座移动的马达100 移动物体
权利要求
1.一种用于检测长距离目标的长距离目标检测相机系统，所述系统包括 一对会聚相机，能够执行会聚移动；远摄相机，具有与在所述一对会聚相机的视线之间的交点的轨迹线基本上相等的视 线，并且具有比所述一对会聚相机的每一个更窄的视场；基座，在所述基座上安装了所述一对会聚相机和所述远摄相机；以及， 用于基座移动的马达，所述马达控制所述基座的移动。
2.根据权利要求1所述的长距离目标检测相机系统，进一步包括广角相机，所述广角 相机具有与所述远摄相机的视线基本上相等的视线，并且具有比所述一对会聚相机的每一 个更宽的视场，所述广角相机被安装在所述基座上。
3.根据权利要求1或2所述的长距离目标检测相机系统，其中，所述远摄相机被布置在 所述一对会聚相机之间的中点处。
4.根据权利要求1至3中的任何一项所述的长距离目标检测相机系统，其中，所述远摄 相机和/或所述广角相机被固定在所述基座上，以便与所述基座的移动联动。
5.根据权利要求1或权利要求2所述的长距离目标检测相机系统，其中，所述远摄相机 和/或所述广角相机被固定到所述一对会聚相机的一个，以便与所述一个会聚相机的移动 联动。
6.根据权利要求1至5中的任何一项所述的长距离目标检测相机系统，其中，所述会聚 相机使用一个马达和一个皮带轮来实现会聚移动。
7.一种用于通过使用根据权利要求2至6中的任何一项所述的长距离目标检测相机系 统来从宽范围区域检测目标的控制方法，所述方法包括广角相机控制处理、会聚相机控制处理和远摄相机控制处理， 所述广角相机控制处理包括步骤 使用所述广角相机来对宽范围区域进行成像；利用在使用所述广角相机的成像步骤中获得的广角图像来测量所述长距离目标检测 相机系统的移动速度；以及，使用在所述测量步骤中获得的所述移动速度来对所述基座执行视觉反馈控制，以便将 所述广角相机的视线保持在预定位置， 所述会聚相机控制处理包括步骤 使用所述一对会聚相机来对所述目标进行成像；利用在使用所述一对会聚相机的成像步骤中获得的会聚图像来对所述一对会聚相机 执行会聚移动控制；使用在所述会聚相机移动控制步骤中获得的会聚相机的旋转角度来测量到所述目标 的距离；以及，使用所述会聚图像来对所述一对会聚相机执行视觉反馈控制，以便将所述一对会聚相 机的视线保持在预定位置，以及所述远摄相机控制处理包括步骤 使用所述远摄相机来对所述目标进行成像；在使用所述远摄相机的成像步骤中获得的远摄图像中检测是否存在所述目标； 在所述检测步骤中没有所述目标存在的情况下，移动所述远摄相机的视线，使得所述远摄相机的下一个视场的一部分在当前远摄图像的范围内重叠；以及，在所述检测步骤中存在所述目标的情况下，使用所述远摄图像来对所述远摄相机执行 视觉反馈控制。
全文摘要
提供了一种能够从长距离到短距离宽范围地检测/跟踪目标的长距离目标检测相机系统，同时简化了结构。用于检测长距离目标的该长距离目标检测相机系统包括一对会聚相机(10)，其能够执行会聚移动；远摄相机(20)，其具有比所述一对会聚相机(10)更窄的视场；广角相机(30)，其具有比所述一对会聚相机(10)更宽的视场。远摄相机(20)具有与在所述一对会聚相机(10)的视线之间的交点的轨迹线基本上相等的视线。广角相机(30)具有与在远摄相机(20)的视线基本上相等的视线。此外，该长距离目标检测相机系统还包括基座(40)和用于基座移动的马达(50)，在所述基座上安装了相机，用于基座移动的马达(50)控制所述基座的移动。
文档编号G01S3/782GK102132556SQ20098013265
公开日2011年7月20日 申请日期2009年8月17日 优先权日2008年8月20日
发明者加藤芳彦, 张晓林, 陈恩惠 申请人:国立大学法人东京工业大学