专利名称：图像处理电路的时间同步的制作方法
技术领域：
本发明涉及一种包括测量可视对象的属性的多个摄像机在内的系统，一种供这种 系统使用的摄像机单元、一种校准这种摄像机系统的方法、和一种测量可视对象的属性的 方法、以及一种用于执行这种方法的计算机程序产品。
背景技术：
已知使用多个摄像机来测量可视对象的位置，这些摄像机可以观看来自不同角度 的对象。在这种系统的设计中校准是重要问题。校准涉及确定摄像机的相对位置和方位。美国专利申请2005/0071105描述了如何通过沿着平面内的圆移动光点来执行校 准，该光点在至少一部分时间内对于不同摄像机是可见的。美国专利申请2006/0195292描述了如何使用不同摄像机的共享对象的图像来执 行校准。该文献指出，摄像机的图像采样的同步引起了若干问题。不同摄像机的图像采样 时间点不同步，并且这些时间点可以由不同的时钟来测量。该文献提出通过将时间偏移与 时钟时间值相加来校正时钟差，以及通过对相邻采样时间点内来自相同摄像机的数据进行 插值来校正采样时间差。然而，没有讨论确定时间偏移的方法。

发明内容
本发明的目的是提供利用多个摄像机的对象属性测量，其中，简化了校准。本发明的目的是提供改进的摄像机相对校准。提供了一种根据权利要求1的图像处理系统。这里，存在多个时钟电路和摄像机 单元。每个摄像机单元具有关联的时钟电路。处理电路耦合至摄像机单元和可控光源。处 理电路使可控光源发射调制光，检测来自摄像机单元的捕获图像的调制光，以及根据检测 到调制光的图像的关联时钟时间值来确定时钟电路彼此的相对校准。在实施例中，可控光源置于摄像机单元中，使得在发射调制光时可以捕获到摄像 机单元的关联时钟的时钟时间值，并用来贡献于校准。在实施例中，可以使用发射调制光的多个可控光源，使得来自不同位置的发射可 以用于校准。在另一实施例中，可以使用将每个可控光源与可控光源中所有其他可控光源 区分的调制图案。因此，使得能够根据捕获的图像来识别不同的光源，以供校准的相应部分 使用。代表纠错码的相应不同码字的调制图案可以用于区分光源。


使用以下附图，根据示例实施例的描述，这些和其他优点方面将变得显而易见。图1示出了具有多个摄像机的系统。图la示出了摄像机的正视图。图2示出了摄像机配置。图3示出了时间发射图案的示例。
具体实施例方式图1示意性示出了具有多个摄像机10的系统。该系统包括摄像机10、摄像机控制 电路12、通信网络14以及公共处理器16。每个摄像机控制电路包括时钟电路120。摄像机 控制电路12分别耦合至摄像机10中相应的一个。摄像机10和摄像机控制电路12可以一 起形成一个摄像机单元，但是备选地，摄像机可以形成分离的摄像机单元。摄像机控制电路12经由摄像机控制电路12的网络接口、通信网络14耦合至公共 处理器16。可以使用任何类型的网络接口，例如，无线接口、以太网接口、电话线等。公共处 理器16可以被配置为根据从不同摄像机10的组合所获得的数据来计算三维位置信息。公 共处理器16可以被配置为响应于数据来计算其他图像，以在一个或多个显示屏幕(未示 出)上显示；和/或根据数据来控制致动器(未示出)。通信网络14可以是根据例如消息源和目的地的位置和/或其他消息业务量以不 可预测的可变延迟来传输消息的网络。本发明的系统对于这种不可预测的延迟对图像处理 的影响是鲁棒的。然而，应当注意到，即使通信网络14不具有不可预测延迟，也可以使用本 发明的系统。只要不知道通信网络14是否具有不可预测延迟，例如，这是由于本发明的系 统设计之后用户会任意选择通信网络14的类型，针对这种效果的鲁棒性就是令人期望的。尽管作为示例示出了具有相应摄像机控制电路12的三个摄像机10，但是应认识 到，可以使用两个或多于三个的摄像机10和摄像机控制电路12。每个摄像机10包括图像 传感器100和可控光源102，图像传感器100和可控光源102耦合至其摄像机控制电路。光 源102例如可以是LED。图la示出了摄像机10的示例正视图，其中，光源102和透镜(未 示出)用于将感兴趣区域成像到图像传感器上。在实施例中，光源102相对于透镜具有预 定、固定位置。应认识到，图1没有提供关于摄像机的实际位置和方位的信息尽管成排并定向 并行地示出了摄像机以便示意性示出该系统，但是摄像机的实际位置和方位可以不同。此 外，应认识到，一些摄像机控制电路12可以耦合至摄像机组，并且公共处理器16可以直接 耦合至一些摄像机控制电路，其间无需插入通信网络14。图2示出了摄像机配置的示例，包括指向感兴趣区域20的多个摄像机。不同摄像 机10的视场由虚线22指示。应注意，不同的摄像机10在其他摄像机10的视场中。应强 调的是，图2仅示出了配置的一个示例。可以以任何角度并在任何相对位置提供摄像机10。 同样，每个摄像机10不必使得所有其他摄像机在其视场中。每个特定摄像机10具有一个 或多个其他摄像机10的观看组，一个或多个其他摄像机10使该特定摄像机在它们的视场 中。不同摄像机10的观看组可以彼此不同，一些摄像机10可以不在其他摄像机10的观看 组中。在操作中，公共处理器16和摄像机控制电路12执行处理任务的收集。必须在特 定摄像机控制电路12处执行这些任务中的一部分，但是在其他任务可以由公共处理器16 和摄像机控制电路12中的任一个来执行的情况下，其他任务是可转移的。只要涉及这种可 转移的任务，公共处理器16和摄像机控制电路12就共同被称作处理电路。事实上，甚至可 以省略公共处理器16，所有任务可以由摄像机控制电路12来执行，或者公共处理器16可以 包括分离地耦合至通信网络14的多个子处理器。在每种情况下，摄像机控制电路12、公共
5处理器16 (如果存在)以及子处理器共同被称作处理电路。在操作中，摄像机10捕获感兴趣区域20的图像，并且通过通信网络14传输从捕 获图像获得的数据。处理电路通过通信网络14向摄像机控制电路发送命令消息，来控制光 源102发射随时间变化的光强的图案。响应于接收到的命令消息，每个摄像机控制电路12 控制与其连接的摄像机10的可控光源102的光强。可以使用具有开/关电平的图案。图3示出了根据时间的发射图案的示例。在每个图案中，光源102在开电平和关 电平之间切换，并且至少在摄像机10的视频帧周期T (两个视频场)期间保持在每个电平 处。可以使用较长最小时间间隔，例如，两个帧持续时间的时间间隔。在整个视频帧或场期 间不使光源102保持开启，因为光源102可能在短于视频帧或场的脉冲中的场周期期间临 时闪烁。连续的脉冲至少由帧或场持续时间来分开。当摄像机10在帧或场上对接收到的 光进行积分时，这对于接收而言何时使用同步的发射和接收是没有差别的，但是在非同步 发射和接收的情况下，更高的时间分辨率是可能的。此外，在操作期间，摄像机控制电路12在发射图案时确定其时钟电路120的时钟 时间值，并且通过通信网络14传输代表该时钟时间值的响应。每个摄像机10捕获包含像 素的图像，从在其视场中的那些其他摄像机10的光源接收光。此外，摄像机控制电路12捕 获至少针对包含发射图案的图像的时钟电路120的时钟时间值。这可以通过以下操作来进行捕获针对所有图像的时钟时间值，并且随后在处理 电路中检测哪些图像包含发射图案；或者首先在摄像机控制电路中检测包含发射图案的图 像，然后对检测到的图像的时钟电路120的时钟时间进行采样。对包含发射图案的图像的检测可以通过以下操作来执行检测是否存在像素位 置，在该像素位置，图案出现在连续图像序列中的像素位置的像素值中。使用针对各个单独 像素位置的检测具有可以实现最大信噪比的优点。备选地，可以通过检测在连续图像序列 中像素集合上的连续空间平均(或者空间和)中是否存在该图案来执行检测。在这种情况 下，如果在任何图像集合中检测到图案，则可以在图像中检测到该图案。整个图像可以用作 像素位置的集合或块。使用针对像素位置集合的像素值上的平均(和)具有需要较少计算 量的优点。然而，这会引起在检测期间必须解决的背景量的增加的问题，并且由于图像运动 或舍入误差可以使检测变得更困难。相应地，处理电路针对与发射图案相对应的时间变化监控图像，以检测由于图案 而引起的时间变化。当检测到这种图案时，确定图案出现时捕获图像的摄像机10的摄像机 控制电路12的时钟时间值。该时钟时间值通过通信网络14通知。这样，处理电路从多个摄像机控制电路12接收与随时间变化的光强的图案发射 时间相对应的时钟时间值，多个摄像机控制电路12包括发射图案的摄像机10中的摄像机 控制电路12和捕获图案的摄像机10中的一个或多个摄像机控制电路12。根据接收到的 信息，处理电路确定包含发射摄像机10在内的摄像机组的摄像机控制电路12与发射摄像 机10的观看组之间的相对时钟偏移。换言之，可以确定组中所有摄像机10与组中参考摄 像机的时钟偏移。这可以针对其他发射摄像机10进行重复，以获得针对其他摄像机10组 的相对偏移。当在这些组之间存在交叠时，允许链接覆盖所有摄像机10的组，这样可以定 义所有摄像机10的相对偏移。在该实施例中，使用发射图案的摄像机10的摄像机控制电路以及捕获图案的摄像机10的一个或多个摄像机控制电路12的捕获时钟时间值。备选地，可以使用这些时钟 时间值的子集，例如，仅使用捕获图案的摄像机10的时钟时间值，不使用发射摄像机10的 时钟时间值。然而，优选地，使用捕获图案的摄像机10的时钟时间值，这是由于可以利用较 少的处理来确定该时间值。此外，优选地尽可能使用来自许多摄像机10的时钟时间值，因 为这会增加不同摄像机10的覆盖。因此，即使一个摄像机10不能观看到任何其他摄像机 10，只要至少一个其他摄像机10能够观看到该摄像机10，就可以对其时钟电路进行校准。 可以选择使光源的观察方差的所有光源的和最小化的相对偏移集合。这里光源的方差是 从光源发射时摄像机“i”处的采样时钟时间ti加上摄像机“i”的偏移的平方(ti+di)2，针 对所有摄像机对平方(ti+di)2进行平均，用该平均减去(ti+di)的平均的平方所获得的差 值。这里，当选择是该和最小化的偏移di时，可以任意固定一个偏移。在实施例中，可以从不同摄像机发射随时间变化的光强的相互不同的图案，使得 通过每个图案可以区分发射该图案的摄像机10与所有其他摄像机10。在该实施例中，处理 电路针对每个图案检测在图像中是否出现图案。这允许根据捕获图像来识别发射摄像机， 从而可以利用基于图案的识别来与检测到该图案的时钟时间值进行组合。在另一实施例中，可以使用冗余图案，即使在一些图像中错误地丢失来自光源的 光，或者在一些图像中错误地检测到光，冗余图案也允许确定定时。因此，例如，光源102可 以根据一些冗余图案，在连续视频帧序列的每个视频帧期间保持开启或关闭，或者根据该 图案在所选脉冲间隔期间闪烁。例如，来自纠错码的不同码字可以用于定义不同摄像机10的光源102发射的图 案。这确保在图案之间存在足够的不同，以识别甚至在捕获图像中被破坏的图案。此外，能 够使用开发良好的纠错技术来恢复原始码字、定时信息，并且也可以识别发射摄像机10。在 这种情况下，任何形式的纠错解码可以应用于来自摄像机图像的像素值或平均，以在校正 之后检测连续帧中像素的像素值是否与特定摄像机10所使用的码字相对应。例如可以使 用维特比解码。备选地，可以激活摄像机来在良好分离的时间间隔内依次发射图案，在这种情况 下，可以根据检测到图案的时间间隔来识别摄像机。在这种情况下，不需要区分图案，使得 可以从所有摄像机发射相同图案。在这种情况下，可以使用简单图案，例如，在预定帧周期 期间开启光源102的图案。在这种情况下，可以通过在检测到图案的第一或最后视频帧的 结束时对时钟电路进行采样来确定时钟时间值。然而，同样在这种情况下，冗余图案可以用 于降低易出错性。当使用冗余图案来降低易出错性时，在图案用于区分特定摄像机10或由不同摄 像机共享的情况下，可以使用相关性来检测捕获发射的时间点。预期图案与连续捕获帧中 观察到的像素强度的相关性会获得相关峰，并且该相关峰位置处的时钟时间值可以用于表 示摄像机控制电路12的定时。许多图案适合于上述目的，并且可以使用任何已知的相关性技术。在实施例中，可 以使用随机图案。可以在运行时间选择和分配图案以用于发射和校正。可以使用预定的随 机图案。如果使用预定图案，则不需要图案的分配。当每个图案区分发射图案的特定摄像机10时，不同摄像机10可以同时或者比通 信网络14引入的延迟变化小的时间间隔发射图案。如果图案是不可区别的，则可以使用大
7于由通信网络14所引入的延迟变化的不可区分的发射之间的时间间隔，来使发射摄像机 变得可识别。然而，这意味着确定偏移比唯一信号情况下花费更多时间。一旦已经确定了不同摄像机控制电路12的时钟时间之间的偏移，就可以使用该 偏移来调整摄像机的定时。在一个实施例中，处理电路基于偏移向摄像机控制电路12发送 时钟校正数据。在该实施例中，摄像机控制电路12根据偏移改变它们的时钟时间。在备选 实施例中，时钟电路可以不受影响，可以在时钟时间值采样之后，根据偏移来校正时钟电路 的时钟时间值。因此，可以将调整后的时间值分配给从不同摄像机10获得的图像。这可以用于根 据不同摄像机10获取的对象的图像来计算对象的三维位置和/或方位。调整后的时间值 可以用于在相等的时间点选择来自不同摄像机10的图像，和/或将来自摄像机的图像的数 据插入到与由来自另一摄像机的图像定义的时间相对应的时间点。如上所述，各种任务由“处理电路”来执行，这意味着各种任务可以由摄像机控制 电路12和公共处理器16中任一个或组合来执行。因此，例如，从光源发射图案的命令可以 源自公共处理器16，并且公共处理器可以通过通信网络14将这些命令发送给摄像机控制 电路12。备选地，命令可以源自摄像机控制电路12中的一个，并通过通信网络14被发送给 摄像机控制电路12中的其他摄像机控制电路。摄像机控制电路12执行控制图案的发射、 捕获图像以及捕获时钟时间值的任务。每个摄像机控制电路12可以执行对来自该摄像机 控制电路12的摄像机10或其他摄像机10的图像的图案进行检测的任务，或者该任务可以 通过公共处理器16或通过其他摄像机控制电路12来执行。然而，利用捕获图像的摄像机 10的摄像机控制电路12来执行上述任务的优点是，可以避免通过通信网络传输图像。类似 地，随后将捕获时钟时间值与已经检测到图案的图像相关联的任务可以利用捕获图像的摄 像机10的摄像机控制电路12来执行，或者该任务可以通过公共处理器16或通过其他其他 摄像机控制电路12来执行。公共处理器16和摄像机控制电路12可以是可编程处理器，包 含执行上述任务的程序。任务的部分或全部也可以由被设计为执行任务的硬件来执行，并 且可以置于摄像机控制电路12和/或公共处理器16中。因此，例如，可以提供硬件检测电 路来检测来自模拟图像信号的图案。在实施例中，每次启动系统时，就执行对时间偏移的确定。在另一实施例中，可以 重复地(例如，周期性地)执行上述确定以更新时间偏移。除了确定不同时钟之间的时间偏移以外，或者备选地，光源102还可以用于确定 相对摄像机位置。在实施例中，处理电路(例如，摄像机控制电路12)针对许多像素位置中 的每一个检测在针对连续图像序列中的像素位置的像素值中是否出现发射图案，并且处理 电路通知所识别的源摄像机10的检测光的像素位置信息。优选地，使用强度变化的图案来 识别图案的不同源摄像机10。在这种情况下，可以与源摄像机10的识别相关联地传输像素 位置信息。备选地，如果不使用唯一图案，可以通过使用大于由通信网络14引入的延迟变 化的不可区分发射之间的时间间隔，来使源摄像机10变得可识别。然而，这意味着检测花 费更多时间。可以使用像素位置信息与针对来自多个摄像机10的相同源摄像机的源摄像机识 别的组合来确定摄像机的相对位置信息。例如，如果发现第一摄像机10来检测第二摄像机 10的光发射对，则可以确定从第一摄像机到第二摄像机的方向之间的角度，该角度确定了相对于连接第二摄像机的线而定义的二维表面上的第一摄像机的位置。该信息可以用于辅 助确定摄像机的相对位置。不发送来自摄像机控制电路12的像素位置，可以发送图像，在 这种情况下，公共处理器16可以确定位置。在另一实施例中，至少一个摄像机包括彼此不同位置处的多个光源。例如，两个光 源。在这种情况下，不同光源的检测像素位置可以用于辅助确定摄像机的相对方位。尽管已经示出了实施例，其中，光强在开电平与关电平之间变化，光强可以是光的 颜色分量的强度，但是应认识到，可以使用其他形式的调制，例如，使用多于两个强度级，或 者强度的模拟调制，或者不调制强度或除了调制强度以外，还调制发射颜色。如将认识到 的，可以使用对于摄像机10而言可检测的任何调制。所用的检测到的调制可以类似于开 启-关闭强度调制。通过对附图、公开和所附权利要求的描述，本领域技术人员在实践要求保护的本 发明时可以理解和实现所公开的实施例的其他变型。在权利要求中，词语“包括”不排除 其他元件或步骤。。单个处理器或其他单元可以完成权利要求中引述的若干项的功能。事 实仅在于，在彼此不同的从属权利要求中引述的特定手段不表示这些手段的组合不具有优 点。计算机程序可以在适合的介质上存储/分发，例如，光存储介质或与其他硬件一起提供 或者作为其他硬件的一部分的固态介质，但是也可以以其他形式分发，例如经由互联网或 其他有线或无线电信系统。权利要求中的任何附图标记不应视为限制本发明的范围。
权利要求
一种图像处理系统，包括 多个时钟电路(120)； 多个摄像机单元(10)，每个摄像机单元(10)具有来自多个时钟电路(120)的关联时钟电路(120)，每个摄像机单元(10)被配置为捕获图像，所述图像在与图像的捕获相对应的时间与从摄像机单元(10)的关联时钟电路(120)捕获的时钟时间值相关联； 可控光源(102)； 处理电路(12、16)，耦合至摄像机单元(10)和可控光源(102)，并被配置为，使可控光源(102)发射调制光、检测捕获的图像中的调制光、以及根据检测到调制光的图像的关联时钟时间值来确定时钟电路(120)彼此的相对校准。
2.根据权利要求1所述的图像处理系统，其中，可控光源(102)是摄像机单元(10)之 一的一部分，所述摄像机单元(10)被配置为在与调制光的发射相对应的时间捕获来自摄 像机单元(10)的关联时钟电路(120)的另一时钟时间值，处理电路(12、16)被配置为根据 图像的另一时钟时间值和检测到调制光的图像的关联时钟时间值的组合，来确定时钟电路 (120)彼此的相对校准。
3.根据权利要求1所述的图像处理系统，包括多个可控光源(102)，每个可控光源 (102)对于摄像机单元(10)的相应组是可见的；处理电路(12、16)被配置为使每个可控光 源(102)发射调制光、检测摄像机(10)组的捕获的图像中来自可控光源(102)的调制光、 以及根据检测到调制光的图像的关联时钟时间值来确定时钟电路(120)彼此的相对校准。
4.根据权利要求3所述的图像处理系统，其中，处理电路(12、16)被配置为使每个可控 光源(102)发射具有相应调制图案的调制光，所述相应调制图案将可控光源(102)与来自 可控光源(102)的所有其他可控光源相区分。
5.根据权利要求5所述的图像处理系统，其中，处理电路(12、16)被配置为使光源中相 应的光源的调制图案表示纠错码的相应的不同码字。
6.根据权利要求3所述的图像处理系统，其中，每个摄像机单元(10)包括摄像机和 固定附着至摄像机单元(10)的摄像机的光源(102)中相应的一个光源。
7.根据权利要求6所述的图像处理系统，其中，处理电路(12、16)被配置为，根据检测 到调制光的图像的时钟时间值与在调制摄像机单元(10)的可控光源(102)时采样的时钟 时间值的组合，来确定时钟电路彼此的相对校准。
8.根据权利要求6所述的图像处理系统，其中，处理电路(12、16)被配置为使每个可控 光源(102)发射具有相应调制图案的调制光，所述相应调制图案将光源与所有其他光源相 区分，其中，处理电路(12、16)被配置为根据检测到有区别图案的捕获图像中的位置，来校 准摄像机的相对位置。
9.一种摄像机单元，包括-时钟电路(120)；-摄像机；-可控光源(102)；-具有通信网络接口的摄像机控制电路(12)，摄像机控制电路(12)耦合至时钟电路 (120)、摄像机和可控光源(102)，摄像机控制电路(120)被配置为，控制可控光源(102)发 射调制的图案、对与发射时间相关联的时钟电路(120)的时钟时间值进行采样、对在摄像机所捕获的图像中检测到其他调制图案的时钟电路(120)的另一时钟时间值进行采样、以 及经由网络接口传输表示采样时钟时间值的信息。
10.一种操作图像处理系统的方法，所述方法包括-使可控光源(102)发射调制光；-分别从多个摄像机单元(10)捕获包含光源的图像；-分别从与捕获图像的摄像机单元(10)相关联的相应时钟电路(120)捕获与图像的捕 获相对应的时间的时钟时间值；_检测捕获图像中的调制光；-根据检测到调制光的图像的关联时钟时间值确定时钟电路(120)彼此的相对校准。
11.根据权利要求10所述的方法，包括-从多个可控光源(102)发射调制光，其中，每个可控光源(102)具有相应调制图案，所 述相应调制图案将可控光源(102)与可控光源(102)中所有其他可控光源相区分；-根据在捕获图像序列中捕获的调制光，检测可控光源(102)中识别的相应的一个可 控光源；_根据关联时钟时间值集合，确定时钟电路(120)彼此的相对校准，每个集合针对可控 光源(102)中相应的一个可控光源，所述集合针对包括针对图像的时钟时间值的每个可控 光源，其中，检测到针对可控光源的调制光。
12.—种计算机程序产品，包括指令程序，当可编程处理电路(12、16)执行所述指令程 序时，所述指令程序使处理电路(12、16)执行权利要求10的方法。
全文摘要
一种可控光源(102)被控制为发射调制光，优选地使用唯一可识别的调制图案。多个摄像机单元(10)捕获包含光源的图像。从与捕获图像的摄像机单元(10)相关联的相应时钟电路(120)捕获与图像捕获相对应的时间处的时钟时间值。在捕获图像中检测到调制光。使用检测到调制光的图像的关联时钟时间值来执行时钟电路(120)彼此的相对校准。
文档编号G01C25/00GK101981410SQ200980111415
公开日2011年2月23日 申请日期2009年4月7日 优先权日2008年4月7日
发明者亚历山大·亚历山德罗维奇·丹尼林, 阿尼巴恩·拉希里 申请人:Nxp股份有限公司