专利名称：跨感测器间的物体追踪方法与系统的制作方法
技术领域：
本发明揭露一种于感测器网络内的物体追踪(object tracking)方法与系统。
背景技术：
近年来，由计算机视觉技术辅助的自动化监控系统，扮演重要的角色。视觉监控系 统(Video Surveillance System)由分析监控画面内移动人物的行为，来侦测异常保全事 件的发生，并有效通知安全人员进行处理。视觉监控的基本议题，如背景相减、移动物体侦 测与追踪、阴影去除等已有相当多的文献与研究。高阶的事件侦测，如行为分析(behavior analysis) >it ^^IlJ (unattended object detection)(linger detection) 或拥挤侦测(jam detection)等，自动化且具有智能的行为分析预期也可能会有极大的需 求。而一个稳定的移动物体追踪技术是智能型视觉监控系统的基本组件之一。单一的感测器量测范围，例如摄影机的视野，无法完整的兼顾到所需监控的环境。 多数的摄影机所构成的摄影机网络(camera network)限于成本考量往往不具有重迭的视 野，并且当摄影机数量逐渐增多时，各摄影机间的色彩矫正与网络结构也更趋复杂。中国台 湾专利公开号200806020的文献中，揭露一种影像追踪技术，由多部预设优先权的固定式 摄影机及一部PTZ摄影机协同做对象追踪。当具有优先权的摄影机的视野侦测到移动物体 时，启动PTZ摄影机对移动物体进行追踪，使视野涵盖固定摄影机视野。另一篇中国台湾专利公开号200708102的文献中，揭露一融合多个监视摄影机的 资料来做广大面积场景的视频监视系统，而对于欲监控的场景，则提供目标地现场图、目标 地尺寸图及场地的感应器网络模型的信息。例如图1所示，这些类型的信息可储存于地 图-视野映照104、人类尺寸地图108、以及摄影机网络模型112，其可分别由地图基础校准 器102、视野基础校准器106、以及摄影机网络模型管理者110产生并管理。美国专利号7149325揭露一种协同式(cooperative)摄影机网络的架构，其记录 行人的色彩特征并存入一数据库作为人物比对辨识用，其中当人物只有在摄影机有视野重 迭的部份，才有可能完成此移动物体的追踪。另一篇美国专利号7394916揭露一种利于目 标追踪方法，针对人物出现于不同摄影机时，比较先前所有人物离开于其它场景的外貌以 及场景间的转移相似度(likelihoods of transition)，作为人物追踪与相关的依据。此转 移相似度是针对场景的蓝图、移动物体速度、以及出入口距离或交通状态，并由使用者来设 定。中国专利公开号101142593A揭露一种跟踪视频序列中的目标的方法，此方法对 于前景物出现在不同的摄影机时，所表现出的外貌特征变化进行比对，同时在比对不同前 景物时，也针对不同前景物有结合的状态时的情况，进行额外的比较的动作，由此动作来消 除因前景物有结合时，无法找出正确相对应前景物。在比较不同摄影机中的前景物时，采用 前景物的颜色分布及边缘密度信息的组合，来计算前景物间的相关程度。另一篇中国专利公开号101090485A揭露一种图像监视系统和对象区域跟踪方 法，其中的图像处理单元200的功能模块如图2所示，此单元执行图像中检测移动对象的对象区域检测处理和对象区域跟踪处理。对不同摄影机间的对象区域跟踪处理部分，此单元 使用唯一的标识信息，将当前对象区域与过去对象区域相关联。当对象区域受到遮蔽而消 失时，对象区域跟踪处理部分继续保留给予已消失的预定对象区域的标识信息，并且在此 预定对象区域再现时，将保留的标识信息赋予此预定对象区域。对于跨摄影机人物追踪则是根据物体的颜色、出现时间等特性，在训练阶段由人 工对人物进行标记，进而由训练样本找出不同摄影机间的机率分布，之后在测试阶段即可 由训练出来的机率分布，来做跨摄影机物体间的相关，以达成跨摄影机的物体追踪。

发明内容
本发明揭露的实施范例中，可提供一种跨感测器间的物体追踪方法与系统，此物 体追踪进行于一感测器网络内，此感测器网络内有多支感测器。在一实施范例中，所揭露的是一种跨感测器间的物体追踪方法，可包含一训练阶 段与一测试阶段，并且于训练阶段，通过感测器网络内的各感测器，取得多个感测器量测资 料作为训练样本；于此感测器网络内的多个感测器的量测范围内，规划至少一进出点；经 由一自动学习的方式，估测出物体关联的至少三种特征函数，包括此感测器网络内各感测 器空间相关性的函数、移动时间差的函数、以及外貌相似度的函数；以及于侦测阶段，由此 至少三种特征函数，作为物体追踪与关联性连结的准则。在另一实施范例中，所揭露的是一种跨感测器间的物体追踪系统。此系统可包 含此感测器网络内的多支感测器、一训练阶段处理模块(training-phase processing module) > —(characteristic function estimating and updating module)、 贞牛莫双(detection-phase tracking module), 其中于此感测器网络内的多个感测器的量测范围内，被规划出至少一进出点。训练阶段处 理模块通过每一感测器，取得多个感测器量测资料作为训练样本，并且对于每一感测器的 每一进出点发生的进入事件，记录先前一段时间内的所有离开事件于一训练样本空间内。 特征函数估算与更新模块由存在于训练样本空间内的样本，经由一自动学习的方式，估测 出物体关联的至少三种特征函数，包括此感测器网络内各感测器空间相关性的函数、移动 时间差的函数、以及外貌相似度的函数。侦测阶段追踪处理模块由估测出的至少三种特征 函数，作为物体追踪与关联性连结的准则。


以下配合附图、实施范例的详细说明，将上述及本发明的其它目的与优点详述于 后，其中图1是一种广面积场地基础的视频监视系统的场地模型管理者的一个范例示意 图。图2是一个范例示意图，说明一种图像监视系统的图像处理单元的功能模块。图3Α是一个摄影机网络的各摄影机的视野及进出点的一个范例示意图，与本发 明揭露的某些实施范例一致。图3Β是一个范例示意图，说明跨摄影机的物体追踪问题等同于各进出点所观测 的物体于不同时间点及不同进出点的物体相关问题，与本发明揭露的某些实施范例一致。
5
图4说明人物从进出点进入摄影机视野时，追踪此人物由何处离开的依据，与本 发明揭露的某些实施范例一致。图5是一个范例流程图，说明一种跨感测器间的物体追踪方法，与本发明揭露的 某些实施范例一致。图6A至图6C是范例示意图，说明整个训练阶段，与本发明揭露的某些实施范例一致。图7是一个方块示意图，说明递归式学习策略的设计，与本发明揭露的某些实施
范例一致。图8是一个范例流程图，详细说明递归式学习策略的步骤，与本发明揭露的某些 实施范例一致。图9A与图9B是一个范例示意图，说明一工作范例的摄影机网络内实验场景与摄 影机配置，与本发明揭露的某些实施范例一致。图10是一个范例示意图，说明图9的一个有实际对应关系的训练结果，其中图IOA 与图IOB分别是直方图Η( Δ a)与Η( Δ t)，图IOC是直方图Η( Δ t)的近似的混合高斯模型， 与本发明揭露的某些实施范例一致。图11是一个范例示意图，说明图9的一个无实际对应关系的训练结果，其中图IlA 与图1IB分别是直方图H(Aa)与H(At),图IlC是直方图H ( Δ t)的近似的模型，与本发明 揭露的某些实施范例一致。图12是一个范例示意图，说明一个找出正确相关事件的查询结果，其中图12A是 查询的人物进入事件，图12B、图12C、图12D是找出有可能相关的三个人物离开事件，与本 发明揭露的某些实施范例一致。图13是一个范例示意图，说明一个无法查询到相关事件的查询结果，其中图13A 是查询的人物进入事件，图13B与图13C是找出的两个相关度数值非常低的事件，与本发明 揭露的某些实施范例一致。图14是一种跨感测器间的物体追踪系统一个范例示意图，与本发明揭露的某些 实施范例一致。
具体实施例方式跨感测器移动物体追踪是定义在一个感测器网络，此感测器网络包含如(_1， C_2，...，C_k等k支感测器，每支感测器包含nk个进出点，举例来说，在感测器C_1的的量 测范围内，包含a_l，a_2，. . .，a_nl等nl个进出点，而感测器C_2的量测范围内，包含b_l， b_2, b_n2等n2个进出点，而进出点是指物体由这些区域出现或消失于感测器的量测 范围内。假设各感测器的量测范围内的进出点已定义好且物体于感测器的量测范围内追踪 已解决，则跨感测器的物体追踪将等同于各个进出点所观测的物体于不同时间点及不同进 出点的物体相关问题。本发明揭露的实施范例中，感测器可以是多种类别的感测器组件，例如感测器可 以是彩色摄影机，并架构一摄影机网络来追踪其间的移动物体，但不以此类感测器为限，也 可以是，如黑白摄影机、热感摄影机、红外线摄影机、麦克风、超音波、激光测距仪或体重计 等其它类别的感测器组件。
以感测器为摄影机，而其量测范围为摄影机的视野的例子来说明，假设3支摄影 机的视野分别为A、B、C。在视野A内，包含进出点Al与A2 ；在视野B内，包含进出点Bi、 B2、与B3 ；在视野C内，包含进出点Cl与C2，如图3A的范例所示。此范例中，假设各个进出 点于不同时间点共观测到14个不同的物体影像，如图3B的范例所示，其中，举例来说，物体 影像311是进入Al时出现于摄影机的视野内，物体影像312是离开Al时消失于摄影机的 视野内；物体影像321是进入Bl时出现于摄影机的视野内，物体影像322是离开B3时消失 于摄影机的视野内；物体影像331是进入Cl时出现于摄影机的视野内。而跨摄影机的物体 追踪将等同于如何正确的建立物体影像312与321的虚线连结310，以及物体影像322与 331的虚线连结320。以此类推，正确的建立所有物体影像的虚线连结即可完成跨摄影机间 的物体追踪。以人物为例，若以0_i_p表示于进出点i观察到一行人p，可由外貌特征0_i_p(a) 以及人物离开一进出点后进入另一进出点的时间差作为特征0_i_p(t)，来做为人物相关依 据，以完成对象追踪。更进一步，可定义一动量事件M ((i，j)，(p，q))，表示人物ρ于进出点 i离开一摄影机视野及人物q于进出点j进入一摄影机视野，若该此进出人物为同一行人， 则 P = q。如此一来，此人物相关问题即可以表示如条件机率P (M((i，j), (p，q)) 0_i_p, 0_ j_q)，此机率值为给定观察值(0_i_p，0_j_q)的条件情况下，人物ρ与q属于同一个人且 从进出点i移动到进出点j的机率为何，其中i与j分别属于不同摄影机。因此，若观察到 一行人q于时间t进入一进出点j，且介于时间间隔(t_t_Max)间存在一事件集合E= {0_ il_pl，0i2_p2, ...}发生于非j的进出点，这里的t_Max代表为此摄影机网络移动于任意 两个进出口所需的最大时间，则由下列式(1)找到q的最大可能相关事件，即可完成人物的 跨摄影机追踪二 argmaxP (M((i，j),(p,q)) | 0_i_j),0J_q),V0_i_j) e E ^^如前述提及，针对每一个观察(即移动人物)，可计算其于不同摄影机取样到的外 貌特征差Aa，以及人物跨摄影机的移动时间差At作为特征，并假设移动人物于此摄影 机网络内移动时的外貌变化不大，且多数人的移动速度大致相同，此假设于多数场景皆为 合理假设，如此一来，则式(1)的P(M((i，j), (p，q)) 0」_p，0_j_q)可由贝氏规则(Bayes rule)改写如下列公式P(Mailj),(p,q))|OJ_p,Oj q)=P(OJ^OJ_q IM((U)iCpjq))^
_ P(Aa(p;q) I M((iJ);(p;q)))P(At(p,q)丨 M((i,j),(p,q)))P(M((U)，(P,q)))
P(0—i_p,0 丄 q)- cP(Aa(p,q) | M((i, j)，(p，q)))P(At(p’q) ] M((i, j)，(p,q)))P(M((i, j)，(p,q)))因为P(0_i_p，0_j_q)可以一均勻分布(uniform distribution)近似，故以 c 为 一常数值取代，同样的，P(M(i，j)，(p，q))亦正比于P(M(i，j))，所以式(1)可改写为O—i_p = argmaxP(Aa(p,q) | M((i, j),(p,q)))P(At(p,q) | M((iJ),(p,q)))P(M(i, j)),vo_i_Pe E⑵以人物为例，式(2)的函意也就是说，当一人物q从一进出点进入一摄影机视野
7时，其是由何处离开？此人物q追踪的依据如下可往前追朔时间ΔΤ内的所有离开各摄影 机视野的人物，最大化式(2)与 P(Aa(p，q) |M((i，j)，(p，q)))、P ( Δ t (p，q) |M((i，j)，(p， q)))以及P(M(i，j))正相关，也就是正相关于外貌相似度、移动时间差以及摄影机空间相 关性等特征，这些特征可用机率函数来估算。以图3A的摄影机网络3支摄影机的视野及其 进出点为例，图4说明某一人物从进出点A2进入摄影机视野时，追踪此人物由何处离开的 依据，与本发明揭露的某些实施范例一致。图4的范例中，假设某一人物于时刻t从进出点A2进入摄影机视野，并取得此进 入事件的摄影机影像，即摄影机取样401，则可往前追朔时间ΔΤ内的所有离开各摄影机视 野的人物，也就是在时间区间(t-ΔΤ，t)内的所有离开各摄影机视野的人物。假设找出三 个离开事件的摄影机取样411-413，分别为时刻tl、t2、t3时，从进出点B2、B3、Cl离开，其 中从进出点B2、B3、C1离开的相关度结果分别为P1、P2、P3。则相关度Pl正相关于摄影机 取样411的外貌相似度、摄影机空间相关性M(A2，B2)、移动时间差(t_tl)；相关度P2正相 关于摄影机取样412的外貌相似度、摄影机空间相关性M(A2，B3)、移动时间差(t_t2)；相 关度P3正相关于摄影机取样413的外貌相似度、摄影机空间相关性M(A2，C1)、移动时间差 (t-t3)。可从P1、P2、P3中，选择最高相似度的人物离开事件为正确相关事件。本发明揭露旨在一无共量测范围的感测器网络内进行物体的追踪，不需感测器 架设的场景蓝图信息，且事前学习过程不需操作员的介入，由大量的资料并利用机器学 习与统计的特点，来自动学习出上式(2)中的P(Aa(p，q)|M((i，j)，(ρ, q)))、P(At(p， q) |M((i，j), (p，q)))与P(M(i，j))，也就是外貌相似度、移动时间差以及感测器空间相关 性等特征。本发明揭露提出一种自动学习的方式来估算出所需的机率函数，此自动学习的 方式不须限定出现于训练资料的样本数，也无需手动标示相关人物，可以是一种递归式训 练方法，将再详细说明。将训练资料依其进出点关系配置到训练样本空间后，由量测移动物体的外貌与时 间等特征，自动估测出各摄影机的空间相关性、离开与进入点的时间差分布以及物体外貌 的色彩差异分布，以此作为物体追踪的依据。依此，本发明揭露的感测器机间的物体追踪技 术可分为训练阶段与侦测阶段来实施。图5是一个范例流程图，说明一种跨感测器间的物 体追踪方法，与本发明揭露的某些实施范例一致。于训练阶段，通过摄影机网络内的各感测器，取得多个感测器量测资料作为训练 样本，如步骤510所示。于此感测器网络内的多个感测器的量测范围内，规划至少一进出 点，如步骤520所示。经由一自动学习的方式，估测出物体关联的至少三种特征函数，包括 此感测器网络内各感测器空间相关性的函数、物体进出不同感测器量测范围的时间差的函 数、以及物体外貌的相似度差的函数，如步骤530所示。于侦测阶段，由此至少三种特征函 数，作为物体追踪与关联性连结的准则，如步骤540所示。如上述提及，此自动学习的方式例如可以是一种递归式学习策略。以下搭配图6A 至图6C的范例示意图来说明整个训练阶段，与本发明揭露的某些实施范例一致。首先，可在一存储器内配置一 nXn的训练样本空间，η代表整个感测器网络内所 有进出点的总个数。此空间的每一个字段用来存所有两相关的进出事件，此空间例如可用 一 nXn矩阵来表示，其中，此nXn矩阵的字段(d，b)表示当观察到一物体进入进出点d的 事件时，其过去在一特定时间周期内的所有离开进出点b的事件。举例来说，若在时间t时存在一进入事件q于进出点d，回朔过去时间间隔t_Max，亦即在时间(t-t_Max，t)间，若存 在一离开事件于不同感测器的其它进出点例如b，则将此事件搜集起来并放置于训练样本 空间的(d，b)位置，亦即字段(d，b)。也就是说，此样本空间的每一字段存在着感测器空间 相关性。以感测器为摄影机，而其量测范围为摄影机的视野的例子来说明。图6A是一个范 例示意图，说明如何配置一个7X7训练样本空间，此训练样本空间是以一个7X7矩阵630 来表示，与本发明揭露的某些实施范例一致。其中，整个摄影机网络内3支摄影机的视野 分别为A、B、C，共有7个进出点。在视野A内，包含进出点Al与A2;在视野B内，包含进出 点B1、B2、与B3 ；在视野C内，包含进出点Cl与C2。其中，假设所有训练样本资料610包含
多个物体影像，例如物体影像1、物体影像2.....物体影像3、...等，从所有训练样本资料
610中，例如表格615列出所有进入A2的样本资料(例如物体影像1、物体影像5、...等) 以及所有离开B2的样本资料(例如物体影像6、物体影像7、物体影像10、...等)，而矩阵 630的字段(A2，B2)表示当观察到一物体进入A2的事件时，在过去一特定时间周期Δ T内 的所有离开Β2的事件，例如，(物体影像1，物体影像6)、(物体影像1，物体影像7)、(物体 影像1，物体影像6)、...等，以标号620表示。可以看出，矩阵630的每一字段存在着此3 支摄影机的进出点之间的相关性。当处理完所有训练样本资料后，存放于位置(d，b)的事件，即用来训练对应的机 率分布函数P(Aa|M(b，d))、P(At|M(b，d))与P(M(b，d))。很明显地，若两进出点存在连 结且物体移动所需的时间小则正确的进出相关事件必会选与此进出点有关的事 件集合内，但同样地，错误的进出相关事件也被选进该集合，因此，接下来可由反复一种递 归的方式，将低信赖度的事件逐一筛检出，并只保留正确的相关事件。再由样本空间里被保 留下来的正确事件，成功估算出所需的对应的机率分布函数。本发明揭露的范例是针对每一个字段，将外貌特征差以及人物跨感测器的移动时 间差当作特征并做直方图统计。例如，第一步骤为，在每一个可能存在的连结中，先由外貌 相似度的统计分布开始，去除离群值；第二步骤为，由外貌相似度较高的资料中，去找出时 间间隔较明显的资料；前述两步骤重复多次之后，若连结确实存在，则可以找出外貌相似度 差及时间间隔收敛的分布。以字段(A2，B2)与字段(A2，C2)为例，图6B的范例是将外貌特征差当作特征所做 的直方图统计，横轴代表外貌相似度ΔΑ，纵轴代表外貌相似度ΔΑ的统计分布，即Η(ΔΑ)。 并去除离群值，也就是说，筛选掉少部分潜在的粗差(outliers)，即该直方图最右侧的资 料。图6C的范例是从留下来相似度较高的资料中，找出时间间隔更为明显的资料，将物体 跨感测器的移动时间差当作特征所做的直方图统计，横轴代表移动时间差At，纵轴代表直 方图统计即H(At)。以符号χ表示去除此数据。此两直方图H ( Δ A)与H ( Δ t)可以藉由一混合高斯模型(MixtureGaussian Models)去近似。在直方图Η(ΔΑ)中，可以预期的必存在一拥有较小的平均值及变异数的 高斯与其它拥有较大的平均值与变异数的高斯值，理由在于移动物体外貌的一致性，使得 正确的匹配造成外貌相似度Δ A较小，即对应到拥有较小的平均值及变异数的高斯值，同 样的，拥有较大的平均值与变异数的高斯值则对应到样本的粗差，则是需要更进一步去删 除的部份。
9
同样的道理，若两进出点存在实体空间上的连结，则在直方图H(At)中必存在一 变异数较小的高斯对应到正确的样本，其平均值表示了一个人物由跨越此两进出点所需的 移动时间，而变异数较大的高斯值则对应到样本的粗差。反之，任意两进出点也有极高的机 率不存在空间上的连结，此时Η(ΔΑ)与H(At)的分布应较为随机，呈现均勻分布，而P(M) 则趋近于0。由于连接进出点的特征相似度函数具有以上的特性，所以可由反复的递归来筛 选出最后正确的样本。首先，将所有可能样本统计做出直方图Η(ΔΑ)与H(At)，针对于 Η(ΔΑ)，筛选掉少部分潜在的粗差，即该直方图最右侧的资料，并同时更新并观察H(At) 中的高斯是否有集中的趋势，如果有，则继续筛检Η(ΔΑ)并更新H(At)的数据直到相似度 分布函数收敛；反之，若无集中的趋势，且P(M)相对于其它组合来的小，表示此两进出点无 实体空间上的连结。图7是一个方块示意图，说明递归式学习策略的设计，与本发明揭露的某些实施 范例一致。参考图7，首先，对于所有两进出点d和b，也就是ηΧη矩阵的所有字段(d，b)，根 据前述图6A的范例说明，搜集所有可能的对应离开事件，以建立事件池(event pool)710。 由事件池710，估计与更新外貌相似度差机率函数P ( Δ A)与移动时间差机率函数P ( Δ t)， 其中，外貌相似度差机率函数的估计与更新包括估计Ρ(ΔΑ)、资料修剪(datatrimming)、 以及更新Ρ(ΔΑ)，此资料训练中会由一混合高斯模型Gl(AA)去近似相似度差机率函数 Ρ(ΔΑ)与移除外围粗差的资料；移动时间差机率函数的估计与更新包括估计Ρ(ΔΤ)、资料 修剪、以及更新Ρ(ΔΤ)，此资料修剪中会由另一混合高斯模型G2(AT)去近似移动时间差 机率函数Ρ(ΔΤ)与移除没有集中趋势的资料。更新P(At)后，会再判断移动时间差机率函数Ρ( Δ Τ)是否收敛，非收敛时，则返 回事件池710并继续进行估计与更新外貌相似度差机率函数Ρ( Δ Α)与移动时间差机率函 数Ρ(ΔΤ)；收敛时，则结束。移除外围粗差的资料可根据条件机率函数P(AAlGl)是否小 于-预定值Kl来决定。移除没有集中趋势的资料也可根据条件机率函数Ρ( Δ T |G2)是否 小于一预定值K2来决定。而移动时间差机率函数Ρ(ΔΤ)的收敛条件例如是，被移除事件 的个数(number of removed events)小于-预定数目K3。Κ1、Κ2值设定越大，资料被删除 的比率越高，也越快达到收敛条件，然而设定太高也可能删除过多资料；Κ3设定越大则越 容易满足收敛条件，但可能遗留许多无实体连结的事件。Κ1、Κ2、Κ3可依实际应用环境与需 求来设定，例如可以设定为实验的经验值。承上述，图8是一个范例流程图，说明递归式学习策略的步骤，与本发明揭露的某 些实施范例一致。参考图8，对于各感测器的每一进出点发生的进入事件，记录先前一段时 间内的所有离开事件于一训练样本空间内，如步骤810所示。由存在于此训练样本空间内 的样本，估计进出点相关性机率函数、移动时间差机率函数、以及外貌相似度差机率函数， 如步骤820所示。观察外貌相似度差机率函数，将统计上属于外围粗差的资料移除，如步骤 830所示。由留下来的资料更新移动时间差机率函数及外貌相似度差机率函数，如步骤840 所示。重复步骤830与840直到移动时间差机率函数收敛为止，如步骤850所示。步骤830中，可由一混合高斯模型去近似外貌相似度差机率函数。步骤840中，在 更新移动时间差机率函数之前，可先由另一混合高斯模型去近似移动时间差机率函数并观 察是否移除没有集中趋势的资料。步骤850中，移动时间差机率函数收敛与否，例如可视被移除事件的数目是否小于一预定数目来决定。步骤850之后，所剩事件的资料可用来估算 出进出点相关性机率函数。以下以感测器是摄影机的一个工作范例来说明在一摄影机网络内，进行本发明揭 露的感测器间的物体追踪方法。此摄影机网络内的实验场景与摄影机配置如图9A与图9B 的范例所示，图9A的实验场景的环境设定为一办公室区域，并安装四台不具重迭视野，即 四个虚线区，的摄影机A、B、C与D。其中，图9B的范例是摄影机A的视野910内有一进出 点al，摄影机B的视野920内有三个进出点bl、b2、b3，摄影机C的视野930内有两个进出 点cl、c2，摄影机D的视野内940有两个进出点dl、d2。在此实验场景中，本发明揭露使用一段影片，前7分钟的部分做为训练阶段，后一 分钟做为侦测阶段。在训练阶段中，预估每一个进出点之间的外貌变化及时间差。在侦测 阶段中，以一个人物进入的事件查询时，与此进入事件有较高相似度的人物离开事件将被 列出。所有的人物离开事件是发生在(t-t_Max，t)时段中，t是指人物进入的时间点。举例来说，考虑进出点为图9B中al与图9B中bl的相关性，根据此实验结果，经 过六次递归后，得到有实际对应关系的训练结果，如图10的范例所示，其中图IOA与图IOB 分别是直方图Η( Δ A)与Η( Δ t)，图IOC是直方图Η( Δ t)的近似的混合高斯模型；图IOA的 横轴为事件中进出人物的相似度，越接近0相似度越高；图IOB及图IOC的横轴为事件中进 出人物的时间度，单位为秒；图10的纵轴均代表事件数量。无实际对应关系的训练结果，如图11的范例所示。图9B中cl与图9B中dl此两 进出点有极高的机率不存在空间上的连结，此时H(Aa)与H(At)的分布应较为随机，分别 如图IlA与图IlB的范例所示。呈现均勻分布，其近似机率模型如图IlC的范例所示。而 P(M)则趋近于0。在侦测阶段中，以一物体(例如人物)进入的事件查询时，结果大致可分为二种， 一种是最高相似度的人物离开事件为正确相关事件，另一种是没有查询到任何相关的离开 事件。图12的范例表示一个找出正确相关事件的查询结果。其中图12A是查询的人物进入 事件(进入b2)的摄影机影像，图12B、图12C、图12D是找出有可能相关的三个人物离开事 件的摄影机影像，分别为离开al、c2、d2。其中，图12B、图12C、图12D的相关度结果可由公 式(2)计算，即 P(Aa(p，q) |M((i，j)，(p，q)))、P ( Δ t (p，q) |M((i，j)，(p，q)))与 P(M(i， j))的连乘积，分别为0. 2609,2. 82*10-100及2. 77*10-229，图12B中的离开人物与查询的 进入人物为同一人，表示正确的事件其相关度明显较其它非相关事件高，查询的结果正确。 也就是说，物体追踪与关联性的准则正相关于前述的外貌相似度、移动时间差以及摄影机 空间相关性，亦即如公式(2)的准则。图13的范例是查询一个进入人物后，无法查询到相关的离开人物。其中图13A是 查询的人物进入事件，由于没有真正相关的离开事件存在，因此找出的两个相关事件，即图 13B与图13C，其相关度分别为7. 86*10-4与3. 83*10-138，相关度数值相对地非常低。本发明揭露的实施范例除了实施于上述的彩色摄影机网络，也可实施于其它类别 的感测器网络架构，例如黑白摄影机、热感摄影机、红外线摄影机、麦克风、超音波、激光测 距仪或体重计等感测器网络架构。例如，将此类别的各感测器的量测数据萃取出具有物体 区别性的特征，来替换由彩色摄影机取得的外貌特征，即可成功替换。举例来说，当感测器 为黑白摄影机或红外线摄影机时，其外貌特征可为移动物体的材质(texture)或灰阶强度(gray intensity)分布；若为热感摄影机时，则外貌特征可选用物体温度值或其温度分布； 若由麦克风取得信息，则特征可为不同物体所发出的音频或音色；若为超音波、激光测距仪 或体重计等，可由其量测移动物体的身高或体重来作为外貌特征。上述跨感测器间的物体追踪方法可用一物体追踪系统来执行，并进行于一摄影机 网络内，图14是此物体追踪系统一个范例示意图，与本发明揭露的某些实施范例一致。图 14的范例中，物体追踪系统1400可包含此感测器网络内的m支感测器、一训练阶段处理模 块1410、一特征函数估算与更新模块1420、以及一侦测阶段追踪处理模块1430。其中，m支 感测器以感测器1至感测器m来表示，m ^ 2，每一支感测器j的量测范围内，被规划出至少 一进出点，1 < j < m。训练阶段处理模块1410通过每一支感测器j，取得多个感测器量测资料作为训练 样本，并且对于每一支感测器j的每一进出点发生的进入事件，记录先前一段时间内的所 有离开事件于一训练样本空间1410a内。特征函数估算与更新模块1420由存在于训练样本 空间1410a内的样本，经由一自动学习的方式，估测出物体关联的至少三种特征函数，包括 感测器空间相关性的函数1421、移动时间差的函数1422、以及外貌相似度的函数1423。侦 测阶段追踪处理模块1430由估测出的至少三种特征函数，作为物体追踪与关联性的准则。此多支感测器可被设置在一无共量测范围的感测器网络内。假设m支感测器的量 测范围内，一共被规划出η个进出点，则可于一存储器内配置一 nXn的训练样本空间。如 前所述，此训练样本空间例如可用一 ηΧη矩阵来表示，其中，此ηΧη矩阵的字段(d，b)表 示当观察到一物体进入进出点d的事件时，其过去在一特定时间周期内的所有离开进出点 b的事件。而前述三种特征函数可用上述机率函数来估算。综上所述，本发明揭露的实施范例可提供一种跨感测器间的物体追踪方法与系 统，此物体追踪可进行于一无共量测范围的感测器网络内，本发明揭露的实施范例在于无 需了解感测器架设的场景蓝图，且事前学习过程亦无需任何操作员的介入，由量测移动物 体的外貌与时间等特征，利用机器学习与统计的特点，观察大量的样本并自动估测出各摄 影机的空间相关性、离开与进入点的时间差分布以及物体外貌的色彩差异分布，以此作为 物体追踪的依据。感测器可以是多种类别的感测器组件，例如感测器可以是彩色摄影机，并架构一 摄影机网络来追踪其间的移动物体，也可以是，如黑白摄影机、热感摄影机、红外线摄影机、 麦克风、超音波、激光测距仪或体重计等其它类别的感测器组件。以上所述的仅为本发明揭露的实施范例，当不能依此限定本发明实施的范围。即 凡是本发明申请专利范围所作的均等变化与修饰，皆应仍属本发明权利要求涵盖的范围。
权利要求
1.一种跨感测器间的物体追踪方法，进行于一感测器网络内，该感测器网络包含多支 感测器，该方法分为一训练阶段与一侦测阶段，并包含于该训练阶段，通过该多支感测器的各感测器，取得多个感测器量测资料作为训练样本；于该各感测器的量测范围内，规划至少一进出点；经由一自动学习的方式，估测出物体关联的至少三种特征函数，包括感测器空间相关 性的函数、移动时间差的函数、以及外貌相似度的函数；以及于该侦测阶段，由该至少三种特征函数，作为物体追踪与关联性连结的准则。
2.如权利要求1所述的跨感测器间的物体追踪方法，其中该自动学习的方式是一种递 归式学习策略。
3.如权利要求1所述的跨感测器间的物体追踪方法，其中该感测器空间相关性是该多 支感测器间的不同进出点的相关性，该移动时间差是物体进出该多支感测器的不同感测器 视野的时间差，该外貌相似度是物体外貌的相似度差。
4.如权利要求1所述的跨感测器间的物体追踪方法，其中该至少三种特征函数皆以机 率函数来估算。
5.如权利要求2所述的跨感测器间的物体追踪方法，其中该递归式学习策略还包括(a)对于各感测器的每一进出点发生的进入事件，记录先前一段时间内的所有离开事 件于一训练样本空间内；(b)由存在于该训练样本空间内的样本，估计一进出点相关性机率函数、一移动时间差 机率函数、以及一外貌相似度差机率函数；(c)观察该外貌相似度差机率函数，将统计上属于外围粗差的资料移除；(d)由留下来的资料更新该移动时间差机率函数及该外貌相似度差机率函数；重复步骤(c)与(d)直到该移动时间差机率函数收敛为止。
6.如权利要求5所述的跨感测器间的物体追踪方法，其中由一混合高斯模型去近似该 外貌相似度差机率函数。
7.如权利要求5所述的跨感测器间的物体追踪方法，其中更新该移动时间差机率函数 之前，由另一混合高斯模型去近似该移动时间差机率函数并观察是否移除没有集中趋势的 资料。
8.如权利要求5所述的跨感测器间的物体追踪方法，其中移除该外围粗差的资料是根 据该外貌相似度差机率函数的函数值是否小于一预定值来决定。
9.如权利要求7所述的跨感测器间的物体追踪方法，其中当该移动时间差机率函数的 函数值小于另一预定数时，移除该没有集中趋势的资料。
10.如权利要求5所述的跨感测器间的物体追踪方法，其中该训练样本空间用一nXn 矩阵来表示，η为该多支感测器的量测范围内进出点的总个数，该矩阵的每一个字段(d、b) 存所有两相关的进出事件，表示当观察到一物体进入进出点d时，在过去一特定时间周期 内的所有离开进出点b的事件。
11.如权利要求3所述的跨感测器间的物体追踪方法，其中该物体追踪与关联性的准 则正相关于该外貌相似度、该移动时间差以及该感测器空间相关性。
12.如权利要求5所述的跨感测器间的物体追踪方法，其中该移动时间差机率函数的收敛视被移除事件的个数是否小于一预定数目来决定。
13.如权利要求12所述的跨感测器间的物体追踪方法，其中所剩事件的资料用来估算 该进出点相关性机率函数。
14.一种跨感测器间的物体追踪系统，该系统包含多支感测器，每一支感测器的量测范围内被规划出至少一进出点；一训练阶段处理模块，通过该多支感测器的每一支感测器，取得多个感测器量测资料 作为训练样本，并且对于每一支感测器的每一进出点发生的进入事件，记录先前一段时间 内的所有离开事件于一训练样本空间内；一特征函数估算与更新模块，由存在于该训练样本空间内的样本，经由一自动学习的 方式，估测出物体关联的至少三种特征函数，包括感测器空间相关性的函数、移动时间差的 函数、以及外貌相似度的函数；以及一侦测阶段追踪处理模块，由估测出的该至少三种特征函数，作为物体追踪与关联性 连结的准则。
15.如权利要求14所述的跨感测器间的物体追踪系统，其中该训练阶段处理模块备有 一存储器，并且该训练样本空间是配置在该存储器内。
16.如权利要求15所述的跨感测器间的物体追踪系统，其中该训练样本空间用一nXn 矩阵来表示，η为该多支感测器的量测范围内进出点的总个数，该矩阵的每一个字段(d、b) 存所有两相关的进出事件，表示当观察到一物体进入进出点d时，在过去一特定时间周期 内的所有离开进出点b的事件。
17.如权利要求15所述的跨感测器间的物体追踪系统，其中该多支感测器被设置在一 无共量测范围的感测器网络内。
18.如权利要求14所述的跨感测器间的物体追踪系统，其中该多支感测器选自彩色摄 影机、黑白摄影机、热感摄影机、红外线摄影机、麦克风、超音波、激光测距仪或体重计的上 述至少一种类别的感测器组件。
全文摘要
一种跨感测器间的物体追踪方法，进行于一感测器网络内，此方法可包含一训练阶段与一侦测阶段。于训练阶段时，通过此感测器网络内的各感测器，取得多个感测器量测资料作为训练样本，于此感测器网络内的多个感测器的量测范围内，规划至少一进出点，并经由一自动学习的方式，估测出物体关联的至少三种特征函数，包括此感测器网络内各感测器空间相关性的函数、移动时间差的函数、以及外貌相似度的函数；于侦测阶段时，由此至少三种特征函数，作为物体追踪与关联性连结的准则。
文档编号G01C11/00GK102116621SQ20101000210
公开日2011年7月6日 申请日期2010年1月5日 优先权日2010年1月5日
发明者吴瑞成, 周正全, 黄钟贤 申请人:财团法人工业技术研究院