专利名称：一种基于立体视觉的行李信息在线获取系统及其方法
技术领域：
本发明属于立体图像的采集与处理技术领域，具体地说涉及一种基于立体视觉的行李信息在线获取系统及其方法。
背景技术：
随着世界各国航空客运市场的快速发展，乘坐飞机来往于各地的旅客人数在不断 增多。然而，受机场、行李装卸、分检设备、人员素质、甚至天气等多种不确定因素的影响，航 班行李发生不正常运输的事故越来越多。对于这些不正常运输的行李，在1980年以前，世界各国航空公司基本上是采用电 传(TTY)的方式相互查询。在各国航空公司的呼吁和期待下，1980年、1984年、1989年相 继出现了第一代行李查询BAGTRAC系统(BAGGAGE TRACING SYSTEM，缩写为BT)、第一代行 李查询管理系统BAHAMAS (BAGGAGE HANDLING MANAGEMENT,缩写为BM)、以及基于上述BT禾口 BM两套系统的世界行李查询系统W0RLDTRACER。世界行李查询系统WORLD TRACER充分利 用了现代化的信息管理方式，对世界上加入这套系统的航空公司，实现了事故行李的自动 核对查找、实时监控和系统管理。这套系统的主机备份在美国亚特兰大的数据处理中心，由 各国航空公司采用租借的形式交费使用。受高昂的费用、无中文功能等因素影响，目前我国仅有国航、东航、南航和厦航等 少数几家航空公司的部分有国际运输的航站使用这套“环球行李查询系统”，相互间还做不 到行李信息资源的完全共享。我国各航空公司独立处理不正常运输的行李，对事故行李缺乏有效沟通，使得行 李运输的事故率居高不下，旅客的行李投诉率也逐年攀升，增加了承运人的运营成本，极大 影响了承运人的信誉。虽然国内有个别航空公司，如南航，对外公布开发了一套用于行李查 询、能与互联网相衔接的，具有中文功能的行李查询系统，但这套系统因为仅限于本航空公 司内部使用，而且使用的航站少，还没有充分发挥出其应有的作用。对于不正常运输的行 李，当前国内大多数机场主要依赖于行李处理人员通过目测方法获得行李的基本信息，人 工登记行李基本情况表。随着行李不正常运输事故的日益增多，这种重复、低效的全人工处 理方式，严重影响了事故行李处理的效率，也给事故行李处理人员带来了繁重的工作量。对 于我国这样一个航空运输业快速发展的大国，当前不正常运输行李的查询现状与我国民航 运输的发展极不和谐。为了从根本上解决事故行李的查找问题，应该利用现代高科技，研发我国自己的、 性价比高、具有中文功能的“行李查询系统”，将各地航站的行李信息互通互联，进而使出现 行李运输事故的旅客，能够通过互联网，方便地查阅和调取自己行李的信息。这不仅能提高 事故行李的查找率，还能减轻行李查询工作人员的负担，更方便旅客。如何实现机场事故行李的自动统计与查询，而且能最大限度地保持现行的机场行 李运行机制，成为广大机场和航空公司高度关注的问题。其中，行李尺寸和颜色是事故行李 查询的重要指标和重要依据，因此，行李尺寸和颜色等信息的自动获取对于行李的信息统计与有效查询具有非常重要的意义。利用计算机视觉和图像处理技术来获得行李的尺寸和颜色等信息，具有成本低、 非接触、在线和自动测量的特点，不仅可用于机场行李的测量，也可用于火车站、长途汽车 站等行李的测量。目前，虽然立体视觉已经在很多领域得到了应用，但是还未曾出现基于立 体视觉的行李信息在线获取系统。

发明内容
本发明的目的在于提供一种基于立体视觉的行李信息在线获取系统与方法，利用 计算机视觉和图像处理技术，实现行李尺寸与颜色信息的低成本、非接触、自动、在线获取。为了实现本发明的目的，本发明的第一方面是提供一种基于立体视觉的行李信息 在线获取系统，该系统的技术方案包括图像采集工作台，图像采集部、图像处理模块和服 务器，其中图像采集工作台内安装图像采集部；图像采集部在线、非接触获取行李经过图 像采集工作台时的立体像对；图像处理模块与图像采集部连接，图像处理模块进行两方面 的处理一是对图像采集部获取的立体像对进行特征提取与匹配处理，重构出行李表面的 三维深度信息，在此基础上计算行李的长、宽、高尺寸，另一方面是对图像采集部采集的行 李图像进行颜色空间变换，提取行李的颜色特征，并对颜色特征进行分类，得到行李颜色信 息；服务器与图像处理模块连接，负责接收图像处理模块得到的行李尺寸和颜色信息，以及 行李的立体像对，为行李管理人员和旅客提供行李信息的查询服务。其中，所述图像采集部包括位于图像采集工作台内的立体彩色摄像机、照明装 置、行李检测仪及行李传送装置；立体彩色摄像机嵌在图像采集工作台的内顶面上，由多个 彩色摄像机组成；照明装置安装于图像采集工作台的内顶面或内侧面上，照明装置发射出 的光束照射到行李上，用于为立体彩色摄像机成像提供照明，以便立体彩色摄像机获取清 晰的行李图像；行李传送装置水平放置，其上放置行李，用于水平运送行李；行李检测仪安 装于图像采集工作台的内侧面，位于图像采集工作台内侧面的中间偏下方的位置，用于检 测行李传送装置上是否有行李出现；当行李检测仪检测到有行李时，触发立体彩色摄像机 采集行李的立体像对。其中，所述立体彩色摄像机，在该基于立体视觉的行李信息在线获取系统开启后， 始终处于工作状态；当有行李经过行李检测仪时，行李检测仪检测到有行李出现，产生开关 控制信号；该开关控制信号送给立体彩色摄像机，触发立体彩色摄像机将各个彩色摄像机 获取的行李图像传输到行李处理模块；在此过程中，每个彩色摄像机输出一幅行李图像； 设立体彩色摄像机由N个彩色摄像机组成，则这N个彩色摄像机总共可输出N幅行李图像， 这N幅关于同一行李的图像共同构成该行李的立体像对；在立体彩色摄像机工作前，需要 先对立体彩色摄像机进行标定，获得立体彩色摄像机的内外参数，用于计算行李表面的三 维深度信息。其中，所述服务器上安装有上网装置，并与Internet网络连接。为了实现本发明的目的，本发明的第二方面是提供一种利用行李信息在线获取系统的行李信息在线获取方法，该方法包括步骤如下步骤Sl 行李传送装置在水平方向作勻速运动，若行李传送装置有行李出现时， 行李随着行李传送装置一起相对于地面作水平勻速运动；位于图像采集工作台内的行李检测仪始终在检测是否有行李经过，同时立体彩色摄像机中的多个彩色摄像机也始终在以一 定的帧率采集图像；当有行李经过行李检测仪时，行李检测仪检测到行李而输出开关控制 信号，该开关控制信号触发立体彩色摄像机将多个彩色摄像机采集的行李图像进行一次输 出并送给图像处理模块，即每个彩色摄像机输出一幅图像，若立体彩色摄像机由N个彩色 摄像机组成，则送给图像处理模块的图像总共为N幅，这N幅关于同一行李的图像共同构成 该行李的立体像对；行李的立体像对获取工作完成后，则执行步骤S2 ；步骤S2 图像处理模块对立体彩色摄像机获取的行李立体像对中的多幅行李图像分别进行特征提取，得到特征基元，然后对来自不同图像的特征基元进行匹配，得到不同 图像之间相对应的特征基元；步骤S3 根据匹配的特征基元，再结合已标定好的立体彩色摄像机的内外参数，利用双目立体视觉原理，重构行李表面的三维深度信息；步骤S4 将行李表面的三维深度信息生成一幅灰度图像，该图像的像素坐标反映 的是行李表面不同部位的位置，图像的灰度反映的是像素坐标所对应的行李表面位置处的 深度信息，像素的灰度值越大表示该像素所对应位置处的深度值越大，像素灰度值越小则 对应的深度值越小；从该幅反映行李表面三维深度信息的灰度图像中分割出行李区域，找 到行李区域的最小外接矩形，从而得到行李的长度和宽度；利用行李表面的三维深度信息，再结合立体彩色摄像机距行李传送装置的高度信 息，计算得到行李的高度；再根据行李的长、宽、高，生成行李的尺寸信息；步骤S5 对立体彩色摄像机获取的行李图像进行颜色空间变换，将原来由三基色 (RGB)颜色空间表示的行李图像转换到色调、饱和度和亮度(HIS)颜色空间，提取行李的主 色调颜色特征，并根据预先设定好的颜色类对行李的颜色特征进行分类，得到行李的颜色 fn息；步骤S6 图像处理模块将行李的长、宽、高尺寸和颜色信息，送到服务器进行保 存，以便行李管理人员和旅客查询。其中，所述立体彩色摄像机，在该基于立体视觉的行李信息在线获取系统开启后， 始终处于工作状态；组成立体彩色摄像机的多个彩色摄像机以一定的帧率不断地采集行李 的图像；当有行李经过行李检测仪时，行李检测仪检测到有行李出现，产生开关控制信号； 该开关控制信号送给立体彩色摄像机，触发立体彩色摄像机将各个彩色摄像机获取的行李 图像进行输出。其中，所述图像处理模块对图像采集部获取的行李图像进行两方面的处理与分 析，一方面是利用立体像对来重构行李表面的三维深度信息，进而获得行李的长、宽、高尺 寸，另一方面是对行李图像进行分析处理，提取行李的颜色特征并分类，获取行李的颜色信 肩、ο本发明的有益效果本发明的基于立体视觉的行李信息在线获取系统与方法，以 计算机视觉、图像处理与机器学习技术为基础，基于立体视觉原理获取行李的尺寸，同时采 用基于监督学习的方法，对行李的颜色特征进行分类识别，获取行李的颜色信息。系统安装 方便，操作简单，成本低廉，一次投入便可长期有效，不仅可在线自动获取行李的尺寸和颜 色，而且不必事先在行李上设置标签，从而实现了在不改变当前机场运行机制的前提下非 接触自动获取行李信息的目的，可大大减少行李处理人员的工作量，提高行李处理的效率。


图1是本发明的总体结构图；图2是本发明的图像采集部侧视示意图；图3是本发明的图像采集部前视示意图；图4是系统工作流程图。附图中主要标号说明1 图像采集工作台；2 图像采集部；21 立体彩色摄像机；22 照明设备； 23 行李检测仪；24 行李传送装置；3 图像处理模块；4 服务器；5 行李。
具体实施例方式实例机场事故行李信息在线获取本发明提出的一种基于立体视觉的行李信息在线获取系统与方法，可广泛用于事 故行李信息的自动获取，如机场事故行李信息的在线提取。下面结合实例进行具体说明。如图1所示，本发明的基于立体视觉的机场事故行李信息在线获取系统，除电源 夕卜，主要由图像采集工作台1、图像采集部2、图像处理模块3和服务器4组成。如图2和图3示出图像采集部2的示意图，所述图像采集部2包括位于图像采集 工作台1内的立体彩色摄像机21、照明装置22、行李检测仪23和行李传送装置24。图像采集工作台1，主要用来安装和固定图像采集部2。图像采集工作台1呈倒立 的凹槽形，具有一定的长度、宽度、高度和厚度，安装于行李传送装置24的上方。图像采集 工作台1始终处于静止状态。立体彩色摄像机21嵌在图像采集工作台1的内顶面上，立体彩色摄像机21由多 个彩色摄像机组成，不同彩色摄像机的光轴位于同一平面内，该平面与行李传送装置24的 前进方向垂直。组成立体彩色摄像机21的多个彩色摄像机在系统开启后，始终处于工作状 态，以一定的帧率同步采集行李5的图像。当有行李5经过行李检测仪23处时，行李检测 仪23检测到有行李5出现，则发出一个开关控制信号。该开关控制信号送给立体彩色摄像 机21，触发立体彩色摄像机21将各个彩色摄像机同步获取的行李图像传输到行李处理模 块3。在此过程中，每个彩色摄像机有一幅行李图像进行输出。本实施方案中，立体彩色摄 像机采用Bumblebee〗双目立体彩色摄像机。因此，该双目立体彩色摄像机21总共可输出 两幅行李图像，这两幅关于同一行李5的图像共同构成了该行李5的立体像对。照明装置22可安装于图像采集工作台1的内顶面或内侧面上，本实施方案中，照明装置22安装于图像采集工作台1的内顶面上。照明装置22发射出的光束照射到行李5 上，用于为立体彩色摄像机21成像提供照明，以使得立体彩色摄像机21获取清晰的行李图 像。行李检测仪23安装于图像采集工作台1的内侧面，位于图像采集工作台1内侧面 的中间偏下方的位置，用于检测行李传送装置24上是否有行李5出现。行李传送装置24 水平放置，其上放置行李5，用于水平运送行李5。当行李传送装置24上有行李5时，行李 传送装置24携带行李5 —起在水平方向上作勻速运动。行李5经过行李检测仪23时，行李检测仪23检测到有行李5出现，产生开关控制信号。 本实施案例中，行李检测仪23采用对射式光电开关，对射式光电开关主要由在结构上相互分离且光轴相对放置的发射器和接收器组成，发射器和接收器分别安装在图像采 集工作台1相对的内侧面上，如图3所示。当发射器和接收器之间没有行李5经过时，发射 器发出的光线直接进入接收器，当有行李5经过发射器和接收器之间且阻断光线时，该光 电开关将产生一个开关控制信号。行李传送装置24，采用通常的传送带结构，用于运送行李5，在水平方向上作勻速 运动。图像处理模块3，主要用于图像存储、图像分析处理、行李尺寸计算与颜色信息生 成。图像处理模块3既包括支撑图像存储和运算的硬件单元，也包括专门用于行李信息获 取的图像处理算法。图像处理模块3利用立体视觉原理，对行李5的立体像对进行分析处 理，恢复行李5的表面三维深度信息，进一步结合立体彩色摄像机21距行李传送装置24的 高度信息，计算得到行李5的长、宽、高尺寸；同时，图像处理模块3对立体彩色摄像机21采 集的行李图像进行颜色空间变换，提取行李5的主色调颜色特征并进行分类，获得行李5的 颜色信息。服务器4，是一般的计算机系统，服务器4中包括一个存储行李尺寸与颜色信息的 数据库。服务器4上还安装有上网设置，并与Internet网络连接，机场行李管理人员或旅 客可通过Internet访问服务器4，用于行李尺寸和颜色等信息的存储与查询。如图4示出本发明的基于立体视觉的行李信息在线获取系统的获取方法的流程 图，首先是行李检测仪23检测到有行李5出现时，立体摄像机21采集的行李图像送往图像 处理模块3，然后图像处理模块3对行李图像进行分析处理，得到行李的尺寸和颜色信息， 并送往服务器以备查询。具体实现如下步骤Sl 行李传送装置24在水平方向作勻速运动，若行李传送装置24有行李5出 现时，行李5随着行李传送装置24—起相对于地面作水平勻速运动。位于图像采集工作台 1内的行李检测仪23始终在检测是否有行李5经过，同时立体彩色摄像机21中的多个彩色 摄像机也始终在同步地以一定的帧率采集图像。当有行李5经过行李检测仪23时，行李检 测仪23检测到行李5而输出开关控制信号，该开关控制信号触发立体彩色摄像机21将多 个彩色摄像机同步采集的行李图像进行一次输出并送给图像处理模块3，即每个彩色摄像 机输出一幅图像，若立体彩色摄像机由N个彩色摄像机组成，则送给图像处理模块3的图像 总共为N幅，这N幅关于同一行李5的图像共同构成该行李5的立体像对。本实施方案中， 立体彩色摄像机采用Bumblebee2双目立体彩色摄像机，则本方案中的立体像对由2幅图像 组成。行李5的立体像对获取工作完成后，则执行步骤S2。当一件行李离开行李检测仪23后，若行李检测仪23再次检测到有新的行李出现， 则再次触发立体彩色摄像机21对各彩色摄像机采集的图像进行输出，并送往图像处理模 块3。此过程循环进行。步骤S2 图像处理模块3对立体彩色摄像机21获取的行李立体像对中的多幅行 李图像分别进行特征提取，得到以关键点或曲线形式表示的特征基元，然后对来自不同图 像的特征基元进行匹配，得到不同图像之间相对应的特征基元。步骤S3 根据匹配的特征基元，再结合已标定好的立体彩色摄像机21的内外参数，利用双目立体视觉原理，重构行李表面的三维深度信息。步骤S4 将行李表面的三维深度信息生成一幅灰度图像，该图像的像素坐标反映 的是行李表面不同部位的位置，图像的灰度反映的是像素坐标所对应的行李表面位置处的 深度信息，像素的灰度值越大表示该像素所对应位置处的深度值越大，像素灰度值越小则 对应的深度值越小。从该幅反映行李表面三维深度信息的灰度图像中分割出行李区域，找 到行李区域的最小外接矩形，从而得到行李5的长度和宽度；利用行李表面的三维深度信息，再结合立体彩色摄像机21距行李传送装置24的 高度信息，计算得到行李的高度；再根据行李5的长、宽、高，生成行李5的尺寸信息。步骤S5 对立体彩色摄像机21获取的行李图像进行颜色空间变换，将原来由三基色(RGB)颜色空间表示的行李图像转换到色调、饱和度和亮度(Hue，Saturation and Intensity,HSI)颜色空间，提取行李5的主色调颜色特征，并根据预先设定好的颜色类(如 红色、白色、黑色等)对行李5的颜色特征进行分类，得到行李5的颜色信息。步骤S6 图像处理模块3将行李5的长、宽、高尺寸和颜色信息，以及行李的立体 像对，送到服务器4进行保存，以便行李管理人员和旅客查询。以上所述，仅为本发明中的具体实施方式
，但本发明的保护范围并不局限于此，任 何熟悉该技术的人在本发明所揭露的技术范围内，可理解想到的变换或替换，都应涵盖在 本发明的包含范围之内，因此，本发明的保护范围应该以权利要求书的保护范围为准。
权利要求
一种基于立体视觉的行李信息在线获取系统，其特征在于，该系统包括图像采集工作台，图像采集部、图像处理模块和服务器，其中，图像采集工作台内安装图像采集部；图像采集部在线、非接触获取行李经过图像采集工作台时的立体像对；图像处理模块与图像采集部连接，图像处理模块进行两方面的处理一是对图像采集部获取的立体像对进行特征提取与匹配处理，重构出行李表面的三维深度信息，在此基础上计算行李的长、宽、高尺寸，另一方面是对图像采集部采集的行李图像进行颜色空间变换，提取行李的颜色特征，并对颜色特征进行分类，得到行李颜色信息；服务器与图像处理模块连接，负责接收图像处理模块得到的行李尺寸和颜色信息、以及行李的立体像对，为行李管理人员和旅客提供行李信息的查询服务。
2.如权利要求1所述的行李信息在线获取系统，其特征在于，所述图像采集部包括位 于图像采集工作台内的立体彩色摄像机、照明装置、行李检测仪及行李传送装置；立体彩色 摄像机与行李检测仪点连接，立体彩色摄像机嵌在图像采集工作台的内顶面上，由多个彩 色摄像机组成；照明装置安装于图像采集工作台的内顶面或内侧面上，照明装置发射出的 光束照射到行李上，用于为立体彩色摄像机成像提供照明，以便立体彩色摄像机获取清晰 的行李图像；行李传送装置水平放置并且其上放置行李，用于水平运送行李；行李检测仪 安装于图像采集工作台的内侧面，位于图像采集工作台内侧面的中间偏下方的位置，用于 检测行李传送装置上是否有行李出现；当行李检测仪检测到有行李时，触发立体彩色摄像 机采集行李的立体像对。
3.如权利要求1所述的行李信息在线获取系统，其特征在于，所述立体彩色摄像机，在 该基于立体视觉的行李信息在线获取系统开启后，始终处于工作状态；当有行李经过行李 检测仪时，行李检测仪检测到有行李出现，产生开关控制信号；该开关控制信号送给立体彩 色摄像机，触发立体彩色摄像机将各个彩色摄像机获取的行李图像传输到行李处理模块； 在此过程中，每个彩色摄像机输出一幅行李图像；设立体彩色摄像机由N个彩色摄像机组 成，则这N个彩色摄像机总共可输出N幅行李图像，这N幅关于同一行李的图像共同构成该 行李的立体像对；在立体彩色摄像机工作前，需要先对立体彩色摄像机进行标定，获得立体 彩色摄像机的内外参数，用于计算行李表面的三维深度信息。
4.如权利要求1所述的行李信息在线获取系统，其特征在于，所述服务器上安装有上 网装置，并与Internet网络连接。
5.一种利用权利要求1所述行李信息在线获取系统的行李信息在线获取方法，其特征 在于，该方法包括步骤如下步骤Sl 行李传送装置在水平方向作勻速运动，若行李传送装置有行李出现时，行李 随着行李传送装置一起相对于地面作水平勻速运动；位于图像采集工作台内的行李检测仪 始终在检测是否有行李经过，同时立体彩色摄像机中的多个彩色摄像机也始终在以一定的 帧率采集图像；当有行李经过行李检测仪时，行李检测仪检测到行李而输出开关控制信号， 该开关控制信号触发立体彩色摄像机将多个彩色摄像机采集的行李图像进行一次输出并 送给图像处理模块，即每个彩色摄像机输出一幅图像，若立体彩色摄像机由N个彩色摄像 机组成，则送给图像处理模块的图像总共为N幅，这N幅关于同一行李的图像共同构成该行 李的立体像对；行李的立体像对获取工作完成后，则执行步骤S2 ；步骤S2 图像处理模块对立体彩色摄像机获取的行李立体像对中的多幅行李图像分 别进行特征提取，得到特征基元，然后对来自不同图像的特征基元进行匹配，得到不同图像 之间相对应的特征基元；步骤S3 根据匹配的特征基元，再结合已标定好的立体彩色摄像机的内外参数，利用 双目立体视觉原理，重构行李表面的三维深度信息；步骤S4 将行李表面的三维深度信息生成一幅灰度图像，该图像的像素坐标反映的是 行李表面不同部位的位置，图像的灰度反映的是像素坐标所对应的行李表面位置处的深度 信息，像素的灰度值越大表示该像素所对应位置处的深度值越大，像素灰度值越小则对应 的深度值越小；从该幅反映行李表面三维深度信息的灰度图像中分割出行李区域，找到行 李区域的最小外接矩形，从而得到行李的长度和宽度；利用行李表面的三维深度信息，再结合立体彩色摄像机距行李传送装置的高度信息， 计算得到行李的高度；再根据行李的长、宽、高，生成行李的尺寸信息；步骤S5 对立体彩色摄像机获取的行李图像进行颜色空间变换，将原来由三基色颜色 空间表示的行李图像转换到色调、饱和度和亮度颜色空间，提取行李的主色调颜色特征，并 根据预先设定好的颜色类对行李的颜色特征进行分类，得到行李的颜色信息；步骤S6 图像处理模块将行李的长、宽、高尺寸和颜色信息，送到服务器进行保存，以 便行李管理人员和旅客查询。
6.如权利要求5所述的行李信息在线获取方法，其特征在于，所述立体彩色摄像机，在 该基于立体视觉的行李信息在线获取系统开启后，始终处于工作状态；组成立体彩色摄像 机的多个彩色摄像机以一定的帧率不断地采集行李的图像；当有行李经过行李检测仪时， 行李检测仪检测到有行李出现，产生开关控制信号；该开关控制信号送给立体彩色摄像机， 触发立体彩色摄像机将各个彩色摄像机获取的行李图像进行输出。
7.如权利要求5所述的行李信息在线获取方法，其特征在于，所述图像处理模块对图 像采集部获取的行李图像进行两方面的处理与分析，一方面是利用立体像对来重构行李表 面的三维深度信息，进而获得行李的长、宽、高尺寸，另一方面是对行李图像进行分析处理， 提取行李的颜色特征并分类，获取行李的颜色信息。
全文摘要
一种基于立体视觉的行李信息在线获取系统及其方法，系统中图像采集工作台内安装图像采集部；图像采集部在线、非接触获取行李经过图像采集工作台时的立体像对；图像处理模块与图像采集部连接，对立体像对提取特征与匹配处理，重构行李表面的三维深度信息，计算行李的长宽高尺寸；对行李图像进行颜色空间变换，提取行李的颜色特征并分类得到行李颜色信息；服务器与图像处理模块连接，负责接收行李尺寸颜色信息及行李的立体像对，提供行李信息的查询服务。方法是对行李的立体像对进行特征提取、特征匹配，重构行李表面的三维深度信息，计算行李的长宽高尺寸；对行李图像进行颜色空间变换，提取颜色特征并进行分类获得行李的颜色信息。
文档编号G01V8/10GK101846503SQ20101015752
公开日2010年9月29日 申请日期2010年4月21日 优先权日2010年4月21日
发明者易建强, 王彦情 申请人:中国科学院自动化研究所