专利名称：用于在挡风玻璃上显示道路引导信息的装置和方法
技术领域：
本发明涉及一种用于在挡风玻璃上显示道路引导信息的装置和方法，并且更特别地，本发明涉及一种基于驾驶者的眼睛位置将导航系统的道路引导信息映射到实际道路上并将映射结果显示在车辆的挡风玻璃上的用于在挡风玻璃上显示道路引导信息的装置及其方法。
背景技术：
远程信息处理终端典型地安装在车辆上，并且通过无线通信网络向用户提供电话功能、地图信息、多媒体信息和全球定位系统(GPS)导航功能。安装在远程信息处理终端中的车辆导航系统基于GPS信号和地图信息向用户提供指示车辆位置的多个地图页面。由于传统的车辆导航系统在远程信息处理终端的显示单元上显示道路引导地图，所以驾驶者在路线引导中的转弯期间必须将远程信息处理终端的显示单元上显示的道路引导地图与实际道路进行比较。 例如，由于驾驶者在转弯期间通过车辆的前挡风玻璃核对(例如复杂的交叉路口处的)实际道路并核对远程信息处理终端的显示单元上显示的道路引导地图上指示的道路，并且将实际道路与道路引导地图上的道路进行比较，所以驾驶者难以确切地识别哪条路线与显示单元上的转弯相关联。

发明内容
本发明提供了一种通过基于驾驶者的眼睛位置将导航系统的道路引导信息映射到实际道路上并将映射结果显示在车辆的挡风玻璃上来使驾驶者能够叠加并识别与目的地相关的道路的用于在挡风玻璃上显示道路引导信息的装置及其方法。根据本发明的一方面，用于在挡风玻璃上显示道路引导信息的装置包括导航关联器，其获取去往由驾驶者设置的目的地的道路引导信息；前方图像识别装置，其从前方道路图像中识别行驶车道；眼睛位置检测装置，其从驾驶者的面部图像中检测眼睛位置；控制装置，其控制挡风玻璃显示装置以基于由眼睛位置检测装置检测的驾驶者的眼睛位置在挡风玻璃上将道路引导信息映射(map)到实际道路上并且显示映射结果；以及挡风玻璃显示装置，其在控制装置的控制下将道路引导信息映射到实际道路上并显示映射结果。根据本发明的另一方面，用于在挡风玻璃上显示道路引导信息的方法包括获取与车辆的导航系统相关的去往由驾驶者设置的目的地的道路引导信息；识别前方道路图像；从驾驶者的面部图像中检测眼睛位置；以及基于检测出的驾驶者的眼睛位置在挡风玻璃上将道路引导信息映射到实际道路上。上面举例说明的本发明基于用户的眼睛位置将导航系统的道路引导信息映射到实际道路上，以将映射结果显示到车辆的挡风玻璃上，使得驾驶者可以确切地识别与目的地相关的道路。


根据结合附图给出的以下详细说明，本发明的目的、特征和优点将更加明了，在附图中图I是示出根据本发明示例性实施例的用于在挡风玻璃上显示道路引导信息的装置的框图；图2是示出根据本发明示例性实施例的识别弯曲道路的过程的视图；图3是示出根据本发明示例性实施例的检测驾驶者的眼睛位置的过程的视图；图4是示出根据本发明示例性实施例的将道路引导信息映射在实际道路上的过程的视图；图5是示出根据本发明示例性实施例的道路引导信息被映射在实际道路上的状 态的实例的视图；并且图6是示出根据本发明示例性实施例的用于在挡风玻璃上显示道路引导信息的方法的流程图。附图中各要素的附图标记10:导航关联器20:前方图像识别单元30:眼睛位置检测器40:控制器50 :挡风玻璃显示单元601 :获取去往由驾驶者设置的目的地的道路引导信息602 :从道路图像识别行驶车道603 :从驾驶者的面部图像中检测驾驶者的眼睛位置604:基于驾驶者的眼睛位置将道路引导信息映射到挡风玻璃上的真实道路上并显示映射结果
具体实施例方式将参考附图详细描述本发明的示例性实施例。在所有附图中将始终使用相同的附图标记来指代相同或相似的部分。这里包含的公知的功能和结构的详细描述可能会被省略以避免使本发明的主题变模糊。应该理解的是，本文中使用的术语“车辆”或“车辆的”或其它类似术语包括一般的机动车辆(诸如包括运动型多功能车(SUV)、公共汽车、卡车、各种商用车辆在内的客车)、包括各种艇和船在内的水运工具、飞行器等，并且包括混合动力车、电动车、插电式混合电动车、氢动力车以及其它代用燃料车(例如从除石油以外的资源中取得的燃料)。如本文中所述，混合动力车是具有两个或更多个动力源的车辆，例如既有汽油动力又有电动力的车辆。图I是示出根据本发明示例性实施例的用于在挡风玻璃上显示道路引导信息的装置的框图。参考图1，根据本发明示例性实施例的用于在挡风玻璃上显示道路引导信息的装置包括导航关联器10、前方图像识别单元20、眼睛位置检测器30、控制器40和挡风玻璃显示单元50。以下是各个构造单元的详细描述。导航交互工作单元(关联器)10获取导航系统内的用于将驾驶者引导到由驾驶者设置的目的地的道路引导信息。前方图像识别单元20从例如安装在车辆前部的摄像机所拍摄的行驶道路的前方图像中识别行驶车道和道路的终点。前方图像识别单元20被配置成与安装在车辆内的车道保持辅助系统或车道偏离警告系统协力识别行驶车道。这些系统是设计成当在高速公路和道路上车辆开始驶出其车道时警告或帮助驾驶者的机构。车辆可以识别行驶车道以便向驾驶者提供确切的道路引导信息。例如，当车辆将要到达与车辆当前行驶的车道(第一车道)相距三条车道的车道(第三车道)右侧的立体交叉道路上并且不能进行车道识别时，只可以进行从第一车道到第三车道的换道的直线方向路线引导。然而，如果可以进行车道识别，那么可以在适合的位置处引起车道改变以将车道改变至第一车道、第二车道或第三车道。眼睛位置检测器30从安装在车辆中的摄像机所拍摄的驾驶者的面部图像中检测驾驶者的眼睛位置。控制器40将导航关联器10获取的道路引导信息映射到实际道路上，并将映射结果显示在显示单元50上。在这种情况下，车辆的电子控制单元(ECU)可以执行控制器40的该功能。 因此，不管驾驶者的眼睛位置如何，本发明都可以将道路引导信息映射到适合于驾驶者的实际道路上。因此，由于驾驶者可以在查看显示并映射到实际道路上的道路引导信息的同时接收去往目的地的路线引导，所以驾驶者可以安全地行驶至目的地而不会由于不必要地将他们的眼睛从道路上移开而受到妨碍。挡风玻璃显示单元50在控制器40的控制下将道路引导信息映射到实际道路上并显示映射结果。此时，挡风玻璃显示单元50可以包括平视显示器(HUD)装置、投影装置、透明挡风玻璃显示装置或挡风玻璃点显示装置。可选地，本发明也可以包括眼睛位置信息获取单元30来代替眼睛位置检测器30，并且可以获取与安装在车辆内的驾驶者监视系统或眼睛跟踪系统相关的驾驶者的眼睛位
置信息。将参考图2描述由前方图像识别单元20识别弯曲道路的过程。在这种情况下，直线车道的识别是众所周知的现有技术，因此省略其详细描述。前方图像识别单元20包括摄像机、图像处理器、预处理器和曲率计算器。摄像机是能够实时拍摄数字图像的电荷耦合器件(CCD)摄像机，用于拍摄道路图像。图像处理器将摄像机所拍摄的道路图像划分成两个区域。例如，道路图像可以划分成上部区域和下部区域。如图2所示，划分出的图像处理区域分别被称作区域I和区域2。接着，预处理器可以对这两个区域执行车道建模以将其建模成一维直线。在这种情况下，车道建模指的是检测区域I和区域2中的道路图像的边缘成分a，并计算把检测出的边缘成分的各个点彼此连接的直线b的过程。此外，预处理器选择由分别建模的线形成的三角形。如图2所示，预处理器选择各个建模直线b在区域I和区域2中的相交点的中心点B和C以及消失点(vanishing point)A作为极值点。此外，预处理器计算所选的三角形的外接圆半径(circumscribed radius)。在这种情况下，唯一地确定所选三角形的外接圆半径R，其可以由以下等式I来表示。[等式I]
权利要求
1.一种用于在挡风玻璃上显示道路引导信息的装置，所述装置包括 导航关联装置，其获取去往由驾驶者设置的目的地的道路引导信息； 前方图像识别装置，其从前方道路图像中识别行驶车道； 眼睛位置检测装置，其从驾驶者的面部图像中检测眼睛位置； 控制装置，其控制挡风玻璃显示装置以便基于由所述眼睛位置检测装置检测的驾驶者的所述眼睛位置来在所述挡风玻璃上映射所述道路引导信息从而叠盖在实际道路上并且显示映射结果；以及 所述挡风玻璃显示装置，其在所述控制装置的控制下映射所述道路引导信息从而叠盖在实际道路上并且显示映射结果。
2.如权利要求I所述的装置，其中所述前方图像识别装置包括 摄像机，其拍摄道路图像； 图像处理器，其把由所述摄像机拍摄的所述道路图像划分成两个区域； 预处理器，其对由所述图像处理器划分出的所述两个区域执行车道建模以便将车道建模成一维直线，选择由各个建模得到的线形成的三角形，并计算所选择的三角形的外接圆半径；以及 曲率计算器，其使用由所述预处理器计算的所选择的三角形的所述外接圆半径来计算道路的曲率。
3.如权利要求I所述的装置，其中所述眼睛位置检测装置从驾驶者的面部图像中选择面部的对称部分的区域，通过把所述面部图像上显示的对称点当中的鼻孔用作确定基准来选择所述鼻孔的上部作为眼睛所位于的眼睛位置候选区域，并且通过滤波器对从所述面部图像中选择的所述眼睛位置候选区域进行滤波以检测眼睛位置。
4.如权利要求3所述的装置，其中面部的对称部分的所述区域是眉毛部分、眼睛部分或鼻孔部分。
5.如权利要求4所述的装置，其中利用这样的事实选择所述鼻孔部分作为对称点的确定基准与其它部分相比，所述鼻孔部分在亮度方面的变化很小并且位于最低的位置但又形成短间距的对称部分。
6.如权利要求3所述的装置，其中所述滤波器是sobel滤波器。
7.如权利要求I所述的装置，其中所述挡风玻璃显示装置是平视显示器装置、投影装置、透明挡风玻璃显示装置或挡风玻璃点显示装置中的一种。
8.一种用于在挡风玻璃上显示道路引导信息的方法，所述方法包括 获取与车辆的导航系统相关的去往由驾驶者设置的目的地的道路引导信息； 识别前方道路图像； 从驾驶者的面部图像中检测眼睛位置；以及 基于检测出的驾驶者的眼睛位置来在所述挡风玻璃上映射所述道路引导信息从而叠盖在实际道路上。
9.如权利要求8所述的方法，其中所述检测眼睛位置的步骤包括 从驾驶者的所述面部图像中选择面部的对称部分的区域； 通过把所述面部图像上显示的对称点当中的鼻孔用作确定基准来选择所述鼻孔的上部作为眼睛所位于的眼睛位置候选区域；以及对从所述面部图像中选择的所述眼睛位置候选区域进行滤波以检测眼睛的轮廓。
10.一种包含由处理器执行以便在挡风玻璃上显示道路引导信息的可执行程序指令的非短暂计算机可读介质，所述可执行程序指令包括 获取与车辆的导航系统相关的去往由驾驶者设置的目的地的道路引导信息的程序指令； 识别前方道路图像的程序指令； 从驾驶者的面部图像中检测眼睛位置的程序指令；以及 基于检测出的驾驶者的眼睛位置来在所述挡风玻璃上映射所述道路引导信息并将映射后的道路引导信息叠盖在实际道路上的程序指令。
11.如权利要求10所述的非短暂计算机可读介质，其中所述检测眼睛位置的程序指令包括 从驾驶者的所述面部图像中选择面部的对称部分的区域的程序指令； 通过把所述面部图像上显示的对称点当中的鼻孔用作确定基准来选择所述鼻孔的上部作为眼睛所位于的眼睛位置候选区域的程序指令；以及 对从所述面部图像中选择的所述眼睛位置候选区域进行滤波以检测眼睛的轮廓的程序指令。
全文摘要
本发明提供了一种用于在挡风玻璃上显示道路引导信息的装置和方法。所述装置包括导航关联装置，其获取去往由驾驶者设置的目的地的道路引导信息；前方图像识别装置，其从前方道路图像中识别行驶车道；眼睛位置检测装置，其从驾驶者的面部图像中检测眼睛位置；控制装置，其控制挡风玻璃显示装置以便基于由眼睛位置检测装置检测的驾驶者的眼睛位置来在挡风玻璃上映射道路引导信息从而叠盖在实际道路上并且显示映射结果；以及挡风玻璃显示装置，其在控制装置的控制下映射道路引导信息从而叠盖在实际道路上并且显示映射结果。
文档编号G01C21/34GK102735253SQ201110384160
公开日2012年10月17日 申请日期2011年11月28日 优先权日2011年4月5日
发明者金柱男 申请人:现代自动车株式会社