专利名称：车辆行驶环境检测装置的制作方法
技术领域：
本发明涉及例如对交叉路口或T字路等地点信息、或者道路上的车辆行驶位置等 车辆行驶环境进行检测的车辆行驶环境检测装置。
背景技术：
用于车辆等的航位推测法装置，通过使用车速传感器或GPS (Global Positioning System)、陀螺传感器等各种传感器，可以检测本车位置。另外，在对精度有需求时，较多使 用进一步使用地图信息、将本车位置与地图信息进行对照并校正的地图匹配技术。根据上述的航位推测法装置所涉及的本车位置检测方法，由于与实际的本车位置 可能产生误差，因此有时本车位置会从地图信息的路径偏离。特别是在复杂的路径、交叉路 口附近、T字路，其影响较大。因此，对于装载于车辆上的导航装置而言，为了进行更准确的 引导、指引，需要校正本车位置。另外，关于上述的航位推测法装置的本车位置校正，以往提出了许多专利申请。例 如，已知一种通过从设置在车辆上的照相机的图像提取特征点、推定车辆的当前位置来校 正本车位置的方法。具体而言，可以检测白线或道路标识等特定的对象物来校正当前位置 (例如参照专利文献1)。专利文献1 日本专利特开2004-45227号公报

发明内容
根据上述的专利文献1所披露的技术，在车辆行驶中，边利用红外线照相机来识 别道路端部的白线边行驶，在白线中断一定区间时判定为有交叉路口，将当前位置与地图 信息的最近的交叉路口进行地图匹配。然而，如专利文献1所披露的那样，根据检测某一特定的对象物来校正当前位置 的方法，例如对于没有白线等、不存在特定的对象物的区域，无法进行检测，此时无法校正 本车位置。本发明是为了解决上述的问题而完成的，其目的在于提供一种车辆行驶环境检测 装置，其不依靠白线、道路标识等某一特定的对象物，可以对包含交叉路口的、车辆行驶中 的车辆周边的行驶环境进行检测。为了解决上述问题的本发明的车辆行驶环境检测装置包括图像信息获取部，以 预定的采样间隔连续获取由设置在车辆上的照相机拍摄的侧方物体的图像；变化量算出 部，从由上述图像信息获取部获取的至少2个图像，算出上述图像的变化量；以及环境检测 部，根据由上述变化量算出部算出的上述图像的变化量，检测上述车辆周边的行驶环境。根据本发明的车辆行驶环境检测装置，不依靠白线或道路标识等某一特定的对象 物，可以对包含交叉路口的、车辆行驶中的车辆周边的行驶环境进行检测。


图1是表示本发明的实施方式1所涉及的车辆行驶环境检测装置的内部结构的框 图。图2是为了说明本发明的实施方式1所涉及的车辆行驶环境检测装置的工作原理 而引用的图，是表示车辆来到交叉路口的样子的示意图。图3是为了说明本发明的实施方式1所涉及的车辆行驶环境检测装置的工作原理 而引用的图，是表示由侧方照相机拍摄、取入的图像的一个例子的图。图4是为了说明本发明的实施方式1所涉及的车辆行驶环境检测装置的工作原理 而引用的图，是以时间序列用曲线表示通过交叉路口时的图像上的移动速度和实际车辆速 度的变化的图。图5是表示本发明的实施方式1所涉及的车辆行驶环境检测装置的动作的流程 图。图6是为了说明本发明的实施方式2所涉及的车辆行驶环境检测装置的工作原理 而引用的图，是表示车辆在道路的中央/左侧/右侧行驶的样子的示意图。图7是表示本发明的实施方式2所涉及的车辆行驶环境检测装置的动作的流程 图。
具体实施例方式下面，为了更详细地说明本发明，根据附图对用于实施本发明的方式进行说明。实施方式1图1是表示本发明的实施方式1所涉及的车辆行驶环境检测装置的内部结构的框 图。此处，作为车辆行驶环境检测装置，是利用装载在车辆上的导航装置1，与该导航 装置1连接图像处理装置3，例如对由设置在车辆上的前方侧面(挡泥板部分)的侧方照相 机2拍摄的沿路侧方物体的图像进行处理，从而提供一种不依靠特定的对象物来检测车辆 行驶中的周围环境的结构。另外，侧方照相机2也可以利用已经安装在车辆侧面的监视器
等来代替。如图1所示，导航装置1以控制部10为控制中枢，由GPS接收机11、车速传感器 12、显示部13、操作部14、储存部15、地图信息储存部16、位置校正部17构成。GPS接收机11从未图示的GPS卫星接收信号，将车辆的当前位置测位用的信息 (纬度、经度、时间)向控制部10输出。另外，车速传感器12检测用于测定车速度的信息 (车速脉冲)，向控制部10输出。显示部13在控制部10的控制下，显示由控制部10生成输出的与当前位置显示、 目的地设定、指引、引导相关的信息，操作部14取入利用安装的各种开关组的操作输入，向 控制部10传递用户指令，并且起到作为用户接口的作用。显示部13和操作部14也可以由 LCD (Liquid Crystal Display Device)触摸屏等显示输入装置代替。另外，在地图信息储 存部16，除地图信息之外还存储有设施信息等。导航装置1在储存部15存储用于实现目的地指引、引导等导航功能的各种程序， 控制部10读出这些程序，通过与上述的GPS接收机11、车速传感器12、显示部13、操作部14、储存部15、地图信息储存部16、位置校正部17进行信息交换，实现导航装置1本来具有 的功能。另外，位置校正部17具有如下功能将由GPS接收机11或车速传感器12等航位 推测法装置测位的车辆的当前位置、与利用后述的图像处理装置3检测的例如交叉路口等 的地点信息进行比较，在不同时校正车辆的当前位置。其细节将后述。侧方照相机2是对市区的大楼、郊外的牧场、山河等车辆行驶中的沿路的不特定 的许多侧方物体进行拍摄的拍摄装置，由侧方照相机2拍摄的图像(动态图像)提供给图 像处理装置3。图像处理装置3具有如下功能以预定的采样间隔连续获取由设置在车辆上的侧 方照相机2拍摄的沿路的侧方物体的图像，从获取的至少2个图像算出变化量，根据算出的 图像的变化量来检测车辆行驶中的周围环境，由图像信息获取部31、变化量算出部32、环 境检测控制部33、环境检测部34构成。图像信息获取部31以预定的采样间隔连续获取由侧方照相机2拍摄的沿路的侧 方物体的图像，提交给变化量算出部32以及环境检测控制部33。变化量算出部32在环境 检测控制部33的顺序控制下，从由图像信息获取部31获取的至少2个图像算出图像的变 化量，经由环境检测控制部33提交给环境检测部34。变化量算出部32在环境检测控制部33的顺序控制下，提取由图像信息获取部31 获取的侧方物体的图像的特征点，基于此处提取的特征点算出连续的图像间的变化量，经 由环境检测控制部33提交给环境检测部34。变化量算出部32进一步根据图像的变化量和 图像的采样间隔，算出侧方物体的特征点的每单位时间的变化量即移动速度，经由环境检 测控制部33提交给环境检测部34。环境检测部34在环境检测控制部33的顺序控制下，根据由变化量算出部32算出 的图像的变化量来检测车辆周边的行驶环境，并输出至导航装置1的控制部10。此处，所谓 由环境检测部34检测的车辆周边的行驶环境，是指从“车辆的行进方向观察，在侧方的空 间上开放的地点信息(交叉路口、T字路、铁路道口等)”。另外，图像处理装置3为了以预定的采样间隔连续获取由设置在车辆上的侧方照 相机2拍摄的侧方物体的图像，从获取的至少2个图像算出图像的变化量，根据算出的图像 的每单位时间的变化量来检测车辆周边的行驶环境，环境检测控制部33控制上述的图像 信息获取部31、变化量算出部32、环境检测部34的动作顺序。图2是为了说明本发明的实施方式1所涉及的车辆行驶环境检测装置的工作原理 而引用的图，此处，示出车辆20a向交叉路口进入之前的沿路的侧方物体(大楼群)。在图2所示的例子中，在车辆20a上安装有侧方照相机2。此时的侧方照相机2的 视角如θ所示，视角θ所包含的区域成为侧方照相机2的拍摄区域，该拍摄区域随着时间 的经过，向车辆的行进方向移动。示出车辆20a经过预定时间后进入交叉路口、车辆20b通 过交叉路口时的样子。本发明的实施方式1所涉及的车辆行驶环境检测装置，是在车辆20a由于行驶而 移动至车辆20b所示的位置时，利用图像处理算出由侧方照相机2拍摄的图像的变化量、或 者每单位时间的变化量即图像的外观上的移动速度，对交叉路口、T字路、铁路道口等地点 进行检测。
图3(a)、(b)是为了说明本发明的实施方式1所涉及的车辆行驶环境检测装置的 工作原理而引用的图，是利用安装在图2的车辆20a(20b)上的侧方照相机2拍摄的图像的 一个例子。图3(a)示出进入交叉路口前的沿路侧方物体的拍摄图像，图3(b)示出在进入交 叉路口时的沿路侧方物体的拍摄图像。若比较图3(a)、(b)所示的图像，则在交叉路口中央附近的图像(图3(b))与进入 交叉路口前的图像(图3(a))相比，侧方照相机2前方的视野成为开放的状态，拍摄到位于 更远方的侧方物体作为图像。因此，推定由车辆20b拍摄的图像的移动速度、与由车辆20a 拍摄的图像的移动速度相比要小。本发明的实施方式1所涉及的车辆行驶环境检测装置，是通过利用该移动速度的 变化来检测包含交叉路口的地点信息，进一步基于检测的地点信息，校正本车位置。图4是为了说明本发明的实施方式1所涉及的车辆行驶环境检测装置的工作原理 而引用的图，是用曲线表示车辆20a经过车辆20b通过交叉路口时的、图像的移动速度的变 化的图。图中，在时间轴上绘制曲线表示由导航装置1的车速传感器12计测的实际的车速 度Vk、由图像处理(图像处理装置3的变化量算出部32)算出的拍摄图像的外观上的移动 速度Vv。如图4所示，估计通过交叉路口地点(通过交叉路口时段区域χ)的侧方照相机2 的拍摄图像的外观上的移动速度、与在通过交叉路口前后拍摄的图像相比要小。图5是表示本发明的实施方式1所涉及的车辆行驶环境检测装置的动作的流程 图。根据图5所示的流程图，详细示出了从起动侧方照相机2起到检测交叉路口、校正本车 位置为止的处理的流程。下面，参照图5所示的流程图，详细说明图1所示的本发明的实施方式1所涉及的 车辆行驶环境检测装置的动作。在图5的流程图中，首先，与发动机的起动同步，开始利用侧方照相机2对侧方物 体进行拍摄(步骤ST501)。此时，图像处理装置3的图像信息获取部31以预定的采样间隔 连续取入图像，此处，将取入的图像以时间序列(η > 1)提供给变化量算出部32、以及环境 检测控制部33 (步骤ST502、ST503 “是”)。在此时间点，导航装置1的控制部10基于由车速传感器12计测的车速度信息， 算出成为判断为车辆通过地点是交叉路口的基准的阈值a，提交给环境检测部34(步骤 ST504)。接下来，变化量算出部32从图像信息获取部31取入的图像η和之前取入的图像 η-1，算出图像的变化量(步骤ST505)。此处，关于图像的变化量的算出，例如可以提取亮度 变化陡峭的特征点，求出构成成为该特征点的图像的每个像素的亮度绝对差值的平均值、 平均平方误差或者相关值。也可以不采用上述的方法，只要可以用数值来表现图像间之差， 就将该数值作为图像变化量来处理。变化量算出部32进一步从由上述算出的图像的变化量、和时间序列连续的图像 η-1的帧间隔(采样时间)，算出图像的每单位时间的变化量即外观上的图像的移动速度， 经由环境检测控制部33提交给环境检测部34(步骤ST506)。接下来，环境检测控制部33在判定为由变化量算出部32算出的图像的外观上的移动速度是阈值a以上时(步骤ST507 “否”)，判断为通过地点不是交叉路口，返回步骤 ST502，重复进行取入拍摄图像的处理。另外，环境检测控制部33在判定为由变化量算出部 32算出的图像的外观上的移动速度是阈值a以下时(步骤ST507 “是”)，判断为通过地点 是交叉路口，将该结果提交给导航装置1的控制部10。接下来，控制部10基于由图像处理装置3 (环境检测部34)提交的地点检测结果， 起动位置校正部17。在由环境检测部34判断为车辆正在通过交叉路口中时，位置校正部17将由环境 检测部34检测的地点信息与由包含GPS接收机11、车速传感器12的航位推测法装置检测 的车辆的当前位置进行比较。此处，在判定为不同时，位置校正部17通过参照储存在地图 信息储存部16的地图信息来决定校正值(步骤ST508)，此处，根据决定的校正值来校正车 辆的当前位置，经由控制部10在显示部13显示校正的车辆的当前位置(步骤ST509)。另外，此处，用于地点检测的阈值a是基于实测数据来决定即可，但预想到通过交 叉路口时的外观上的图像的移动速度要比实际的车速度下降大概60%至70%左右，也可 以使用其作为阈值a。如以上说明所示，根据本发明的实施方式1所涉及的车辆行驶环境检测装置，图 像处理装置3通过以预定的采样间隔连续获取由设置在车辆上的侧方照相机2拍摄的侧 方物体的图像，从此处获取的至少2个图像算出图像的变化量，根据该算出的图像的变化 量来检测车辆周边的地点信息，不依靠白线、道路标识等特定的对象物，可以对包含交叉路 口、T字路、铁路道口的从车辆行进方向观察在侧方的空间上开放的地点信息进行检测。另 外，通过基于检测的地点信息来校正车辆的当前位置，可以提高地图匹配的精度，进行可靠 性较高的导航。另外，根据上述的本发明的实施方式1所涉及的车辆行驶环境检测装置，通过将 外观上的移动速度与阈值a进行比较来检测地点，但不根据移动速度，使用拍摄的沿路的 侧方物体的变化量也可以得到同样的作用效果。另外，此时也与移动速度相同，不必是拍摄 的侧方物体的实际的变化量，也可以是图像上的变化量、图像上的以特定位置为基准的相 对值或以变化量为基准的相对值。实施方式2上述的实施方式1所涉及的车辆行驶环境检测装置，作为车辆行驶中的车辆周边 的环境，说明了检测包含交叉路口的地点信息的例子，但在下面说明的实施方式2中，是在 车辆的两个侧面(例如左右的挡泥板部分)分别设置侧方照相机2a、2b，通过同时拍摄并取 入车辆左右的图像，对由侧方照相机2a、2b分别拍摄、取入的侧方物体的图像的变化量的 变化同时进行追踪。此时也与实施方式1相同，由侧方照相机2a、2b拍摄的侧方物体越位于远方，图像 中的该侧方物体的变化量越小。若利用这一现象，则可以从车辆的左右的图像中的侧方物 体的变化量之差，推定车辆在道路内的行驶位置。图6(a)、(b)、(c)是为了说明本发明的实施方式2所涉及的车辆行驶环境检测装 置的工作原理而引用的图。图6 (a)是车辆20a在道路的中央行驶时的示意图，此时，推定由侧方照相机2a、2b 分别拍摄、取入的侧方物体的变化量之差比较小。另外，图6(b)是车辆20b在道路左侧行驶时的示意图，此时，推定左部的侧方物体的图像的变化量(左侧方变化量)、与右部的侧 方物体的图像的变化量(右侧方变化量)相比较大。图6(c)是车辆20c在道路右侧行驶 时的示意图，此时，推定右侧方变化量与左侧方变化量相比较大。从这点可知，可以将推定 的道路内的车辆位置用于本车位置显示以及本车位置校正。图7是表示本发明的实施方式2所涉及的车辆行驶环境检测装置的动作的流程 图。根据图7所示的流程图，示出了从起动侧方照相机2a、2b起到检测、显示道路内的本车 位置为止的处理的流程。另外，作为本发明的实施方式2所涉及的车辆行驶环境检测装置的结构，由于除 了在车辆上设置侧方照相机2a、2b以外，与图1所示的实施方式1相同，因此参照图1所示 的结构进行说明。首先，与发动机的起动同步，同时开始利用侧方照相机2a、2b对侧方物体进行拍 摄(步骤ST701)。图像处理装置3的图像信息获取部31在同一定时以预定的采样间隔取入连续的 图像，将此处取入的右侧方物体的图像η、以及左侧方物体的图像m分别以时间序列(η > 1，且m> 1)提供给变化量算出部32、以及环境检测控制部33(步骤ST702、ST703)。变化量算出部32从图像信息获取部31取入的图像η和之前取入的图像η_1算出 右侧侧方图像的变化量，并且从图像信息获取部31取入的图像m和之前取入的图像m-1算 出左侧侧方图像的变化量(步骤ST704)。图像的变化量的算出与实施方式1的图像的变化量一样，利用亮度绝对差值的平 均值、平均平方误差、或者相关值等，只要能用数值来表现图像间之差，就可以通过将该数 值作为变化量来处理而进行算出。变化量算出部32进一步从由上述算出的这些图像的变化量、时间序列连续的图 像n(m)和n-l(m-l)的帧间隔(采样时间)，分别算出右侧方移动速度N和左侧方移动速度 M，经由环境检测控制部33提交给环境检测部34(步骤ST705)。接下来，环境检测部34算出从与车辆的行进方向垂直的直线和沿路交叉的位置 起、到车辆的右侧方位置为止的距离Xn，此时，经由导航装置1的控制部10参照储存在地图 信息储存部16的地图信息，获取与当前行驶中的道路宽度相关的信息X。接下来，环境检测部34算出距离Xn并提交给导航装置1的控制部10，其中，距离 Xn是在假定由变化量算出部32算出的右侧方移动速度N与左侧方移动速度M之比、等于车 辆的右侧方距离Xn的倒数与左侧方距离X-Xn的倒数之比时的、从与车辆的行进方向垂直 的直线和沿路交叉的位置起、到车辆的右侧方位置为止的距离(步骤ST706)。控制部10基于由图像处理装置3 (环境检测部34)提交的信息(Xn)，起动位置校 正部17。位置校正部17基于由环境检测部34检测的车辆在道路上的行驶位置(距离Xn)， 通过控制部10，对显示部13详细显示包含中央行驶、左侧行驶、右侧行驶的映射在行驶中 的道路内的本车位置(步骤ST707)。如以上说明所示，根据本发明的实施方式2所涉及的车辆行驶环境检测装置，图 像处理装置3通过同时以预定的采样间隔连续获取由设置在车辆上的侧方照相机2a、2b拍 摄的左右侧方物体的图像，从该获取的图像和之前取入的图像算出右侧方图像及左侧方图像的变化量，并且根据算出的这些图像的变化量、时间序列连续的图像的采样间隔，分别算 出右侧方移动速度和左侧方移动速度，算出从与车辆的行进方向垂直的直线和沿路交叉的 位置起、到车辆的侧方位置为止的距离，从而检测车辆在道路上的行驶位置并进行显示，可 以提高地图匹配的精度，进行可靠性较高的导航。另外，根据上述的实施方式1、实施方式2所涉及的车辆行驶环境检测装置，是对 于在车辆上已有的导航装置1附加图像处理装置3来构成车辆行驶环境检测装置，但也可 以在导航装置1内装入上述图像处理装置3来构成车辆行驶环境检测装置。此时，虽然控 制部10的负载会增加，但可以进行紧凑的安装，可以使可靠性提高。另外，图1所示的图像处理装置3具有的结构可以都由软件来实现，或者其至少一 部分由硬件来实现。例如，图像信息获取部31以预定的采样间隔连续获取由设置在车辆上的侧方照 相机2拍摄的侧方物体的图像，变化量算出部32从由图像信息获取部31获取的至少2个 图像算出图像的变化量，或者环境检测部34根据由变化量算出部32算出的图像的变化量 来检测车辆周边的行驶环境，上述的各数据处理可以利用1个或者多个程序在计算机上实 现，另外也可以由硬件来实现其至少一部分。工业上的实用性如上所述，本发明所涉及的车辆环境检测装置，由于为了不依靠白线、道路标识等 某一特定的对象物，对包含交叉路口的车辆行驶中的车辆周边的行驶环境进行检测，包括 图像信息获取部，以预定的采样间隔连续获取侧方物体的图像；变化量算出部，从至少2个 图像算出上述图像的变化量；以及环境检测部，根据上述图像的变化量来检测上述车辆周 边的行驶环境而构成，因此适用于检测交叉路口、T字路等地点信息、或者在道路上的车辆 行驶位置等车辆行驶环境的车辆行驶环境检测装置等。
权利要求
1.一种车辆行驶环境检测装置，其特征在于，包括图像信息获取部，以预定的采样间隔连续获取由设置在车辆上的照相机拍摄的侧方物 体的图像；变化量算出部，从由所述图像信息获取部获取的至少2个图像，算出所述图像的变化 量；以及环境检测部，根据由所述变化量算出部算出的所述图像的变化量，检测所述车辆周边 的行驶环境。
2.如权利要求1所述的车辆行驶环境检测装置，其特征在于，所述变化量算出部提取由所述图像信息获取部获取的所述侧方物体的图像的特征点， 基于所述提取的特征点，算出连续获取的图像间的变化量。
3.如权利要求2所述的车辆行驶环境检测装置，其特征在于，所述变化量算出部根据所述算出的图像的变化量和所述图像的采样间隔，算出所述侧 方物体的每单位时间的变化量作为图像的移动速度。
4.如权利要求1所述的车辆行驶环境检测装置，其特征在于，所述环境检测部对从所述车辆的行进方向观察在侧方的空间上开放的地点信息进行 检测。
5.如权利要求1所述的车辆行驶环境检测装置，其特征在于，所述环境检测部将由所述变化量算出部算出的所述特征点的变化量或者移动速度、与 对于所述变化量或者移动速度设定的阈值进行比较，从而检测所述地点信息。
6.如权利要求5所述的车辆行驶环境检测装置，其特征在于，包括位置校正部，该位置校正部将由所述环境检测部检测的地点信息、与由航位推测 法装置检测的所述车辆的当前位置进行比较，在不同时校正所述车辆的当前位置。
7.如权利要求1所述的车辆行驶环境检测装置，其特征在于，所述环境检测部算出从与所述车辆的行进方向垂直的直线和沿路交叉的位置起、到所 述车辆的侧方位置为止的距离，检测所述车辆在道路上的行驶位置。
8.如权利要求7所述的车辆行驶环境检测装置，其特征在于，所述图像信息获取部利用设置在所述车辆上的照相机左右同时连续获取侧方物体的 图像，所述变化量算出部提取由所述图像信息获取部获取的侧方物体的图像的特征点，基于 所述提取的特征点算出连续的图像间的变化量，并且根据所述算出的变化量、所述获取的 连续的图像的采样间隔，算出所述特征点的右侧方移动速度N和左侧方移动速度M，所述环境检测部算出从与所述车辆的行进方向垂直的直线和沿路交叉的位置起、到所 述车辆的右侧方位置为止的距离紐，此时，参照地图信息获取与当前行驶中的道路宽度相 关的信息X，假定由所述变化量算出部算出的右侧方移动速度N和左侧方移动速度M之比、 等于所述车辆的右侧方距离&的倒数和左侧方距离X-Xn的倒数之比，从而算出所述fti。
9.如权利要求7所述的车辆行驶环境检测装置，其特征在于，包括位置校正部，所述位置校正部基于由所述环境检测部检测的所述车辆在道路上的 行驶位置，将所述车辆的本车位置输出至显示装置。
全文摘要
图像处理装置(3)由图像信息获取部(31)、变化量算出部(32)、以及环境检测部(34)构成，图像信息获取部(31)以预定的采样间隔连续获取由设置在车辆上的侧方照相机(2a)、(2b)拍摄的侧方物体的图像，变化量算出部(32)从由图像信息获取部(31)获取的至少2个图像算出图像的变化量，环境检测部(34)根据由变化量算出部(32)算出的图像的变化量来检测车辆周边的行驶环境。
文档编号G01C21/00GK102084218SQ20098012680
公开日2011年6月1日 申请日期2009年6月18日 优先权日2008年7月7日
发明者中谷让, 内垣雄一郎, 宇津井良彦 申请人:三菱电机株式会社