专利名称：一种货车下心盘螺栓丢失故障识别装置及其识别方法
技术领域：
本发明属于铁路货车运行故障检测技术领域，具体涉及一种货车下心盘螺栓丢失故障识别装置及其识别方法。
背景技术：
铁路货车故障轨边图像检测系统是一套集高速数字图像采集，大容量图像实时处理技术，精确定位技术，网络化技术以及自动控制技术于一体的系统，简称TFDS。本发明属于TFDS铁路货车运行故障轨边图像检测领域，涉及一种货车运行故障图像自动识别装置， 具体是货车下心盘螺栓丢失故障图像的自动识别装置。目前TFDS系统主要以人工看图的方式对采集的图像进行故障识别，人力成本高， 劳动强度大。故障识别的效果受到检车员的生理状态和检车经验等主观因素的制约。图像自动识别理论已经在人脸识别、指纹识别、生产线安检等多个领域得到了广泛的应用，但是在货车故障图像自动识别领域内的研究还相对有限，还未出现此类应用。

发明内容
针对现有技术中存在的问题，本发明提出一种货车下心盘螺栓丢失故障识别装置及其识别方法，不影响列检人员在现有的TFDS系统上的正常工作，以友好的方式保存自动识别结果，给列检人员提供便捷的复检方式；能够对车辆类型进行细致分类，适应能力强， 也很容易增加新的车辆类型。本发明提出的一种货车下心盘螺栓丢失故障识别装置包括图像采集器、图像处理器和输出单元；所述的图像采集器负责采集货车下心盘螺栓所在部位的下心盘螺栓图像， 并将该图像传输至图像处理器；图像处理器负责对下心盘螺栓图像进行处理和识别，最终判断出下心盘螺栓图像中是否存在下心盘螺栓丢失的故障，并标记故障的位置，然后向输出单元输出识别完毕的图像，输出单元负责把识别完毕的图像输出显示。—种货车下心盘螺栓丢失故障装置的识别方法，其特征在于具体包括以下几个步骤(1)列车通过时，接收从图像采集器发出的运行中铁路货车车体的车辆信息，车辆信息包括车型、车辆数和图像数据。(2)选取读入待识别图像图像处理器根据车辆信息和图片命名规则，从货车车体图像库中提取出此辆列车含有下心盘螺栓部件的图像作为待识别图像，所述的图像的命名规则为x_y_z ；χ为车辆在车次列车中的编号，从1开始编排；y为该车辆的部位，y = 1 表示车辆的转向架部位，y = 2表示车辆的制动梁部位，y = 3表示车辆中间部部位，y = 4 表示车钩勾缓部；z为列车该部位图像的编号，从1开始编排，车辆型号不同。(3)等比例缩小图像处理器将接收的下心盘螺栓图像进行尺寸等比例缩小，采用图像降采样处理方法对接收到的图像的尺寸进行等比例缩小，具体为在原图像中每η个像素中，取第η个像素值作为缩小后图像中对应的像素值，对应等比例缩放的缩放比例为1/n，其中1/n —般选取 1/8 1/2。(4)根据下心盘螺栓图像的文件名后缀初定位根据下心盘螺栓图像文件名后缀中ζ的对应数字初步从待识别图像中框选下心盘螺栓部件在该图像中的范围，得到初定位的图像，具体得到初定位图像的方法为取待识别图像左上方的顶点为坐标原点，以穿过该点水平向右的方向为X轴正方向，以穿过该点竖直向下的方向y轴正方向；当Z = 1或7时，下心盘螺栓部件在待识别图像右侧，则初定位图像的范围为大于等于点A1、点B1、点C1和点D1构成的四边形区域；其中点A1的坐标为(106，453)，点B1的坐标为右上的坐标为，点C1的坐标为右下位置，点D1的坐标为(396， 453)，当ζ = 4或10时，下心盘螺栓部件在待识别图像左侧，则初定位图像的范围为大于等于点A2、点B2、点C2和点D2构成的四边形区域；其中点A2的坐标为(106，225)，点化的坐标为右上的坐标为(106，345)，点C2 (右下点)的坐标为右下位置(396，345)，点D2的坐标为 (396,225)。(5)将等比例缩小后的图像进行初步预处理图像处理器初定位的图像转换为灰度图像，然后对灰度图像进行亮度调整；所述的亮度调整为搜索初定位图像区域中像素值的取值区间，区间两端为区域的最小像素值和最大像素值，计算区域中每一个位置像素值与最小像素值的差值，并将该差值平均分布于像素值的取值区间内。(6)定位候选区域对初步预处理后的图像进行逐点遍历，判断是否为候选点，判断方法为计算预处理后图像的水平方向和垂直方向梯度值，通过判断图像中的每个点在上、下、左、右四个方向相邻的100 200像素值内水平方向和垂直方向的梯度值总和的大小，当总和的值大于 75时，成为候选点，所有候选点的集合构成候选区域。(7)提取候选区域的图像特征利用边缘特征、角特征和脊特征的提取方法对候选区域进行特征提取，形成特征提取向量数据组，特征向量数据数据组共分为3组，每组10个特征向量；第一组为边缘特征提取，第二组为角特征提取，第三组为脊检测特征提取。(8)对特征数据进行识别运算将提取出来的特征向量数据组输入的神经网络后，输出一个单值，判断此单值，如果该单值大于0. 5，则认为待识别图像存在下心盘螺栓丢失的故障。(9)输出识别结果将识别出的下心盘螺栓丢失的故障的位置标记在待识别图像上，并输出显示。本发明的优点在于(1)本发明提出的一种货车下心盘螺栓丢失故障识别装置及其识别方法，不影响列检人员在现有的TFDS系统上的正常工作；(2)本发明提出的一种货车下心盘螺栓丢失故障识别装置及其识别方法，以友好的方式保存自动识别结果，给列检人员提供便捷的复检方式；(3)本发明提出的一种货车下心盘螺栓丢失故障识别装置及其识别方法，全自动启动、停止，运行中不需要人工干预；
(4)本发明提出的一种货车下心盘螺栓丢失故障识别装置及其识别方法，对车辆类型进行细致分类，适应能力强，也很容易增加新的车辆类型；(5)本发明提出的一种货车下心盘螺栓丢失故障识别装置，图像文件的命名有预定义规则，使得自动识别算法比较简捷。


图1 本发明提出一种货车下心盘螺栓丢失故障识别装置的结构示意图；图2 本发明中神经网络的结构图。图中1-图像采集器；2-图像处理器；3-输出单元。
具体实施例方式下面将结合附图对本发明作进一步的详细说明。本发明提出一种货车下心盘螺栓丢失故障识别装置，包括图像采集器1、图像处理器2和输出单元3。所述的图像采集器1负责采集货车下心盘螺栓所在部位的下心盘螺栓图像，并将该图像传输至图像处理器；图像处理器2负责对下心盘螺栓图像进行处理和识别，最终判断出下心盘螺栓图像中是否存在下心盘螺栓丢失的故障，并标记故障的位置，然后向输出单元3输出识别完毕的图像，输出单元3负责把识别完毕的图像输出显示。本发明还提出一种货车下心盘螺栓丢失故障装置的识别方法，具体包括以下几个步骤(1)列车通过时，接收从图像采集器1发出的运行中铁路货车车体的车辆信息。所述的车辆信息具体指一列货车大概由40 70辆车和1辆机车构成，采集到的车辆信息数据主要包括车型、车辆数和图像数据。(2)选取读入待识别图像图像处理器2根据车辆信息和图片命名规则，从货车车体图像库中提取出此辆列车含有下心盘螺栓部件的图像作为待识别图像。所述的图像的命名规则为x_y_z，χ为车辆在车次列车中的编号，从1开始编排；y为该车辆的部位，y = 1 表示车辆的转向架部位，y = 2表示车辆的制动梁部位，y = 3表示车辆中间部部位，y = 4 表示车钩勾缓部；z为列车该部位(y值对应部位)图像的编号，从1开始编排，车辆型号不同，其车辆长短不同，因此图像数量也不同。如3_2_8表示该列车的第3辆车制动梁部位的第8张图像。下心盘螺栓是制动梁部位的部件，因此下心盘螺栓只会出现在x_2_z图像里， 本发明通过大量的统计，下心盘螺栓一般存在于X_2_l、x_2_4、x_2_7、x_2_10的图像中；本发明中图像的命名规则符合铁道部运输局装备部2008年3月颁布的《TFDS图像识别及运用软件平台技术标准》中《附件一 TFDS设备与TFDS图像识别及运用软件平台接口标准》中 2. 1的标准。(3)等比例缩小图像处理器2将接收的下心盘螺栓图像进行尺寸等比例缩小。等比例缩小图像尺寸采用图像降采样处理方法对接收到的图像的尺寸进行等比例缩小。具体为在原图像中每η个像素中，取第η个像素值作为缩小后图像中对应的像素值，对应等比例缩放的缩放比例为1/η，其中1/η —般选取1/8 1/2，优选为1/4，长和宽各变为原来的1/2，面积变为原来的1/4。在该等比例下识别速度和识别准确度可以达到最佳的平衡。
6
(4)根据下心盘螺栓图像的文件名后缀初定位根据下心盘螺栓图像文件名后缀中最后1位数字(即x_y_z种的ζ的对应数字)初步从待识别图像中框选下心盘螺栓部件在该图像中的大致范围(范围大小大致为 290X120)，得到初定位的图像。具体得到初定位图像的方法为取待识别图像左上方的顶点(即最左侧最上方的点)为坐标原点，以穿过该点水平向右的方向为χ轴正方向，以穿过该点竖直向下的方向y轴正方向。当ζ = 1或7时，下心盘螺栓部件在待识别图像右侧，则初定位图像的范围为大于等于点A1、点B1、点C1和点D1构成的四边形区域；其中点A1 (坐上点)的坐标为(106，453)，点B1 (右上点)的坐标为右上的坐标为(106，573)，点C1 (右下点)的坐标为右下位置(396，573)，点D1 (左下点)的坐标为(396，453)，当z = 4或10时， 下心盘螺栓部件在待识别图像左侧，则初定位图像的范围为大于等于点A2、点B2、点C2和点 D2构成的四边形区域；其中点A2(坐上点)的坐标为(106，225)，点化(右上点)的坐标为右上的坐标为(106，345)，点C2 (右下点)的坐标为右下位置(396，345)，点D2 (左下点)的坐标为(396，225)。可见得到的初定位图像的面积需大于等于(120X^0)。经过分析大量货车类型和查阅数千万故障图像后证明用这种对应关系判断故障候选区域的位置是可行的。(5)将等比例缩小后的图像进行初步预处理图像处理器2首先将初定位的图像转换为灰度图像，然后对灰度图像进行亮度调整。所述的亮度调整一般是将图像中感兴趣的部分像素的亮度值进行提升，目的是为了增加前景和背景的区别度，此处主要便于在图像中下心盘螺栓部件特征向量的提取，具体的方法为搜索初定位图像区域中像素值的取值区间，区间两端为区域的最小像素值和最大像素值，计算区域中每一个位置像素值与最小像素值的差值，并将该差值平均分布于像素值的取值区间内(即利用这个差值作为对应位置的像素值)。上述预处理过程中将图像从彩色图像变化为灰度图像，在转换的过程中可以做到丢弃颜色信息，但是不丢失故障特征 fn息ο(6)定位候选区域对初步预处理后的图像进行逐点遍历，判断是否为候选点(有下心盘螺栓丢失故障的图像像素点)。具体判断方法为计算预处理后图像的水平方向和垂直方向梯度值 (sobel值)，通过判断图像中的每个点在上、下、左、右四个方向相邻的100 200像素值内水平方向和垂直方向的梯度值总和的大小，当总和的值大于75时，成为候选点，所有候选点的集合构成候选区域。(7)提取候选区域的图像特征利用边缘特征、角特征和脊特征的提取方法对候选区域进行特征提取，形成特征提取向量数据组，特征向量数据数据组共分为3组，每组10个特征向量。第一组为边缘特征提取，第二组为角特征提取，第三组为脊检测特征提取。其中，数学上，脊检测特征提取中脊定义为最大面曲率方向上的极值点，可通过计算Hessian矩阵的特征值进行检测。固定尺度脊向量对目标宽度是非常敏感的。它使得尺度参数随着图像中脊结构进行自动调节。(8)对特征数据进行识别运算将提取出来的特征向量数据组输入的神经网络后，输出一个单值，判断此单值，如果该单值大于0. 5，则认为待识别图像存在下心盘螺栓丢失的故障。所述的神经网络的训练样本分为故障样本和非故障样本，均通过人工挑图的方式从列车图像数据中获取；神经网络为BP神经网络，由信息的正向传播和误差的反向传播两个过程组成。输入层各神经元负责接收来自外界的输入信息，并传递给中间层各神经元； 中间层是内部信息处理层，负责信息变换，根据信息变化能力的需求，中间层可以设计为单隐层或者多隐层结构；最后一个隐层传递到输出层，各神经元的信息经进一步处理后，完成一次学习的正向传播处理过程，由输出层向外界输出信息处理结果。当实际输出与期望输出不符时，进入误差的反向传播阶段。误差通过输出层，按误差梯度下降的方式修正各层权值，向隐层、输入层逐层反传。周而复始的信息正向传播和误差反向传播过程，是各层权值不断调整的过程，也是神经网络学习训练的过程，此过程一直进行到神经网络输出的误差减少到可以接受的程度，即直到训练样本的误差小于1个时，停止训练。(9)输出识别结果将识别出的下心盘螺栓丢失的故障的位置标记在待识别图像上，并输出显示。数据结果可以被人工直接查看，也可以被其他系统以可编程的方式进行自动访问。所述的图像采集器是一套配置有控制装置和摄像机的图像采集系统，所述的控制装置为当铁路货车通过时能自动接车的控制装置。所述的摄像机采用高速数字CCD摄像机。所述的图像采集器的补偿光源选用氙气灯，具有光效高、温度低、寿命长的优点。列车通过时，图像采集器实时进行计轴计辆、图像采集及传输，实现了过车实时图像采集；图像采集时图像采集器能够根据外部环境自动调整曝光时间及增益，确保在任何情况下，都尽可能获取最好的图像；摄像机和补偿光源全部被密封在防护盒内，轨边设备电源(包括大门、 光源)均为24V低压，安全可靠。
权利要求
1.一种货车下心盘螺栓丢失故障识别装置，其特征在于包括图像采集器、图像处理器和输出单元；所述的图像采集器负责采集货车下心盘螺栓所在部位的下心盘螺栓图像， 并将该图像传输至图像处理器；图像处理器负责对下心盘螺栓图像进行处理和识别，最终判断出下心盘螺栓图像中是否存在下心盘螺栓丢失的故障，并标记故障的位置，然后向输出单元输出识别完毕的图像，输出单元负责把识别完毕的图像输出显示。
2.根据权利要求1所述的一种货车下心盘螺栓丢失故障识别装置，其特征在于所述的图像采集器具有控制装置和摄像机的图像采集系统。
3.根据权利要求2所述的一种货车下心盘螺栓丢失故障识别装置，其特征在于所述的摄像机采用高速数字CCD摄像机。
4.根据权利要求2所述的一种货车下心盘螺栓丢失故障识别装置，其特征在于所述的图像采集器的补偿光源选用氙气灯。
5.一种货车下心盘螺栓丢失故障装置的识别方法，其特征在于包括以下几个步骤(1)列车通过时，接收从图像采集器发出的运行中铁路货车车体的车辆信息，车辆信息包括车型、车辆数和图像数据；(2)选取读入待识别图像图像处理器根据车辆信息和图片命名规则，从货车车体图像库中提取出此辆列车含有下心盘螺栓部件的图像作为待识别图像，所述的图像的命名规则为x_y_z ；χ为车辆在车次列车中的编号，从1开始编排；y为该车辆的部位，y = 1表示车辆的转向架部位，y = 2表示车辆的制动梁部位，y = 3表示车辆中间部部位，y = 4表示车钩勾缓部；ζ为列车该部位图像的编号，从1开始编排，车辆型号不同；(3)等比例缩小图像处理器将接收的下心盘螺栓图像进行尺寸等比例缩小，采用图像降采样处理方法对接收到的图像的尺寸进行等比例缩小，具体为在原图像中每η个像素中，取第η个像素值作为缩小后图像中对应的像素值，对应等比例缩放的缩放比例为1/η ；(4)根据下心盘螺栓图像的文件名后缀初定位根据下心盘螺栓图像文件名后缀中ζ的对应数字初步从待识别图像中框选下心盘螺栓部件在该图像中的范围，得到初定位的图像；具体得到初定位图像的方法为取待识别图像左上方的顶点为坐标原点，以穿过该点水平向右的方向为χ轴正方向，以穿过该点竖直向下的方向y轴正方向；当ζ = 1或7时， 下心盘螺栓部件在待识别图像右侧，则初定位图像的范围为大于等于点A1、点B1、点C1和点 D1构成的四边形区域；其中点A1的坐标为(106，453)，点B1的坐标为右上的坐标为，点C1的坐标为右下位置，点D1的坐标为(396，45 ，当ζ = 4或10时，下心盘螺栓部件在待识别图像左侧，则初定位图像的范围为大于等于点A2、点B2、点C2和点D2构成的四边形区域；其中点A2的坐标为(106，225)，点B2的坐标为右上的坐标为(106，345)，点C2 (右下点)的坐标为右下位置(396，345)，点D2的坐标为(396，225)；(5)将等比例缩小后的图像进行初步预处理图像处理器初定位的图像转换为灰度图像，然后对灰度图像进行亮度调整；所述的亮度调整为搜索初定位图像区域中像素值的取值区间，区间两端为区域的最小像素值和最大像素值，计算区域中每一个位置像素值与最小像素值的差值，并将该差值平均分布于像素值的取值区间内；(6)定位候选区域对初步预处理后的图像进行逐点遍历，判断是否为候选点，判断方法为计算预处理后图像的水平方向和垂直方向梯度值，通过判断图像中的每个点在上、下、左、右四个方向相邻的100 200像素值内水平方向和垂直方向的梯度值总和的大小，当总和的值大于75 时，成为候选点，所有候选点的集合构成候选区域；(7)提取候选区域的图像特征利用边缘特征、角特征和脊特征的提取方法对候选区域进行特征提取，形成特征提取向量数据组，特征向量数据数据组共分为3组，每组10个特征向量；第一组为边缘特征提取，第二组为角特征提取，第三组为脊检测特征提取；(8)对特征数据进行识别运算将提取出来的特征向量数据组输入的神经网络后，输出一个单值，判断此单值，如果该单值大于0. 5，则认为待识别图像存在下心盘螺栓丢失的故障；(9)输出识别结果将识别出的下心盘螺栓丢失的故障的位置标记在待识别图像上，并输出显示。
6.根据权利要求5所述的一种货车下心盘螺栓丢失故障装置的识别方法，其特征在于步骤(8)中的神经网络为BP神经网络。
7.根据权利要求5所述的一种货车下心盘螺栓丢失故障装置的识别方法，其特征在于步骤(5)中的1/n取值为1/8 1/2。
全文摘要
本发明提出一种货车下心盘螺栓丢失故障识别装置及其识别方法，该识别装置包括包括图像采集器、图像处理器和输出单元；该识别方法包括(1)接收从图像采集器发出的车辆信息；(2)选取读入待识别图像；(3)等比例缩小；(4)根据下心盘螺栓图像的文件名后缀初定位；(5)将等比例缩小后的图像进行初步预处理；(6)定位候选区域；(7)提取候选区域的图像特征；(8)对特征数据进行识别运算；(9)输出识别结果。本发明对车辆类型进行细致分类，适应能力强，也很容易增加新的车辆类型；不影响列检人员在现有的TFDS系统上的正常工作；以友好的方式保存自动识别结果，给列检人员提供便捷的复检方式。
文档编号G01V8/10GK102346844SQ20111016697
公开日2012年2月8日 申请日期2011年6月21日 优先权日2011年6月21日
发明者张益 , 赵新国, 韩涛 申请人:北京康拓红外技术股份有限公司