基于环视的道路标线检测与识别 | 厚势汽车

2018 年 3 月 21 日 厚势 顾霄琳/杨明/王冰


厚势按:本文针对传统道路标线检测系统采用前视摄像头易受车辆遮挡等问题,提出了一种基于环视的多类型道路标线检测与识别方法。


该方法利用车辆四周的路面信息,根据近视野道路标线呈直线的特性,采用 Hough 变换提取环视图像主方向以矫正图像角度,然后建立 x 方向统计直方图提取行车线区域,对此区域建立 y 方向统计直方图进一步提取标线特征,通过特征分析识别道路标线的虚实和线数信息,利用 HSV 色彩分析获取颜色信息。


最后分别用卡尔曼滤波器和置信度度量方法对检测和识别结果进行滤波并实现检测。实验结果表明该方法对环视图像中的道路标线有很高的检测率和识别率。


本文来自 2014 年 01 月 10 日出版的《 华中科技大学学报(自然科学版)》,作者是上海交通大学自动化系系统控制与信息处理教育部重点实验室的顾霄琳、杨明教授和王冰高工以及上海交通大学机器人研究所的王春香副教授。



基于视觉的道路标线提取一直是智能交通领域的重要组成部分,它为车辆的辅助驾驶和自主导航提供基础。至今已有大量研究围绕于此,方法上可归结为基于特征和基于模型两种,如典型的有基于模板匹配的 LOIS 系统 [1],基于 3D 道路模型的 GOLD 系统 [2] 等,也有针对复杂道路环境的车道检测,如文献 [3-4]。


然而,大部分研究工作致力于道路标线的检测与跟踪,对于行车线类型识别研究却很少。行车线类型为车辆辅助驾驶和自主导航提供了重要线索,如白色单虚线划分同向车道,允许变道,而双黄线划分不同方向的车道,不允许变道。


现有的基于视觉的行车线检测大多采用前向视角的摄像头 [5-8],虽然可视范围较远,但远处行车线分辨率低,且易受逆光影响和车辆遮挡。相对于车辆前方,车辆两侧的道路标线不易受别的车辆干扰,可靠性较高。


车载环视系统利用安装在车身四周的鱼眼相机获得图像,通过图像畸变校正、逆透视变换及图像拼接融合得到环视图像,其视野集中于车辆四周较近范围内,可以提供车辆两侧及前后方向清晰的车道线信息,且视野范围内呈现直线特征,有助于类型识别。


近年来车载环视系统的使用也越来越广泛,基于环视的车道线检测不论从应用性还是从成本方面都有较大优势。因此,本研究在环视系统的基础上对道路标线信息的检测方法进行了研究。



1. 行车线检测与识别


近视野范围道路标线可近似为直线,因此对于环视图像,可通过 Hough 变换对图像进行主方向提取与矫正,据此建立 x 和 y 方向统计直方图,并结合色彩空间对行车线类型进行分类。



1.1 基于 Hough 变换的图像角度校正


环视系统的图像序列以车辆行进方向为主方向,行车线随车辆偏航而旋转。为使方法具有旋转不变性,须进行角度矫正,使图像规整为以行车线方向为主方向 [9]。由于环视视野内的行车线呈明显的直线特征,因此采用 Hough 变换进行角度矫正有很好的效果。


图 1  图像角度性


在提取主方向之前,首先要对行车线进行特征粗提取,形成特征图。由于行车线具有明显的宽度特征和上升、下降边缘特征,利用改进的边缘检测算子可提取出满足要求的特征点,去噪后得到特征图(如图 1(b) 所示)


对特征图进行 Hough 变换 [10],得到一类平行线,从中选取最长的线段,作为图像的主方向。在完成了图像主方向提取后,利用主方向对图像进行旋转矫正(如图1(d)所示)。在主方向矫正角度为 θ、矫正基准点为车辆中心(x_c, y_c)的情况下,矫正前图像中的某一个像素点(x, y)在矫正后的坐标(u, v)为:




1.2 行车线区域提取


完成图像角度矫正后,图像的 y 方向与主方向基本平行。为提取行车线区域,建立和角度矫正后图像 x 方向尺度相同的多维累加器,根据矫正后特征图中特征点在 x 方向投影的位置对累加器进行累加,从而获得整幅图像的 x 方向统计直方图。


图 2  行车线区域提取


图 3  行车线类型识别


每条行车线均会产生一个峰值,如图 2 所示。当某侧有多个峰值产生时,须对其进行约束,若两个峰值的距离不大于双线间距,则将其融合,否则进行非极大抑制,筛选出最大值,其位置记为 x^tt 为 L 表示左侧,t 为 R 表示右侧。行车线兴趣区域被限制为(x^t - e,x^t + e),e 为检测裕度。同时可计算车辆中心与车道偏离 λ_t=| x_c - x^t |



1.3 行车线类型识别


行车线区域提取将感兴趣缩小至每条行车线两侧很小范围内,大大减小了噪声干扰。对于每个兴趣区域,建立 y 方向统计直方图,统计图像在该方向上产生的边缘对。一个边缘对由一个上升沿和一个下降沿组成,本文使用具有亚像素精度的边缘检测方法提高准确度 [11],用滑动平均法滤除由标线部分模糊等因素造成的噪声,得到一条类方波曲线,如图 3 所示,其中: 为边缘对统计值;wy 轴尺度;w_(s,i) 为相应长度。


y 方向统计直方图中可获得用于行车线类型识别的特征,



可得到如下几个重要特征量:



利用这三个特征对行车线进行分析,便能识别其单/双,虚/实信息。若是单实线,r_s 应当接近于 1,r_d 为 0;若是虚实线,r_s r_d 应大于一定的阈值;若 F 过大,则有很大可能受到噪声干扰。



1.4 行车线颜色识别


RGB 颜色空间是一种不均匀的颜色空间,不适合彩色图像的分割。HSV 颜色空间将色彩分为色度、饱和度和亮度,分割的效果相对于 RGB 的要好很多[12]。


目前存在的行车线均为白色或黄色。对 1.2 节中提取的对应于道路标线的像素点,按其 HSV 色彩特征,设定阈值进行颜色归类。当某个颜色占主导地位时,将该颜色作为识别结果。



2. 滤波


尽管环视系统大大较高了行车线检测的可靠性,但检测结果仍会受到车辆换道、标线模糊等因素的影响,导致行车线区域提取失败。为此,利用检测过程中得到的参数进行卡尔曼滤波。


2.1 卡尔曼滤波


假定车辆在运动过程中保持匀速,对于左侧行车线,其状态为:



系统可描述为:



式中 W_k 是系统噪声,假定它为高斯白噪声,其协方差不随系统状态变化而改变。


为得到最优估计,将逐帧检测结果作为系统观测值送入滤波器迭代。将检测值与卡尔曼滤波器的预测值进行比较,若误差在设定阈值内,则检测值有效,否则以预测值作为观测值进行下一次迭代 [13]。若累计否定次数超过阈值,则重启迭代过程。对于右侧行车线进行同样的滤波。



2.2 置信度度量


卡尔曼滤波提高了行车线区域检测的准确性,对于类型识别,本研究采用置信度度量方法。选择亮度作为置信度度量标准,在提取的行车线区域内计算边缘的平均置信度为:



若置信度 C 大于阈值,则识别有效,否则认为标线模糊,将上一帧识别结果作为本帧结果。



3. 实验结果与分析


3.1 实验平台


实验所用为环视平台,车辆的前后左右各安装了一个鱼眼相机,采集到的图像接入车内嵌入式系统实时合成。行车线检测与识别由小型计算机进行处理,处理器主频为 3.10 GHz,内存 2 GB。


3.2 实验结果


使用环视系统采集了大量数据进行检测与识别,并从中选出 1200 张涵盖 2316 条道路标线的图像进行统计,检测结果如下:召回率 R=99.96%,精确度P=97.23%,R的计算公式为 R=T/(T+F1)P=T/(T+F2),其中:T 为正确检测到行车线的数量;F_1 为漏检的数量;F_2 为检测错误的数量。识别结果如表 1 所示。


表 1  基于环视的行车线识别结果


图 4 实验结果


图 4 给出了部分实验结果,其中包含了虚线、实线、双黄线等多种类型及有干扰情况下的识别结果。从实验结果可以看出,本研究基于环视的道路标线检测算法有很高的精确度。



参考文献


[1] LakshmananS, KlugeK. LOIS:A real-time lane detection algorithm [C]//Proceedings of the 30th Annual Conference on Information Sciences and Systems.Princeton: CISS, 1996: 1007-1012

[2] Bertozzi M, Broggi A. GOLD—a parallel real-time Stereo vision system for generic obstacle and lane detection [C]//IEEE Trans Image Process. Princeton:CISS, 1998, 7: 62-81

[3] KimZW. Robust lane detection and tracking in challenging scenarios [J]. IEEE Transactions On Intelligent Transportation Systems, 2008, 9(1):16-26

[4] GuoC, MitaS, McAllester D. Lane detection and tracking in challenging environment based on a weighted graph and integrated cues [C]//IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). Piscataway: IEEE, 2010:5543-5550

[5] Wang Y, Shen D, TeohE K. Lane detection using Catmull-Romspline [C] // IEEE International Conference on Intelligent Vehicles. Piscataway: IEEE,1998:51-57

[6] Chen W K. Linear networks and systems [M]. Belmont: Wadsworth, 1993

[7] Aly M. Real time detection of lane marks in urban Streets [C] // IEEE Symposium on Intelligent Vehicles. Piscataway: IEEE, 2008: 7-12

[8] Aufrere R, ChapuisR, Chausse F. A model-driven Approach for real-time road recognition [J]. Mach Vis Appl, 2001, 13: 95-107

[9] 陈放. 道路交通 标 线 检 测 识 别 与 建 图 方 法 研 究 [D]. 上海:上海交通大学自动化系,2011

[10] Duda R O, Hart PE: Use of the Hough transformation to detect lines and curves in pictures [J]. Comm ACM, 1972, 15:11-15

[11] GioiRG, JakubowiczJ, MorelJ, etal. LSD: a fast Line segment detector with a false detection control[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2010, 32(4): 722-732

[12] 田巍,庄镇泉. 基于 HSV 色彩空间的自适应肤色检测 [J]. 计算机工程与应用, 2004, 14: 81-85

[13] 马超. 基于单目视觉的车道偏离预警系统设计 [D]. 成都:电子科技大学电子工程学院, 2008



编辑整理:厚势分析师盖布林

转载请注明来自厚势和厚势公号:iHoushi



-END-


文章精选


企业家

马斯克和贾跃亭 福特CEO下台正道汽车仰融

任正非裁员电池大牛凯尔提离开特斯拉

智能驾驶

BBC自动驾驶纪录片自动驾驶第一案,谷歌讼Uber

为什么说百度阿波罗画虎不成反类犬?

基于线控制动系统的车辆横摆稳定性优化控制

一种基于激光雷达和视觉的行人检测方法

基于多传感器的车道级高精细地图制作方法

电子液压制动系统液压力控制发展现状综述

新能源汽车

全国50个新能源汽车项目大盘点

锂电池发展趋势中国汽车产业电动化进程

苹果收购特斯拉?丰田和特斯拉决裂

重庆大学:燃料电池关键材料与进展

干勇院士:中国氢能源体系

项目和评论

以色列最强10家自动驾驶创业公司

 37个汽车分时项目盘点百度投资蔚来汽车

马化腾或为共享单车最大赢家汽车产业3大趋势

Momenta获$4000万B轮

百度系自动驾驶初创公司 Pony.ai 的突围之路

这些大神从Google出走,创办了五家(命运各异的)无人车公司

无需基础知识,理解自动驾驶高精度行车定位技术


为您对接资本和产业

新能源汽车 自动驾驶 车联网




联系邮箱

bp@ihoushi.com

点击阅读原文,查看文章「集成式电子液压制动系统防抱死制动控制

登录查看更多
7

相关内容

卡尔曼滤波是一种高效率的递归滤波器(自回归滤波器),它能够从一系列的不完全及包含噪声的测量中,估计动态系统的状态。
基于深度学习的表面缺陷检测方法综述
专知会员服务
92+阅读 · 2020年5月31日
基于视觉的三维重建关键技术研究综述
专知会员服务
152+阅读 · 2020年5月1日
【CVPR2020-谷歌】多目标(车辆)跟踪与检测框架 RetinaTrack
专知会员服务
43+阅读 · 2020年4月10日
 图像内容自动描述技术综述
专知会员服务
84+阅读 · 2019年11月17日
自动驾驶技术解读——自动驾驶汽车决策控制系统
智能交通技术
29+阅读 · 2019年7月7日
自动泊车系统发展现状及前景分析 | 厚势
厚势
22+阅读 · 2018年1月22日
图像识别 | 道路识别的自动驾驶算法基本原理
沈浩老师
6+阅读 · 2017年5月12日
Arxiv
7+阅读 · 2018年12月5日
Arxiv
4+阅读 · 2016年12月29日
VIP会员
相关VIP内容
Top
微信扫码咨询专知VIP会员