物联网学报 ›› 2017, Vol. 1 ›› Issue (2): 76-83.doi: 10.11959/j.issn.2096-3750.2017.00021

• 理论与技术 • 上一篇    下一篇

基于毫米波雷达和机器视觉信息融合的障碍物检测

翟光耀1,陈蓉1,张剑锋2,张继光3,吴澄1,汪一鸣1   

  1. 1 苏州大学交通工程研究中心,江苏 苏州 215000
    2 苏州富欣智能交通科技有限公司,江苏 苏州 215000
    3 苏州高新有轨电车有限公司,江苏 苏州 215000
  • 修回日期:2017-06-20 出版日期:2017-09-01 发布日期:2018-03-10
  • 作者简介:翟光耀(1991-),男,苏州大学硕士生,主要研究方向为毫米波雷达、机器视觉和信息融合等。|陈蓉(1983-),女,博士,苏州大学实验师,主要研究方向为通信信号处理、时频分析理论、雷达信号处理及自适应信号处理等。|张剑锋,男,苏州富欣智能交通控制有限公司常务副总经理,苏州大学产业教授,主要研究方向为轨道交通。|张继光,男,苏州高新有轨电车有限公司高级工程师,主要研究方向为轨道交通。|吴澄(1976-),男,苏州大学副教授,主要研究方向为计算机工程、人工智能、图像处理等。|汪一鸣(1956-),女,苏州大学教授、博士生导师,中国电子学会高级会员,IEEE 会员,苏州大学通信与信息系统学科带头人之一,主要研究方向为无线通信网络、认知无线电、超宽带通信等。
  • 基金资助:
    江苏省科技厅基金资助项目(BY2015039-12);江苏省科技厅基金资助项目(KYLX_1231)

Tramway obstacles detection based on information fusion of MMV radar and machine vision

Guang-yao ZHAI1,Rong CHEN1,Jian-feng ZHANG2,Ji-guang ZHANG3,Cheng WU1,Yi-ming WANG1   

  1. 1 Transportation Engineering Research Center Soochow University,Suzhou 215000,China
    2 Shanghai Fuxin Intelligent Transportation Solutions Co.,Ltd.Suzhou 215000,China
    3 Suzhou Gaoxin District Tramway Co.,Ltd.,Suzhou 215000,China
  • Revised:2017-06-20 Online:2017-09-01 Published:2018-03-10
  • Supported by:
    Project Supported by the Science and Technology Department of Jiangsu Province(BY2015039-12);Project Supported by the Science and Technology Department of Jiangsu Province(KYLX_1231)

摘要:

提出一种基于毫米波雷达和机器视觉传感器信息融合的障碍物检测方法。首先对毫米波雷达和摄像头进行联合标定,实现雷达与图像数据的时空同步,将雷达探测到的目标位置准确投影到图像中,进而提出一种生成雷达目标感兴趣区域的方法,同时对图像信息运用帧差法,检测图像中运动的物体,得到检测区域。最后将雷达检测区域与机器视觉检测区域进行对比,计算重合度,并根据重合度初步区分目标为行人或车辆。实验结果表明,该方法能够很好地实现毫米波雷达与机器视觉联合检测障碍物,弥补了单一传感器在障碍物检测中的不足。

关键词: 智能驾驶, 毫米波雷达, 机器视觉, 信息融合

Abstract:

A method of obstacle detection based on information fusion of millimeter wave radar and machine vision sensor was proposed.Firstly,the millimeter wave radar and camera calibration,image and radar realize spatiotemporal data synchronization,the target position was accurate projection detected by radar images,and then a method of generating radar target region of interest,and the image information using the frame difference method,image detection of moving objects,detection area was put forward.Finally,the radar detection area was compared with the machine vision detection area.The coincidence degree was calculated,and the target was divided into pedestrian or vehicle according to coincidence degree.The experimental results show that the method can detect the obstacle of millimeter wave radar and machine vision well,and make up for the shortage of single sensor in obstacle detection.

Key words: intelligent driving, millimeter wave radar, machine vision, information fusion