物联网学报, 2019, 3(3): 84-89 doi: 10.11959/j.issn.2096-3750.2019.00123

服务与应用

基于智慧公路的行人检测技术研究与实现

王云鹏1, 罗渠元1, 李长乐1, 毛国强2

1 西安电子科技大学综合业务网理论及关键技术国家重点实验室,陕西 西安 710071

2 悉尼科技大学电气与数据工程系,新南威尔士 悉尼 2007

Research and implementation of pedestrian detection technology based on smart road

WANG Yunpeng1, LUO Quyuan1, LI Changle1, MAO Guoqiang2

1 State Key Laboratory of Integrated Services Networks,Xidian University,Xi’an 710071,China

2 School of Electrical and Data Engineering,University of Technology Sydney,Sydney 2007,Australia

通讯作者:

修回日期: 2019-08-07   网络出版日期: 2019-09-30

基金资助: 国家自然科学基金资助项目.  U1801266
国家自然科学基金资助项目.  61571350
陕西省重点研发计划.  2018ZDXM-GY-038
陕西省重点研发计划.  2018ZDCXL-GY-04-02
西安市科技计划项目.  201809170CX11JC12

Revised: 2019-08-07   Online: 2019-09-30

Fund supported: The National Natural Science Foundation of China.  U1801266
The National Natural Science Foundation of China.  61571350.  2018ZDXM-GY-038.  2018ZDCXL-GY-04-02
The Science and Technology Projects of Xi’an.  201809170CX11JC12

作者简介 About authors

王云鹏(1996-),男,山西晋中人,西安电子科技大学通信工程学院硕士生,主要研究方向为智能交通系统和车联网中的资源分配 。

罗渠元(1993-),男,四川达州人,西安电子科技大学通信工程学院博士生,主要研究方向为智能交通系统、车联网中的内容分发和资源分配 。

李长乐(1976-),男,新疆博乐人,西安电子科技大学教授、博士生导师,主要研究方向为网联网控无人驾驶、智能网联汽车超视距感知、交通大数据分析及应用、大规模网络技术以及高动态网络技术等 。

毛国强(1974-),男,湖北宜昌人,悉尼科技大学教授、博士生导师,主要研究方向为智能交通技术、车联网、智慧公路与智能网联驾驶、下一代移动通信系统(5G)关键技术研发、物联网以及无线定位技术等 。

摘要

针对行人检测大多利用车载设备实现,存在检测功能单一、成本高昂,并且检测效率和可靠性低等问题,提出了一种基于智慧公路的行人检测技术。通过在道路侧部署大量低成本、高可靠性的智能物联网行人检测设备,实时检测周围环境中的行人信息,并且将预警信息以极低时延的无线通信技术提供给车辆,提高了道路安全性。目前已开发出该行人检测系统的原型机,实地测试结果表明,该行人检测系统能有效检测行人,在检测范围4 m内,单个设备检测的准确率达80%,多个设备交叉部署方式检测的准确率可达100%。

关键词: 智慧公路 ; 物联网 ; 行人检测 ; 原型机

Abstract

Aiming at the problem of single detection function,higher cost and lower detection efficiency and reliability for current pedestrian detection,which was mostly realized by vehicle mounted equipment,a pedestrian detection technology based on smart road was proposed.By deploying a large number of low-cost,highly reliable Internet of things devices on the road,real-time detection of pedestrian information in the surrounding environment was realized.Early warning information can be provided to vehicles with very low latency wireless communication technology,which can improve road safety.At present,the prototype of the pedestrian detection system has been developed,and verified by field test,the pedestrian detection system can detect pedestrians effectively.Within the detection range of 4 meters,the accuracy of single device can reach 80%,and the accuracy of multiple cross-deployed devices can reach 100%.

Keywords: smart road ; Internet of things (IoT) ; pedestrian detection ; prototype

PDF (4252KB) 元数据 多维度评价 相关文章 导出 EndNote| Ris| Bibtex  收藏本文

本文引用格式

王云鹏, 罗渠元, 李长乐, 毛国强. 基于智慧公路的行人检测技术研究与实现. 物联网学报[J], 2019, 3(3): 84-89 doi:10.11959/j.issn.2096-3750.2019.00123

WANG Yunpeng. Research and implementation of pedestrian detection technology based on smart road. Chinese Journal on Internet of Things[J], 2019, 3(3): 84-89 doi:10.11959/j.issn.2096-3750.2019.00123

1 引言

与日俱增的汽车保有量使交通系统中的拥堵问题变得日益严峻,且交通事故频发[1,2]。我国1998—2017 年的交通数据显示,21 世纪因交通事故直接造成的经济损失逐步上升,目前趋于稳定,经济损失达每年10亿元人民币左右[3]。同时,每年全世界约有120万人死于道路交通事故,受伤人数多达5 000万,道路交通事故造成的直接经济损失达5 180亿美元[4]。因此,开发一种可靠的行人检测系统[5,6,7]来有效防止此类事故发生尤为重要,其可用于提醒驾驶员有行人在道路上或附近行走。目前,行人检测已广泛应用于交通管理、城市安全、无人驾驶、智能视频监控和视觉跟踪等领域[8]

现有的行人检测方案大多依托于车载设备并基于机器视觉来实现[9,10,11],通过实时分析摄像头采集的图像和视频信息以捕获行人信息。然而,这种方式存在一些不足:1) 在设备成本方面,部署成本普遍较高,只能区域性部署,检测范围有限,不能实现全局感知和检测。2) 在行人检测性能方面,基于机器视觉的方案受外界环境影响较大,如恶劣天气、周边建筑物以及植物被遮挡形成的阴影、强光照等都会严重影响目标检测效果,导致整个系统的检测可靠性下降。

针对上述行人检测存在的问题,本文充分挖掘作为交通网参与者的“路”的辅助功能,使“路”主动对行人进行感知,辅助车辆进行全局且更精准的感知。同时,我国已将智慧公路纳入国家发展战略中,制定了如《推进智慧交通发展行动计划(2017—2020年)》等相关政策,大力推进智慧公路与新一代国家交通控制网的建设[12]。为此,本文创新性地提出了低成本、高可靠性的基于智慧公路的行人检测技术,并开发了智能物联网(IoT,Internet of things)[13]行人检测设备,完成了基于智慧公路的行人检测系统设计与实现,将微波雷达传感器和地磁传感器等低成本、低功耗的传感器设备相结合,通过在道路侧大量部署智能IoT行人检测设备,可实现对检测区域内行人的实时、可靠检测,同时可辅助车辆感知,为车辆提供更及时、全面、精准和可靠的信息。若智能IoT行人检测设备检测到行人,会立即通知前方车辆,为驾驶员提供预警信息,有效提高了道路安全性。

2 行人检测技术及原理

本文所采用的行人检测机制主要依托于低成本、高可靠性的微波雷达传感器和地磁传感器,通过两者的有机结合,可以实现对行人的有效检测。同时,通过可靠的无线通信技术可将检测信息传输到车辆终端设备中,为驾驶员提供有效的前方道路行人信息,提高了驾驶员行车的安全性。

由于道路上的移动物体除了行人以外,大多数为车辆,当微波传感器检测到部署区域存在的移动物体时,为了区分行人和车辆,本文利用地磁传感器进一步判断移动目标是否为行人,若是行人,则通过无线通信方式将预警信息发送到车载终端进行预警提示。

2.1 微波雷达传感器工作原理

微波雷达传感器利用多普勒效应的原理进行设计,当信号发射端和探测目标之间有相对运动时,接收端接收的信号频率和信号发射端发射的信号频率就会发生偏移。具体表现为:当相对运动为远离时,接收端信号频率会低于发射端信号频率,反之则高于发射端信号频率,而且发射端和接收端之间的相对运动速度越大,则收/发两端的信号频率变化就越明显。因此,可以根据收/发两端的信号频率是否一致来判断在发送端的探测范围内是否存在移动目标。

本文采用连续波雷达传感器,即只需要从反射信号中提取微波信号的频率变化,不需要复杂和精确的其他信息,结构简单、成本低且易处理。为便于计算和分析信息,只考虑整个微波雷达传感器发射波波瓣中沿着安装方向发射的信号以及这部分波源产生的回波信号,不考虑照射面其他区域反射回来的雷达波的影响,则发射信号表达式为

s(t)=Acos(ω0t+φ)(1)

其中,A表示发射信号的幅度,ω0表示发射信号的角频率,ϕ表示发射信号的初相位。根据上述简化设定,雷达模块接收的地面反射区域回波信号sr(t)可简化为

sr(t)=ks(ttr)=kAcos[ω0(ttr)+φ](2)

其中,tr=2RC 表示微波雷达传感器发出的雷达波遇到探测目标后接收回波信号所需要的时间;R表示传感器与探测目标之间的距离,C表示雷达波在空气中的传播速度,k 表示回波信号相对于发射波的衰减系数。

如果微波雷达模块与探测目标之间没有相对运动,则发射波与反射波之间不存在频率差,即发射波和反射波没有发生频率变化,多普勒频率的值为 0,发射波与反射波根据传感器与探测目标之间的距离产生一个固定的相位差

ω0tr=2πf0×2RC=2πλ×2R(3)

其中,f0表示微波信号频率,λ表示微波波长。如果微波雷达传感器模块与探测目标之间存在相对运动,则距离R成为一个变量,它是一个以时间为自变量的函数,t时刻传感器与探测目标之间的距离表示为

R(t)=R0vrt(4)

式(4)中,R0表示初始微波雷达传感器模块与探测目标之间的距离,vr表示探测目标在正对微波模块方向的移动速度,则发射波与反射波之间的相位差可表示为

φ=ω0tr=ω02C(R0vrt)=2π2λ(R0vrt)(5)

微波雷达传感器的发射波与反射波之间的频率差为

fd=12πdφdt=2λvr(6)

利用微波雷达传感器可以实现对部署区域的实时检测,其灵敏度高、成本低,大幅度增加了外界环境的感知距离,为道路行人的可靠检测提供了强有力的支持。

2.2 地磁传感器工作原理

上述基于微波雷达传感器的行人检测原理是基于多普勒效应实现的,这种类型的传感器主要用于探测处于运动中的目标,所以将其应用于行人检测系统中时,必须通过其他方式来屏蔽车辆等金属物对行人检测形成的干扰,以提高系统的可靠性。因此,本文提出的行人检测系统中采用微波雷达传感器与地磁传感器组合的方式实现可靠的行人检测。

地磁传感器是利用周围地磁场的变化情况来判断周围是否存在金属物等可引起地磁场发生变化的物体。地磁传感器上电时,会首先触发校准状态,并会对一段时间内的本地磁场进行采样。从而,根据式(7)可得到本地参考磁场通量大小FM ref(k)

FMref(k)=BXref(k)2+BYref(k)2+BZref(k)2(7)

其中,BXref(k)、BY ref(k)、BZ ref(k)分别为X、Y、Z轴地磁场参考基准分量。FM ref(k)为服从均值为μ、标准差为σ的正态分布,即FM ref(k)∝N(μ,σ)。同时,根据该分布设置了一个车辆检测阈值OTH,其初始值是通过将地磁传感器部署于路面,实地测试地磁数据得到的,计算如式(8)所示。

OTH=μ+α×σ(8)

其中,α为根据大量测试并且考虑式(8)关系得到的测试结果,这里取α=6。地磁传感器初始化结束后,会一直处于检测状态,并会对其采集的地磁数据进行均值滤波,这样可以处理突变数据,使采样数据更加平滑且数据可靠性更高。根据当前地磁传感器轴检测值BX(k)、BY(k)和BZ(k)计算当前磁场通量的值FM(k),当满足FM(k)≥OTH 时,表明此时有车辆经过。FM(k)的计算如式(9)所示。

FM(k)=

(BX(k)BXref(k))2+(BY(k)BYref(k))2+(BZ(k)BZref(k))2(9)

同时,本文采用基于动态阈值调整的地磁传感器检测算法,即通过当前磁场通量值与之前M次磁场通量值作差后取平均值,这里取M=10,与当前设定阈值进行比较,即如式(11)所示,若大于当前阈值,则根据式(10)调整X、Y、Z轴的地磁场参考基准分量,利用式(9)得到新的FM(k),最终根据式(8)得到新的检测阈值,实现了阈值的在线实时更新。

Bϖref=1Mi=0M1Bϖ(ki);ϖ={X,Y,Z}R3(10)

1Mi=0M1[FMref(ki)FMref(k)]OTH(11)

本文的地磁传感器检测算法主要以Z轴的数据变化作为判断阈值,以 X、Y 轴的数据作为辅助判断。一方面,可以消除相邻车道中的车辆对探测区域内经过车辆的影响;另一方面,可以消除当车辆经过时,Z轴数值上下浮动的情况。当Z轴数值的变化量大于设定阈值时,则判断为有车经过传感器部署区域;当X、Y、Z轴的变化量之和不超过设定阈值时,则判断为探测区域内无车辆经过。

3 基于智慧公路的行人检测系统设计

基于上述微波雷达及地磁传感器的工作原理,通过搭建行人检测硬件和软件系统,实现了基于智慧公路的行人检测系统设计。

行人检测硬件系统主要包括电源管理模块、中心控制模块、预警模块、微波与地磁检测模块以及无线通信模块。1) 电源管理模块由锂电池和太阳能电池板组成,太阳能电池板白天可为智能IoT行人检测设备进行充电,夜晚由锂电池为智能IoT行人检测设备供电;2) 中心控制模块采用 STM32F103 RCT6 集成芯片,主要对微波和地磁传感器的数据进行处理,判别行人和车辆,并对道路中的车辆和行人进行提醒和警示;3) 预警模块采用LED灯闪烁的方式对来往车辆进行警示;4) 无线通信模块采用低功耗、高可靠性的 LoRa 无线通信技术,实现智能IoT行人检测设备之间、智能IoT行人检测设备与车载终端的信息交互。

与传统行人检测系统的硬件设备相比,本文提出的硬件系统大多采用低成本的数字传感器,虽然在单传感器精度上稍逊色于现有方案中的高精度硬件设备,但是通过广覆盖的部署原则可以很好地弥补这一不足,使得整个系统的检测精度和可靠性远远高于基于单设备检测系统的性能。其次,结合实际场景的需求,在硬件设计中,系统所有器件均采用低功耗器件,满足整个系统极低功耗的运行需求,大幅度降低了设备后期的维护和管理工作量。

行人检测系统软件将系统中各个不同功能的数字传感器有效地结合在一起,使用Keil软件编写工程文件并烧录到 STM32 中,满足系统整体控制逻辑的要求,使得各个模块之间紧密结合、协同工作。基于上述行人检测软、硬件系统设计,基于智慧公路的行人检测系统设计架构如图1所示。

图1

图1   基于智慧公路的行人检测系统设计架构


4 实际应用场景分析

无斑马线和有斑马线的直道场景分别如图2图3所示,图2图3中顶部粉色区域为道路外侧人行道,红色方块为布设的智能IoT行人检测设备,为保证检测范围涵盖整条道路,布设尽量少的产品以节约成本,产品采用交叉布设的方式。设置微波检测模块角度,当行人沿道路外侧人行道行走时,不进行行人检测;当行人进入道路以及横穿道路时,智能IoT行人检测设备能够检测到行人并实现预警。

图2

图2   无斑马线的直道场景


图3

图3   有斑马线的直道场景


十字路口应用场景如图4所示,人行道两侧交叉布设了智能 IoT 行人检测设备。当十字路口交通灯为红灯时,行驶在十字路口的车辆停止通过,行人可以正常通过斑马线,此时设备处于未报警状态;当十字路口交通灯为绿灯时,行驶在十字路口的车辆正常驶过,此时若有行人经过斑马线则属于危险行为。一旦有行人进入斑马线,智能 IoT 行人检测设备会与交通灯进行通信,设备处于正常检测状态,及时报警并警示车辆和行人,避免发生危险。

图4

图4   十字路口应用场景


5 测试场景及结果

智能IoT行人检测设备原型机如图5所示,根据不同场景的需求将其大量部署于路侧,从而可实现有效、可靠的行人检测。目前,开发设备已在西安天朗梦想小镇进行了实地测试,智能IoT行人检测设备在西安天朗梦想小镇的夜间部署场景如图6所示,采用交叉部署的方式将原型机布设于人行道,特别适用于夜间检测行人,可实现 LED 闪烁预警。基于智能IoT行人检测设备的车路协同部署场景如图7所示,在道路侧每间隔4 m部署一个智能IoT行人检测设备,设备之间可相互通信。同时,将行人检测信息发送到无人驾驶汽车中,可实现车路协同和无人驾驶汽车的安全驾驶。

图5

图5   智能IoT行人检测设备原型机


图6

图6   智能IoT行人检测设备在西安天朗梦想小镇的夜间部署场景


图7

图7   基于智能IoT行人检测设备的车路协同部署场景


经过对原型机性能的大量测试,得到单个设备与多个设备交叉部署检测准确率测试结果如图8所示,其中,多个设备部署方式采用图2 中的交叉部署方式。单个设备和多个设备的检测结果是将模块按要求部署于路面后,通过行人在路面移动,根据模块上的LED灯闪烁来判定是否检测到行人而得到的,即通过总检测次数以及漏检和误检次数,可求得对应的检测准确率,计算方法为:检测准确率=(总检测次数-漏检和误检次数)/总检测次数。

测试结果表明,在单个设备检测的情况下,随着距离的增加,检测准确率呈下降趋势,在检测距离为2 m内,检测准确率可达100%;在检测距离为4 m内,检测准确率可达80%;最远检测距离可达7 m,此时检测准确率为50%。而采用多个设备交叉部署的方式,检测距离为4 m内的检测准确率可达 100%,原因在于交叉部署可以弥补单模块检测存在性能较弱的区域,可实现对路面的全覆盖。当部署距离超过4 m时,由于微波模块受角度限制,会存在漏检区域,造成检测准确率下降,因此,4 m的检测距离可作为最佳部署间距。

图8

图8   单个设备与多个设备交叉部署检测准确率测试结果


6 结束语

本文提出了一种基于智慧公路的行人检测技术,解决了目前行人检测高成本、低可靠性的问题。该技术将微波、地磁等低成本、高可靠性的传感器集成到智能IoT行人检测设备中,通过广泛地部署该智能IoT行人检测设备于待检测区域,实现了对行人的实时检测。将开发的原型机部署于实际道路进行测试,测试结果表明,在检测距离为4 m内,单个设备检测准确率可达80%;而在道路采用多个设备交叉部署的方式,检测准确率可达 100%,有效地填补了单个设备感知的局限性。同时,通过与车辆通信,大幅度提高了车辆对环境感知的可靠性,为未来构建一个安全、高效的车路协同智能交通系统提供了可靠的技术支持。

The authors have declared that no competing interests exist.
作者已声明无竞争性利益关系。

参考文献

LYU Y , DUAN Y , KANG W ,et al.

Traffic flow prediction with big data:a deep learning approach

[J]. IEEE Transactions on Intelligent Transportation Systems, 2015,16(2): 865-873.

[本文引用: 1]

DRESSLER F , HARTENSTEIN H , ALTINTAS O ,et al.

Inter-vehicle communication:quo vadis

[J]. IEEE Communications Magazine, 2014,52(6): 170-177.

[本文引用: 1]

闫生栋, 周帅鹏 .

基于 SPSS 统计分析的交通事故现状研究

[J]. 现代商贸工业, 2019,40(13): 122-123.

[本文引用: 1]

YAN S D , ZHOU S P .

Research on traffic accident status based on SPSS statistical analysis

[J]. Modern Business Trade Industry, 2019,40(13): 122-123.

[本文引用: 1]

刘强, 陆化普, 张永波 ,.

我国道路交通事故特征分析与对策研究

[J]. 中国安全科学学报, 2006,16(6): 123-128.

[本文引用: 1]

LIU Q , LU H P , ZHANG Y B ,et al.

Characteristic analysis and countermeasure study on road traffic accidents in China

[J]. China Safety Science Journal, 2006,16(6): 123-128.

[本文引用: 1]

MISEIKIS J , BORGES P V K .

Joint human detection from static and mobile cameras

[J]. IEEE Transactions on Intelligent Transportation Systems, 2015,16(2): 1018-1029.

[本文引用: 1]

ETINGER A , BALAL N , LITVAK B ,et al.

Non-imaging MM-wave FMCW sensor for pedestrian detection

[J]. IEEE Sensors Journal, 2014,14(4): 1232-1237.

[本文引用: 1]

HU X , LI T , WU Z ,et al.

Research and application of intelligent intrusion detection system with accuracy analysis methodology

[J]. Infrared Physics & Technology, 2018,88: 245-253.

[本文引用: 1]

MASSOW K , KWELLA B , PFEIFLER N ,et al.

Deriving HD maps for highly automated driving from vehicular probe data

[C]// IEEE International Conference on Intelligent Transportation Systems. IEEE, 2016: 1745-1752.

[本文引用: 1]

LI Z , CHEN Z , WU Q M J ,et al.

Real-time pedestrian detection with deep supervision in the wild

[J]. Signal,Image and Video Processing, 2019,13(4): 761-769.

[本文引用: 1]

CAO Y , GUAN D , WU Y ,et al.

Box-level segmentation supervised deep neural networks for accurate and real-time multispectral pedestrian detection

[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2019(150): 70-79.

[本文引用: 1]

LWOWSKI J , KOLAR P , BENAVIDEZ P ,et al.

Pedestrian detection system for smart communities using deep convolutional neural networks

[C]// System of Systems Engineering Conference. IEEE, 2017: 1-6.

[本文引用: 1]

元中华 .

浅谈智慧公路建设智慧路网

[J]. 科技经济导刊, 2019,27(2): 33-34.

[本文引用: 1]

YUAN Z H .

Talking about smart road and building intelligent road network

[J]. Science and Economic Guide, 2019,27(2): 33-34.

[本文引用: 1]

孙玉 .

我国物联网产业发展趋势

[J]. 物联网学报, 2017,1(3): 1-5.

[本文引用: 1]

SUN Y .

The development trend of the Internet of things industry in China

[J]. Chinese Journal on Internet of Things, 2017,1(3): 1-5.

[本文引用: 1]

/