史上最全 | 单目相机测距测速方法大盘点!

点击下方 卡片,关注” 自动驾驶之心“公众号

ADAS巨卷干货,即可获取

点击进入→

后台回复【ECCV2022】获取ECCV2022所有自动驾驶方向论文!

论文名称:Vision-based Vehicle Speed Estimation: A Survey

导读

在精确检测车速车距的方案中,视觉方案是非常具有挑战性的,但由于没有昂贵的距离传感器而大幅降低成本,所以潜力巨大。本文综述了基于视觉的车辆速度、距离估计。并建立了一个完整的分类法,对大量工作进行分类,对涉及的所有阶段进行分类。除此之外,还提供了详细的性能评估指标和可用数据集概述。最后,论文讨论了当前的局限性和未来的方向。

应用背景

车辆速度的准确估计是智能交通系统(ITS)的关键组成,这需要解决诸如同步数据记录、表示、检测和跟踪、距离和速度估计等问题。常见的速度估计应用场景包括自动驾驶、智能交通监控,分为固定传感器测试和移动相机/车辆下的测试。论文主要介绍了在固定位置下基于camera的速度与距离估计!下图为速度估计的整体流程:主要包括检测跟踪、距离估计、速度估计等;

史上最全 | 单目相机测距测速方法大盘点!

主要技术

上图汇总了基于视觉的车速测量系统的主要部分,Input data 、Detection and tracking、Distance and speed estimation、Application domains;

1.输入数据

基于视觉的测速测距方案输入为图像数据,对于每辆车,将有一系列图像,从第一次出现到最后一次出现。可用图像的数量将取决于摄像机相对于道路的姿态、焦距、帧速率和车辆速度。现有camera主要包括:交通camera和speed camera;

其他形式的输入数据包括车辆属性,如车辆类型、关键点、车牌大小等。camera标定在提供内外参数方面起着关键作用。路段尺寸的先验知识提供了计算道路与camera之间的外部关系甚至车辆速度的一些重要信息。

史上最全 | 单目相机测距测速方法大盘点!

2.检测和跟踪

必须在所有可用图像中检测车辆或其某些代表性特征。随着时间的推移跟踪车辆或显著特征对获得速度测量至关重要,可以应用不同的方法来处理这两个任务。

3.距离和速度估计

速度估计本质上涉及具有相关时间戳的距离估计。存在不同的方法来计算车辆与某些全局参考的相对距离,以及不同的方法计算车辆的速度。

4.应用领域

主要应用在交通监控、预测、控制、自动驾驶和移动机器人领域!

下图是机动车速度估计的全系列技术栈!

史上最全 | 单目相机测距测速方法大盘点!

分类

论文对135篇车速检测相关论文展开了调研,从输入开始,紧接着是检测、跟踪、距离和速度估计,最后是速度测量精度方法!论文对每个模块的工作进行了分类。

1.Camera设置

主要涉及摄像机固有参数(传感器尺寸和分辨率、焦距)和外部参数(相对于道路平面的位置,包括基于无人机的摄像机)以及摄像机数量(单摄像机、立体摄像机或多摄像机)。

根据这些参数,投影在图像平面上的真实场景可以表示沿短或大路段的一条或多条车道。根据这种配置以及车辆相对于camera的相对位置,能够得到其中一个最重要的变量:meter与像素的比率,即每个像素代表的路段部分。

该比率越低,估计距离和速度的精度越高,由于透视投影模型,该比率与距camera的distance平方成正比,这意味着在长距离进行的测量具有非常差的精度。

2.相机标定

为了在真实世界坐标中提供测量,需要精确估计摄像机的内部和外部参数。最常见的方法是执行软标定,即在实验室标定或使用传感器和透镜特性近似固有参数,使用手动[17、28、31、35、37、47、54、59、66、67、70、74、76、80、83、86、91、92、94、100、109、110、117、119、121、125、128、129]或自动程序[77、90]获得外部参数(道路平面和摄像机之间的刚性变换)。硬标定涉及在已安装摄像机的情况下联合估计内参和外参。也可以手动执行[20、38、58]或自动执行[12、14、18、19、23、33、78、85、88、101、108]。

在某些有限的情况下,摄像机标定被忽略[13、15、16、21、22、24-26、30、32、34、39-41、43、44、46、48-53、55、56、60-65、69、71、73、81、84、95、103-107、111、113、118、120、124]。

3.车辆检测

由于摄像机大多是静态的,在大多数情况下,车辆检测通过建模和减去背景来解决[12-15、18、20-28、30、32、34-37、40、42-44、47、48、50、51、53-55、61-63、65、71-75、81、83、84、86、92、93、95、102、103、108、110-113、117、118、121]。其他方法是基于特征的,例如,检测车牌[31、41、49、60、66、68、70、76、77、80、82、94、122、125]或车辆的其他特征[38、39、45、49、57-59、69、71、79、87、91、95、96、98、99、110-112、116、117、123]。最近,使用基于学习的方法识别图像中的车辆越来越多[19、85、88-91、98、100、101、104-106、115、120、126-129]。

4.车辆跟踪

车辆具有平滑和稳定轨迹的能力是处理车辆速度检测的关键问题,可以将车辆跟踪分为三类。

首先,基于特征的[17、19、20、22、31、33、37、38、45、51、53、55、58、59、61、62、69、71、74、79、85、88、91、92、93、97、112],它跟踪来自车辆的一组特征(例如,光流)。

第二,这些方法侧重于跟踪blob的质心或车辆的边界框[25、34、35、40、48、50、52、56、65、72、73、75、83、86、95,103, 106, 111, 118, 121, 122]。

第三,这些方法侧重于跟踪整个车辆[15、16、18、26-30、32、36、42-44、47、54、57、63、78、81、84、89、91、98、102、104、105、108、109、111、113、114、120、125、128、129]或其特定部分(如车牌[41、49、60、66、68、70、76、77、80、82、94、100、125])。

5.距离估计

对于单目系统,车辆距离的估计通常使用一组约束条件进行计算,例如平坦道路假设,包括基于单应性[15、16、18、20、22、34、37、52、53、61、66、94、98、99、110]和使用增强指示线、模式或region[19、20、23、24、26、32、38、47、79、86、87、107、124]的方法,或者通过使用关于一些物体的实际尺寸的先验知识(例如,车牌[41、49、60、66、68、80、125]或车辆的尺寸[42、62、78、103])。当使用立体视觉时,这些限制得到缓解[42、60、61、74、80、92、100、112]。

6.速度估计

在少数情况下,检测车辆速度的问题被提出为检测路段上的交通速度的问题,即直接获得平均道路速度值[12、17、20、23、32、34、38、40、42、51、53、54、58、61、69、77、79、80、81、84、85、94、102、105、110、113、121]。然而,在大多数情况下,检测是在单个车辆上进行的。需要关于camera帧速率的先验知识或每个图像的准确时间戳来计算测量之间的时间。使用连续的[14、18、19、22、25、33、35-37、41、46、48、50、55、65、67、68、71-76、78、82、83、85、88、89、92、96、100、103、120、129]或非连续的[15、24、26、28、30、31、43、44、47、49、52、59、66、70、71、86、87、93、95、99、106-108、111、118、124、125、128]图像来估计速度是一个基本变量,对精度有很大影响。如何整合所有可用测量(瞬时、平均、最佳等)也是影响测量最终精度的关键因素。

7.生成真值

目前的工作主要包括:汽车速度计、基于距离的技术(如雷达或激光)、基于GPS的技术(包括标准GPS、GPS里程表和DGPS)、光屏障和路面传感器(如压电或电感)。

相机设置与标定

1.相机的设置

camera设置直接影响速度估计方法的精度。考虑的第一类是摄像机位置,包括无人机摄像机[25、30、57、62、64、69、96、104-106、126]和交通摄像机,这些摄像机可以根据其高度大致分类为距离(≥ 5m)或close(

Original: https://blog.csdn.net/CV_Autobot/article/details/126552969
Author: 自动驾驶之心
Title: 史上最全 | 单目相机测距测速方法大盘点!

原创文章受到原创版权保护。转载请注明出处:https://www.johngo689.com/721008/

转载文章受原作者版权保护。转载请注明原作者出处!

(0)

大家都在看

亲爱的 Coder【最近整理,可免费获取】👉 最新必读书单  | 👏 面试题下载  | 🌎 免费的AI知识星球