目录
传感器时空同步概述
时间同步
时间同步就是通过统一的主机给各个传感器提供基准时间，各传感器根据已经校准后的各自时间为各自独立采集的数据加上时间戳信息，确保所有传感器时间戳同步。
空间同步
不同传感器坐标系下的测量值转换到同一坐标系下（也可以理解为传感器在整车坐标系下的标定参数）。
时间同步
传感器时间硬同步
传感器时间戳
系统时间：
一般指的是SOC所搭载的系统对应的时间，是以UNIX或者 UNIX系统使用的时间进行表示，一般定义为从UTC时间的1970年1月1日0时0分0秒起 至现在的总秒数（10位是精确到秒，13位是精确到毫秒），如果考虑闰秒的话，也需要加上经闰秒调整后的总秒数。称为： 系统时间戳（有时候也称为Unix或POSIX时间戳）。
传感器时间戳
传感器频率
时间硬同步
通过唯一时钟源给各传感器提供相同的基准时间，各传感器根据提供的基准时间校准各自的时钟时间，从硬件上实现时间同步。
目前自动驾驶中主流时间同步是以GPS时间为基准时间，采用PTP/gPTP时钟同步协议来完成各传感器之间的时间同步，PTP（Precision Time Protoco） 前提是需要交换机支持PTP协议，才能实现高精度同步。 与PTP同时出现的还有一种NTP，即网络时间协议，不同的是：PTP是在硬件级实现的，NTP是在应用层级别实现的 。
1.统一时钟源
由于每个传感器都有自己的时间戳，这里统一时钟就是来同步不同传感器时间戳的。如果传感器支持硬件触发的情况下，可以采用GPS时间戳作为基准进行硬件触发，这时传感器给出的数据中包含的时间戳即为全局时间戳（GPS时间戳）而非传感器时间戳。
2.硬件同步1.触发
由于每种传感器的采样频率不一致，如lidar通常为10Hz，camera通常为25/30Hz，不同传感器之间的数据传输还存在一定的延迟，那么可以通过寻找相邻时间戳的方法找到最近邻帧，但如果两个时间戳相差较大，且传感器或障碍物又在运动，那么最终会得到较大的同步误差。这个情况可以采用 硬同步触发的方法来缓解查找时间戳造成的误差现象，也可以调整传感器的固有频率，如将相机调整为20Hz，减少时间差问题。
传感器时间软同步
1.时间索引-时间直接配准法
直接配准法，适合帧率具有整数倍数关系的传感器之间， 以频率低的为基准，找出时间戳对应的数据即可。如右图， 这种方法误差比较大，而且要求传感器之间的帧率是整数倍。
2.时间插值-时间最小二乘拟合法
最小二乘法是时间配准中常用的一种方法，适合帧率 非整数倍关系的传感器之间的时间对齐。
就是将其中一个传感器的观测数据通过某种特定的拟合原则得到一个关于时间的曲线，然后通过该 曲线得到与另一个传感器对应时刻的数值，即可得到同一时刻两种传感器的数据配准。如下：
3.内插外推法
内插外推法适用于 传感器间帧率不存在倍数关系的情况，或者 传感器有帧率不稳定的情况。 主要利用两个传感器帧上的时间标签，计算出 时间差，然后通过包含有运动信息的目标帧与时间差结合，对帧中每一个目标的位置进行推算，推算出新的帧时各个目标的位置，并于原有的两帧之间建立新的帧。
4.其他
关于时间同步，还有很多方法，如虚拟融合方法，泰勒展开方法 等等，甚至还需要实际情况提出种种改进措施。
空间同步
运动补偿
1.运动补偿–纯估计方法
纯估计方法一般是基于激光雷达 匀速假设，通过帧间点云匹配来计算激光雷达的位置来进行 线性补偿的。常用的 方法包括ICP(Iterative Closest Point，迭代最近点算法)以及其相关的变种(VICP)，以 及ANN(Approximate Nearest Neighbor)。
2.运动补偿–里程计辅助方法
里程计辅助方法是利用IMU信息对激光数据中每个激光点对应的传感器位姿进行求解，即求解对应时刻传感器的位姿，然后根据求解的位姿把所有激光点转换到同一坐标系下，然后封装成一帧激光数据，发布出去（可以理解为激光点云的去畸变）。
处理流程：
1）通过IMU与点云数据时间对齐，然后对每个点进行速度补偿，通过时间戳进行线性插值，然后将所有点云数据转换到初始点云的IMU坐标下；
2）与上一帧的去完畸变的点云数据进行帧间匹配，计算激光姿态。并通过计算的姿态对每个点云进行线性补偿，将所有的点云数据根据时间戳转换到最后一个点云数据时间戳下，即完成了里程计方法的补偿
- 运动补偿–融合方法
Odom(里程计坐标系，ROS)与匹配方法的结合。步骤：
- 用里程计方法进行矫正，去除绝大部分的运动畸变；
- 认为里程计存在误差，但是误差值是线性分布的；
- 用ICP的方法进行匹配，匹配的结果作为真值，得到里程计的误差值；
- 把误差值均摊在每一个点上，重新进行激光点位置修正；
- 再一次进行ICP迭代，直到收敛为止；
如下图所示，绿色部分为原始的点云数据，粉色为去除运动畸变的点云数据，很明显前半部分粉色的点云数据超前绿色的点云数据，后半部分的点云数据近乎重合。局部放大发现，粉色的点云数据超前于绿色的点云数据，但是形状依旧类似，怀疑与没有IMU数据校准相关。
传感器标定
传感器标定是自动驾驶的基本需求，也是多传感器融合的基础，需要首先确定各传感器之间的坐标关系以及各传感器与整车坐标系之间的转换关系。
标定场地
一般传感器安装完，需要对车辆进行整车的标定。标定分为 基于标定设备的标定和 基于自然场景的标定。基于标定设备的比较容易理解，如棋盘格, aruco码或April tag，如下图，采用这种方式，需要很大的整车标定间和摆正器，对于量产车型和主机厂比较有实力搞。
另一种就是基于自然场景的标定方法，这种方法利用场景中静止的物体（如树木、电线杆、路灯杆、交 通标识牌等）和清晰车道线进行标定，通过算法的设计等，可以有效地提高标定结果的准确度。如下图：
相机与相机
在智能驾驶车中 ，一般会有多个相机，长焦距是用来检测远处场景，短焦距用来检测近处的。 对于多相机， 一般采用长焦相机投影到短焦相机的融合图像进行标定（已经不再是简单的共视，而是目标对齐）。在融合图像的融合区域内，选择较远物体 进行对齐判断，如果重合度高，那么精度则高，如果出现错位，那么就存在一定误差。如果误差大于一定值，就需要重新标定。（注：近处物体因为相机畸变，存在水平错位， 且距离越近，错位量越大。纵向不受畸变影响。）
相机与lidar
相机和激光的标定有很多种， 基本思想都是建立相机与激光雷达的约束关系，即精确的激光雷达坐标系，车体坐标系，相机坐标系，图像坐标系，像素坐标系之间的 坐标转换关系。
最常见的激光与相机联合标定方法是将激光产生的点云投影到图像内（数据融合），然后寻找标记物（可能是标定设备，也可能是具有明显边缘的静止物体），查看其边缘轮廓对齐情况，如果在一定距离内（一般选50-60m） 的目标，一般算法包括语义分割和点云分割等，点云边缘和图像边缘能够重合，则可以证明标定结果的精度很高 ，如果出现错位，那么标定结果存在一定的误差，当误差超出一定范围时 ，标定失败。另外，相机和激光联合标定有很多种工具可以直接使用，如 Autoware，apollo，kalibr lidar_camera_calibration等。
那么关于空间标定算法，最常见地就是手眼标定了。如上图，一种手眼标定的方法，并 加入了传感器融合里程计来对传感器进行运动估计的思想。即先获取摄像头和激光雷达的初 始外参，然后利用初始外参和点云数据（ICP 对激光进行姿态估计），重新计算带尺度的相 机运动，并根据这些运动重新计算传感器外部参数，并反复进行相机运动（一般采用特征匹 配的方法）和外部参数的交互，直到收敛为止。如上，假设 A 和 B 分别为两个固定传感器 观测到的位置和方向变化，X 为两个传感器之间未知的相对位置和方向，所以有 AX=XB， 求解 X，得到传感器之间的外参。并根据噪声对传感器的影响，采用卡尔曼滤波对传感器的 偏差进行补偿。其大概流程图如下：
相机与rader
直接标定法
直接标定法是将雷达和视觉信息在确保时间同步的基础上完成标定。为了保证数据的可靠性，一般采用相机的采样速率为基准，相机每采一帧图像，则选取毫米波上一帧缓存的数据，即完成毫米波与 相机融合的一帧数据（共同采样数据），从而保证了毫米波雷达数据 与相机数据时间上的同步。 完成时间同步后，需要完成空间同步。而空间同步一般需要在标定场进行：把一个角架放置在不同的位置，记 录毫米波雷达返回的距离和角度，同时记录摄像头测量的角架下边缘 的距离和角度。那么图像平面与雷达反射面之间关系如下：
雷达在相机坐标系下，极坐标系，其中ρ为毫米波雷达与目标之间的距离，ɑ为毫米波雷达的俯仰 角，β为毫米波雷达的扫描角度，h为毫米波雷达的安装高度，R为旋转矩阵，tx，ty是毫米波相对相机的平移量，Cx, Cy是相机主点，k相机内参，f相机焦距。通过这个关系，可以将毫米比雷达采集到的空间点转换到图像坐标系中，从而完成了传感器标定。
激光雷达辅助标定方法
为了更好地验证毫米波雷达与相机间外参的标定结果，引入激光雷达作为桥梁，通过同一系统中毫米 波雷达与相机的外参和相机与激 光雷达的外参，计算得到毫米波 雷达与激光雷达的外参，将毫米 波雷达数据投影到激光雷达坐标 系中与激光点云进行融合，并画 出相应的鸟瞰图进行辅助验证。
如下图融合图像中，白色点为激光雷达点云，绿色实心圆为毫米波雷达目标，通过图中毫米波雷达目标是否与激光 雷达检测目标是否重合匹配进行判断，如果大部分目标均能 对应匹配，则满足精度要求，否则不满足，需重新标定。
lidar和lida标定
当多激光时，需要考虑拼接 以获得更大范围的3D覆盖面，那么这时就需要外参来将多个激光 统一到车辆坐标系下，以便能把各个雷达的点云进行很好的拼接 。除了多个激光均单独标定外， 还可以利用激光SLAM建图的方式来完成点云图的拼接。
基于数据和轨迹是同步的假设，首先用LiDAR0进行移动SLAM建图，获得子地图M。然后将LiDAR1的点云基于同步的时间戳与运动轨迹、与粗图估计初值旋 转平移变换到对应子地图M附近，通过几何结构一致性约束和近邻匹配算法不断 迭代，减少匹配误差，直到算法收敛并满足标定矩阵刚性不变特性（六条平行线 ），最后用一致性算法计算出最终标定矩阵。在移动采集数据期间，需保证基准 激光雷达扫描的区域（地图M）能被其余激光雷达所探测，尽量选用室内地下车 库等特征丰富的环境，采集数据时避免四周有移动物体，运动时尽量缓慢，特别 是转弯处，以最小化运动畸变。激光雷达的安装不局限于重叠FOV，可任意安装 ，只要能保证获取外参初值即可。
相机和IMU
相机与IMU标定其原理是利用视觉建图与IMU轨迹重合来完成标定的，这里对原理不做过多介绍， 等后面实战课展开。可以学习下 kalibr，它支持对Camera-IMU标定。
整车标定
整车标定，可以理解多所有传感器的联合标定，即在一个专门设计过的封闭开阔区域，有很多信息比较明显的参照物（如车辆周围的标定板或者周围轮廓比较明细的障碍物），利用上述几种方法进行整车所有感知传感器的标定。
点个赞吧！
The end!
Original: https://blog.csdn.net/weixin_51449137/article/details/120873175
Author: 是安澜啊
Title: 【多传感器融合理论】02自动驾驶中多传感器同步理论
原创文章受到原创版权保护。转载请注明出处：https://www.johngo689.com/597401/
转载文章受原作者版权保护。转载请注明原作者出处！