本文僅用于個人紀錄。

激光雷達與相機標定

基本原理即尋找雷達和相機的對應點，然后求解外參RT問題。
難點在于，如何進行數據關聯，即雷達和普通相機的電如何確定對參數的約束方程？

手工標定法

一類方法手工標定對應點，即從點云中和圖像中人工點擊對應的點，然后進行計算。例如：https://github.com/zhenzhenxiang/autoware_camera_lidar_calibrator

自動法（特征提取與配準）

一類典型的方法是從LiDAR和普通相機中提取特征點，然后做3D和2D的標定，但這種方法精度不高。因此出現了一些3D和3D的對準。

另一類自動提取采用簡單的特征，進行精確關聯，然后3D配準，例如：

LiDAR-Camera Calibration using 3D-3D Point correspondences
官方公布的代碼：https://github.com/ankitdhall/lidar_camera_calibration

或利用棋盤格角點檢測，進行精確的關聯，例如棋盤格不同的反射率找角點：

Reflectance Intensity Assisted Automatic and Accurate Extrinsic Calibration of 3D LiDAR and Panoramic Camera Using a Printed Chessboard
https://github.com/mfxox/ILCC

或者利用棋盤提取邊緣特征，然后進行直線/平面的約束配準，例如：

Automatic Extrinsic Calibration of a Camera and a 3D LiDAR using Line and Plane
其他人復現的代碼：https://github.com/farhad-dalirani/extrinsic_calibration-of_a_camera_and_a_3d_lidar_using_line_and_plane_correspondences

或者更加自然的場景，例如紙箱：

Accurate Calibration of LiDAR-Camera Systems Using Ordinary Boxes

或者其他更加自然的場景。略掉了一堆基于learning的配準。

Zhou18IROS的方法

提取棋盤格邊界和平面在LiDAR系下的參數：
首先用ransac提取出平面參數，然后尋找平面的大致邊界點，可以區分出棋盤格的左右，再通過兩邊界點之間的方向確定一側的點對應的兩條邊；
為避免噪聲，將實測的點投影到平面后再投影到對應的一行水平掃描線，從而確定精確的邊界線。四條邊記為 $L_i{j}^L$，即第i個位姿的第j條邊，在L系下的坐標，以及平面法向量$n_i^L$

提取棋盤格邊界和平面在Camera系下的參數：
首先棋盤格參數已知，可以計算棋盤格空間平面；再根據棋盤格邊界在圖像中的直線，投影到三維空間與棋盤格平面求交線，確定三維參數，四條邊與法向量記作$L_i{j}^C,n_i^L$

求解外參
求解外參是基于約束，計算從LiDAR到Camera的旋轉 $R_L^C$ 和平移 $t_L^C$；
基于邊的約束：$$R_L^C{d}_{ij}^L=d_{ij}^C$$ $$(I?d_{ij}^C(d_{ij}^C{)}^T)(R_L^C{Q}_{ijk}^L+t_L^C?P_{ij}^C)=0_{3\times 3}$$ 其中d為空間直線上的法向量。第一個式子就是法向量的旋轉，二式中Q_ijk是LiDAR下邊界上一點，經過平移旋轉后做差應該是Camera下棋盤格的邊界線，與左側相乘是另一個約束（但沒搞清楚具體的約束含義是啥）。
同理，可以計算法向量的約束

作者后續給出證明，平行的兩條線的約束本質上是一樣的，且一個pose給出的約束足夠計算Rt參數。但還給出了多個pose的基于SVD分解的求解方法，能夠實現更高的精度。

Dhall17Arxiv的方法

直接利用3D點進行類似ICP的配準。其中camera的3D點是通過aruco計算出來，LiDAR的是尋找卡片的角點，以實現DA。具體過程略。

總結

以上是生活随笔為你收集整理的【学习记录】激光雷达与相机标定的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。