相机标定原理与实战【python-opencv】

2023年7月19日上午6:49 • 人工智能 • 阅读 46

文章目录

为什么要进行相机标定？
1. 成像几何
*
1.1 坐标系统
1.2 坐标转换
–
1.2 相机畸变
–
2. 相机标定
*
2.1 标定参数
–
2.2 标定流程
2.3 opencv 相机标定代码
–
2.4 标定相关函数
–
参考

为什么要进行相机标定？

相机的功能就是将真实的三维世界拍摄形成二维的图片。所以可以将相机成像的过程看做一个函数，输入是一个三维的场景，输出是二维的图片。但是，当我们想将二维的图片反映射成三维场景时，很明显，我们无法仅通过一张二维图来得到真实的三维场景。也就是说，上述的函数是不可逆的。

相机标定的目标是用一个具体的数学模型来模拟复杂的成像过程，并且求解出该数学模型中的一些参数，包括相机的内参，畸变系数和外参。这样我们便能够近似这个三维到二维的过程，进而找到这个函数的反函数，便可以从获取二维重建出三维。

一旦标定得到这些参数，我们就得到了一个完整的相机成像的数学模型，其在在机器视觉、图像测量、摄影测量、三维重建等应用普遍应用。如

（1）对相机拍摄的图片进行畸变校正；
（2）确定空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系；
（3）确定物理尺寸和像素间的换算关系；
（4）用多个相机拍摄图片来进行三维重建；
（5）以及其他的计算机视觉的应用。

; 1. 成像几何

1.1 坐标系统

世界坐标系(O W − X W Y W Z W O_W-X_WY_WZ_W O W −X W Y W Z W )：用户定义的三维世界的坐标系，为了描述目标物在真实世界里的位置而被引入。世界坐标系的原点位置可以根据需要调整。单位m m m;
相机坐标系(O C − X C Y C Z C O_C-X_CY_CZ_C O C −X C Y C Z C )：以摄像机光心为原点（在针孔模型中也就是针孔为光心），Z Z Z轴与光轴重合（与成像平面垂直），X 轴和Y 轴分别平行于图像物理坐标系（CCD）的X轴和 Y 轴，f f f为摄像机的焦距。单位m m m;
图像物理坐标系(o − x y o-xy o −x y)：用物理单位表示像素的位置，坐标原点为摄像机光轴与图像物理坐标系的交点位置。单位是m m mm m m。单位毫米的原因是此时由于相机内部的CCD传感器是很小的，比如8mm x 6mm。
像素坐标系(u v uv u v)：以像素为单位，坐标原点在左上角。举个例子，CCD传感上上面的8mm x 6mm，转换到像素大小是640×480，此时dx表示像素坐标系中每个像素的物理大小就是1/80mm，也就是说毫米与像素点的之间关系是piexl/mm.

; 1.2 坐标转换

1.2.1 世界坐标系转换到相机坐标系

从世界坐标系变换到相机坐标系属于刚体变换，即物体不会发生形变，只需要进行旋转和平移。

[ X C Y C Z C ] = R [ X W Y W Z W ] + T \begin{bmatrix} X_C \ Y_C \ Z_C \end{bmatrix} = R \begin{bmatrix} X_W \ Y_W \ Z_W \end{bmatrix} + T ⎣⎡X C Y C Z C ⎦⎤=R ⎣⎡X W Y W Z W ⎦⎤+T

R ∈ R 3 × 3 R \in R^{3 \times3}R ∈R 3 ×3: 旋转矩阵；
T ∈ R 3 × 1 T \in R^{3 \times 1}T ∈R 3 ×1: 平移向量；

齐次表达：
[ X C Y C Z C 1 ] = [ R T 0 1 ] [ X W Y W Z W 1 ] \begin{bmatrix} X_C \ Y_C \ Z_C \ 1 \end{bmatrix} = \begin{bmatrix} R & T \ 0 & 1 \ \end{bmatrix} \begin{bmatrix} X_W \ Y_W \ Z_W \ 1 \end{bmatrix}⎣⎢⎢⎡X C Y C Z C 1 ⎦⎥⎥⎤=[R 0 T 1 ]⎣⎢⎢⎡X W Y W Z W 1 ⎦⎥⎥⎤

; 1.1.3 相机坐标系到图像坐标系

从相机坐标系到图像坐标系，属于透视投影关系，从3D转换到2D。根据图中的相似三角形可以得出以下对应关系：
Δ A B O C ∼ Δ o C O C Δ P B O C ∼ Δ p C O C \Delta ABO_C \sim \Delta oCO_C \ \Delta PBO_C \sim \Delta pCO_C \ΔA B O C ∼Δo C O C ΔP B O C ∼Δp C O C
A B o C = A O C o O C = P B p C = X C x = Z C f = Y C y \frac{AB}{oC} = \frac{AO_C}{oO_C} = \frac{PB}{pC}=\frac{X_C}{x} = \frac{Z_C}{f} = \frac{Y_C}{y}o C A B =o O C A O C =p C P B =x X C =f Z C =y Y C

此处的 f f f对应相机焦距，最终，图像物理坐标系中的一点和相机坐标系中的对应点的转换关系便可以表示如下：

{ x = f X C Z C y = f Y C Z C \left{ \begin{gathered} x = f \frac{X_C}{Z_C} \ y = f \frac{Y_C}{Z_C} \end{gathered} \right.⎩⎪⎪⎨⎪⎪⎧x =f Z C X C y =f Z C Y C

其矩阵表示如下：

Z C [ x y 1 ] = [ f 0 0 0 0 f 0 0 0 0 1 0 ] [ X C Y C Z C 1 ] Z_C \begin{bmatrix} x \ y \ 1 \end{bmatrix} = \begin{bmatrix} f & 0 & 0 & 0 \ 0 & f & 0 & 0 \ 0 & 0 & 1 & 0 \end{bmatrix} \begin{bmatrix} X_C \ Y_C \ Z_C \ 1 \end{bmatrix}Z C ⎣⎡x y 1 ⎦⎤=⎣⎡f 0 0 0 f 0 0 0 1 0 0 0 ⎦⎤⎣⎢⎢⎡X C Y C Z C 1 ⎦⎥⎥⎤

1.1.4 图像物理坐标系到像素坐标系

图像物理坐标系与像素坐标系只是坐标原点位置不一致，且单位长度（mm和pixel）不一致，因此，只需要进行伸缩变换及平移变换。

{ u = x d x + u 0 v = y d y + v 0 \left{ \begin{gathered} u=\frac{x}{dx}+u_0 \ v=\frac{y}{dy} + v_0 \end{gathered} \right.⎩⎪⎨⎪⎧u =d x x +u 0 v =d y y +v 0
表达为矩阵形式如下：
[ u v 1 ] = [ 1 d x 0 u 0 0 1 d y v 0 0 0 1 ] [ x y 1 ] \begin{bmatrix} u \ v \ 1 \end{bmatrix} = \begin{bmatrix} \frac{1}{dx} & 0 & u_0 \ 0 & \frac{1}{dy} & v_0 \ 0 & 0 & 1 \end{bmatrix} \begin{bmatrix} x \ y \ 1 \end{bmatrix}⎣⎡u v 1 ⎦⎤=⎣⎡d x 1 0 0 0 d y 1 0 u 0 v 0 1 ⎦⎤⎣⎡x y 1 ⎦⎤

; 1.1.5 世界坐标系到像素坐标系

根据以上四个坐标系之间的转换关系，在不考虑相机畸变的情况下，物体从世界坐标系投影到像素坐标系的过程如下：

1.2 相机畸变

畸变（distortion）是对直线投影（rectilinear projection）的一种偏移。简单来说直线投影是场景内的一条直线投影到图片上也保持为一条直线。畸变简单来说就是一条直线投影到图片上不能保持为一条直线了，这是一种光学畸变（optical aberration）,由于 镜头不规整和镜头与感光片不平行导致的。

畸变一般可以分为： 径向畸变、切向畸变

径向畸变来自于透镜形状；
切向畸变来自于整个相机的组装过程；

d r dr d r: 径向畸变
d t dt d t: 切向畸变

; 1.2.1 径向畸变

径向畸变是由于镜头不规整造成的。图像径向畸变是图像像素点以畸变中心为中心点,沿着径向产生的位置偏差,从而导致图像中所成的像发生形变。径向畸变分为桶形畸变和枕形畸变。

桶形畸变，对应于负径向位移，多见于变焦镜头的广角端或者鱼眼镜头；
枕形畸变，对应于正径向位移，多见于长焦镜头；

1.2.2 切向畸变

切向畸变是由于透镜本身与相机传感器平面（感光面）不平行而产生的，这种情况多是由于透镜被粘贴到镜头模组上的安装偏差导致。

1.2.3 径向畸变模型

相机主光轴中心的畸变为0，沿着镜头半径方向向边缘移动，畸变越来越严重。畸变的数学模型可以用主点（principle point）周围的泰勒级数展开式的前几项进行描述，通常使用前两项，即k1和k2，对于畸变很大的镜头，如鱼眼镜头，可以增加使用第三项k3来进行描述，相机上某点根据其在径向方向上的分布位置，校正公式为：

公式里( x 0 , y 0 ) (x_0, y_0)(x 0 ,y 0 )是畸变点在相机上的原始位置，( x , y ) (x, y)(x ,y )是畸变较正后新的位置。

; 1.2.4 切向畸变模型

畸变模型可以用两个额外的参数p1和p2来描述：

1.2.5 畸变系数

k 1 , k 2 , k 3 k_1,k_2,k_3 k 1 ,k 2 ,k 3 径向畸变系数，p 1 , p 2 p_1,p_2 p 1 ,p 2 是切向畸变系数。
在Opencv中他们被排列成一个51的矩阵，依次包含[ k 1 、 k 2 、 p 1 、 p 2 、 k 3 ] [k_1、k_2、p_1、p_2、k_3][k 1 、k 2 、p 1 、p 2 、k 3 ] 。
相机标定

2.1 标定参数

2.1.1 相机内参

相机内参：f , u 0 , v 0 , 1 / d x , 1 / d y f, u_0, v_0, 1/dx, 1/dy f ,u 0 ,v 0 ,1 /d x ,1 /d y

f f f: 焦距
u 0 , v 0 u_0, v_0 u 0 ,v 0 : 主点在像素坐标系下的偏移
d x , d y dx, dy d x ,d y: 表示x方向和y方向的一个像素分别占多少个单位

2.1.2 相机外参

指相机相对于某个世界坐标系的方向（旋转和平移）。

相机的外参是6个;
R: 三个轴的旋转参数分别是（ w 、 δ 、 θ ）（w、δ、θ）（w 、δ、θ），把每个轴的3×3旋转矩阵进行组合（矩阵之间相乘），得到集合三个轴旋转信息的R，其大小还是3×3；
T: 三个轴的平移参数（ T x 、 T y 、 T z ）（Tx、Ty、Tz）（T x 、T y 、T z ）。

opencv中标定得到直接是（ w 、 δ 、 θ ）（w、δ、θ）（w 、δ、θ）和（ T x 、 T y 、 T z ）（Tx、Ty、Tz）（T x 、T y 、T z ），进而通过下面的转换得到外参矩阵。

mR, _ = cv2.Rodrigues([w、δ、θ])
mT = [Tx、Ty、Tz]
exmat = np.concatenate([mR, mT], axis=1)
exmat = np.vstack([exmat, np.array([0, 0, 0, 1])])

2.1.3 畸变系数

k 1 , k 2 , k 3 k_1,k_2,k_3 k 1 ,k 2 ,k 3 径向畸变系数，p 1 , p 2 p_1,p_2 p 1 ,p 2 是切向畸变系数。
在Opencv中他们被排列成一个5*1的矩阵，依次包含[ k 1 、 k 2 、 p 1 、 p 2 、 k 3 ] [k_1、k_2、p_1、p_2、k_3][k 1 、k 2 、p 1 、p 2 、k 3 ] 。

2.2 标定流程

相机标定就是为了标定出上述的内参，外参和畸变系数。所以一旦相机结构固定，包括镜头结构固定，对焦距离固定，相机的内参就是固定的。但是一旦相机的位置发生移动，外参就会变化。因此，我们现在的任务就是 找出一些点的像素坐标和对应的世界坐标，来求解出内参，外参和畸变系数。

目前最常用的获取这些点对的方式是采用标定板，其标定流程如下：

(1)首先从calib.io生成棋盘格pdf。棋盘格大小尽可能与拍摄主体大小接近，以确保最终获取的拍摄主体上某点映射得到的世界坐标尽可能准确。
(2) 打印棋盘格，把它贴在一个平面上，作为标定物，世界坐标系原点固定在棋盘格左上角点处，则棋盘格每个角点的XY世界坐标可以通过格子大小得到，Z坐标始终为0。 注意，棋盘格的高度与待测物体保持在同一高度。
(3) 通过调整标定物或相机的方向，为标定物拍摄一些不同方向的照片。
(4) 利用 cv2.findChessboardCorners从照片中提取棋盘格角点的像素坐标。
(5) 利用 cv2.cornerSubPix进行角点坐标亚像素优化。
(6) 已知棋盘格角点的世界坐标和对应的像素坐标，利用 cv2.calibrateCamera求解相机内参，外参和畸变系数；

; 2.3 opencv 相机标定代码

https://github.com/dyfcalid/CameraCalibration
上述代码包含了普通相机和鱼眼相机的内参和外参标定代码。

import argparse
import cv2
import numpy as np
import os

parser = argparse.ArgumentParser(description="Camera Intrinsic Calibration")
parser.add_argument('-fw','--FRAME_WIDTH', default=1280, type=int, help='Camera Frame Width')
parser.add_argument('-fh','--FRAME_HEIGHT', default=1024, type=int, help='Camera Frame Height')
parser.add_argument('-bw','--BORAD_WIDTH', default=6, type=int, help='Chess Board Width (corners number)')
parser.add_argument('-bh','--BORAD_HEIGHT', default=7, type=int, help='Chess Board Height (corners number)')
parser.add_argument('-size','--SQUARE_SIZE', default=100, type=int, help='Chess Board Square Size (mm)')
parser.add_argument('-num','--CALIB_NUMBER', default=5, type=int, help='Least Required Calibration Frame Number')
parser.add_argument('-subpix','--SUBPIX_REGION', default=5, type=int, help='Corners Subpix Optimization Region')
parser.add_argument('-fs', '--FOCAL_SCALE', default=1, type=float, help='Camera Undistort Focal Scale')
parser.add_argument('-ss', '--SIZE_SCALE', default=1, type=float, help='Camera Undistort Size Scale')
args = parser.parse_args([])

class CalibData:
    def __init__(self):
        self.camera_mat = None
        self.dist_coeff = None
        self.rvecs = None
        self.tvecs = None
        self.map1 = None
        self.map2 = None
        self.reproj_err = None
        self.ok = False
        self.camera_mat_dst = None

class Normal:
    def __init__(self):
        self.data = CalibData()
        self.inited = False
        self.BOARD = np.array([ [(j * args.SQUARE_SIZE, i * args.SQUARE_SIZE, 0.)]
                               for i in range(args.BORAD_HEIGHT)
                               for j in range(args.BORAD_WIDTH) ],dtype=np.float32)

    def update(self, corners, frame_size):
        board = [self.BOARD] * len(corners)
        if not self.inited:
            self._update_init(board, corners, frame_size)
            self.inited = True
        else:
            self._update_refine(board, corners, frame_size)
        self._calc_reproj_err(corners)
        self._get_undistort_maps()

    def _update_init(self, board, corners, frame_size):
        data = self.data
        data.camera_mat = np.eye(3, 3)
        data.dist_coeff = np.zeros((5, 1))
        data.ok, data.camera_mat, data.dist_coeff, data.rvecs, data.tvecs = cv2.calibrateCamera(
            board, corners, frame_size, data.camera_mat, data.dist_coeff,
            criteria=(cv2.TERM_CRITERIA_EPS + cv2.TERM_CRITERIA_COUNT, 30, 1e-6))
        data.ok = data.ok and cv2.checkRange(data.camera_mat) and cv2.checkRange(data.dist_coeff)

    def _update_refine(self, board, corners, frame_size):
        data = self.data
        data.ok, data.camera_mat, data.dist_coeff, data.rvecs, data.tvecs = cv2.calibrateCamera(
            board, corners, frame_size, data.camera_mat, data.dist_coeff,
            flags = cv2.CALIB_USE_INTRINSIC_GUESS,
            criteria=(cv2.TERM_CRITERIA_EPS + cv2.TERM_CRITERIA_COUNT, 10, 1e-6))
        data.ok = data.ok and cv2.checkRange(data.camera_mat) and cv2.checkRange(data.dist_coeff)

    def _calc_reproj_err(self, corners):
        if not self.inited: return
        data = self.data
        data.reproj_err = []
        for i in range(len(corners)):
            corners_reproj, _ = cv2.projectPoints(self.BOARD, data.rvecs[i], data.tvecs[i], data.camera_mat, data.dist_coeff)
            err = cv2.norm(corners_reproj, corners[i], cv2.NORM_L2) / len(corners_reproj)
            data.reproj_err.append(err)

    def _get_camera_mat_dst(self, camera_mat):
        camera_mat_dst = camera_mat.copy()
        camera_mat_dst[0][0] *= args.FOCAL_SCALE
        camera_mat_dst[1][1] *= args.FOCAL_SCALE
        camera_mat_dst[0][2] = args.FRAME_WIDTH / 2 * args.SIZE_SCALE
        camera_mat_dst[1][2] = args.FRAME_HEIGHT / 2 * args.SIZE_SCALE
        return camera_mat_dst

    def _get_undistort_maps(self):
        data = self.data
        data.camera_mat_dst = self._get_camera_mat_dst(data.camera_mat)
        data.map1, data.map2 = cv2.initUndistortRectifyMap(
                                 data.camera_mat, data.dist_coeff, np.eye(3, 3), data.camera_mat_dst,
                                 (int(args.FRAME_WIDTH * args.SIZE_SCALE), int(args.FRAME_HEIGHT * args.SIZE_SCALE)), cv2.CV_16SC2)

class InCalibrator:
    def __init__(self):
        self.camera = Normal()
        self.corners = []

    @staticmethod
    def get_args():
        return args

    def get_corners(self, img):
        ok, corners = cv2.findChessboardCorners(img, (args.BORAD_WIDTH, args.BORAD_HEIGHT),
                      flags = cv2.CALIB_CB_ADAPTIVE_THRESH|cv2.CALIB_CB_NORMALIZE_IMAGE|cv2.CALIB_CB_FAST_CHECK)
        if ok:
            gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)

            corners = cv2.cornerSubPix(gray, corners, (args.SUBPIX_REGION, args.SUBPIX_REGION), (-1, -1),
                                       (cv2.TERM_CRITERIA_EPS + cv2.TERM_CRITERIA_MAX_ITER, 30, 0.01))
        return ok, corners

    def draw_corners(self, img):
        ok, corners = self.get_corners(img)
        cv2.drawChessboardCorners(img, (args.BORAD_WIDTH, args.BORAD_HEIGHT), corners, ok)
        return img

    def undistort(self, img):
        data = self.camera.data
        return cv2.remap(img, data.map1, data.map2, cv2.INTER_LINEAR)

    def calibrate(self, img):
        if len(self.corners) >= args.CALIB_NUMBER:
            self.camera.update(self.corners, img.shape[1::-1])
        return self.camera.data

    def __call__(self, raw_frame):
        ok, corners = self.get_corners(raw_frame)
        result = self.camera.data
        if ok:
            self.corners.append(corners)
            result = self.calibrate(raw_frame)
        return result

2.3.1 相机标定（内参，畸变系数，以及这些图像对应的外参）

from glob import glob
from tqdm import tqdm
import matplotlib.pyplot as plt

calibrator = InCalibrator()
image_list = glob(os.path.join('/Users/nickccnie/Desktop/能力沉淀/10.代码库/CameraCalibration-master/IntrinsicCalibration/data', '*.jpg'))
for img_path in tqdm(image_list):
    image = cv2.imread(img_path)
    result = calibrator(image)

print('相机内参：')
print(calibrator.camera.data.camera_mat)
print('畸变系数：')
print(calibrator.camera.data.dist_coeff)
print('重投影误差：')
print(calibrator.camera.data.reproj_err)

&#x76F8;&#x673A;&#x5185;&#x53C2;&#xFF1A;
[[429.01201174   0.         567.41969891]
 [  0.         419.76447848 467.46234827]
 [  0.           0.           1.        ]]
&#x7578;&#x53D8;&#x7CFB;&#x6570;&#xFF1A;
[[-0.28372365]
 [ 0.06597315]
 [ 0.01174763]
 [ 0.00297211]
 [-0.0063206 ]]
&#x91CD;&#x6295;&#x5F71;&#x8BEF;&#x5DEE;&#xFF1A;
[0.27869147314646936, 0.4886522637692187, 0.17598982232576374, 0.48923469676289055, 0.514708116953903, 0.5678517808250879, 0.4997095543126862, 0.48520367988999785, 0.5357485071819145, 0.429865668423967]

2.3.2 整图畸变校正

img = cv2.imread(image_list[0])
undistort_img = calibrator.undistort(img)
plt.figure(figsize=(20, 20))
plt.subplot(121)
plt.imshow(img)
plt.subplot(122)
plt.imshow(undistort_img)
plt.show()

2.3.3 2D点转3D点

(1) 获取相关参数

inmat = calibrator.camera.data.camera_mat
distCoeffs = calibrator.camera.data.dist_coeff
inmat_dst = calibrator.camera.data.camera_mat_dst

rvec = calibrator.camera.data.rvecs[0]
tvec = calibrator.camera.data.tvecs[0]
mR, _ = cv2.Rodrigues(rvec)
mT = tvec
exmat = np.concatenate([mR, mT], axis=1)
exmat = np.vstack([exmat, np.array([0, 0, 0, 1])])

print('第一张图对应的相机外参--旋转：')
print(calibrator.camera.data.rvecs[-1])
print('第一张图对应的相机外参--平移：')
print(calibrator.camera.data.tvecs[-1])
print('第一张图对应的相机外参：')
print(exmat)

&#x7B2C;&#x4E00;&#x5F20;&#x56FE;&#x5BF9;&#x5E94;&#x7684;&#x76F8;&#x673A;&#x5916;&#x53C2;--&#x65CB;&#x8F6C;&#xFF1A;
[[-1.23794909]
 [ 0.0842647 ]
 [ 0.01222559]]
&#x7B2C;&#x4E00;&#x5F20;&#x56FE;&#x5BF9;&#x5E94;&#x7684;&#x76F8;&#x673A;&#x5916;&#x53C2;--&#x5E73;&#x79FB;&#xFF1A;
[[-317.82200853]
 [ 355.12147718]
 [1161.07445248]]
&#x7B2C;&#x4E00;&#x5F20;&#x56FE;&#x5BF9;&#x5E94;&#x7684;&#x76F8;&#x673A;&#x5916;&#x53C2;&#xFF1A;
[[ 9.97197679e-01 -1.29569903e-02  7.36811127e-02 -1.54700207e+02]
 [-2.47796673e-02  8.72085682e-01  4.88725415e-01 -1.87299319e+02]
 [-7.05886538e-02 -4.89181643e-01  8.69320747e-01  1.05852036e+03]
 [ 0.00000000e+00  0.00000000e+00  0.00000000e+00  1.00000000e+00]]

(2) 构造测试用2D点

box_tl = [510, 398]
box_tr = [704, 394]
box_dl = [489, 548]
box_dr = [735, 541]

pts = np.array([box_tl, box_tr, box_dr, box_dl], np.int32)
pts = pts.reshape((-1,1,2))
draw_img = cv2.polylines(img.copy(),[pts],True,(0,255,0), 2)

plt.figure(figsize=(20, 20))
plt.imshow(draw_img)
plt.show()

(3) 测试点畸变校正

undistort_pts = cv2.undistortPoints(pts.astype(np.float32), inmat, distCoeffs, P=inmat_dst)
print(undistort_pts)
draw_undistort_img = cv2.polylines(undistort_img.copy(),[undistort_pts.astype(np.int32)],True,(0,255,0), 2)
plt.figure(figsize=(20, 20))
plt.imshow(draw_undistort_img)
plt.show()

[[[581.46466 441.02515]]
 [[782.36176 434.583  ]]
 [[815.69165 588.1761 ]]
 [[560.1518  593.54535]]]

(4) 2D转3D

def camera2world(point2D, rVec, tVec, cameraMat, height):
"""
       Function used to convert given 2D points back to real-world 3D points
       point2D  : An array of 2D points
       rVec     : Rotation vector
       tVec     : Translation vector
       cameraMat: Camera Matrix used in solvePnP
       height   : Height in real-world 3D space
       Return   : output_array: Output array of 3D points

"""
    point3D = []
    point2D = (np.array(point2D, dtype='float32')).reshape(-1, 2)
    numPts = point2D.shape[0]
    point2D_op = np.hstack((point2D, np.ones((numPts, 1))))
    rMat = cv2.Rodrigues(rVec)[0]
    rMat_inv = np.linalg.inv(rMat)
    kMat_inv = np.linalg.inv(cameraMat)
    for point in range(numPts):
        uvPoint = point2D_op[point, :].reshape(3, 1)
        tempMat = np.matmul(rMat_inv, kMat_inv)
        tempMat1 = np.matmul(tempMat, uvPoint)
        tempMat2 = np.matmul(rMat_inv, tVec)
        s = (height + tempMat2[2]) / tempMat1[2]
        p = tempMat1 * s - tempMat2
        point3D.append(p)

    point3D = (np.array(point3D, dtype='float32')).reshape([-1, 1, 3])
    return point3D

pts_world = camera2world(undistort_pts, rvec, tvec, inmat_dst, height=0).reshape(-1, 3)
print(pts_world)

x = pts_world[:, 0]
y = pts_world[:, 1]
plt.plot(x, y, 'bo')
plt.fill(x, y, 'r')
plt.show()

[[ 1.1295952e+01  1.1067908e+01 -1.1368684e-13]
 [ 4.9372278e+02  1.3734733e+01  0.0000000e+00]
 [ 4.9998770e+02  4.0107578e+02  0.0000000e+00]
 [-5.7722647e-02  4.0629202e+02  0.0000000e+00]]

2.3.4 3D点转2D点

def world2camera(points):
        if points.size == 0:
            return np.empty((0, 3), dtype=np.int)

        points = np.concatenate([points, np.ones((points.shape[0], 1))], axis=1)

        points = np.dot(inmat_dst, np.dot(exmat[:-1], points.T)).T
        points = points / points[:, -1].reshape(-1, 1)
        points = points[:, :2]

        return points

point_camera_reprj = world2camera(pts_world)
print(point_camera_reprj)

draw_undistort_img = cv2.polylines(undistort_img.copy(),[point_camera_reprj[:, None, :].astype(np.int32)],True,(255,0,0), 2)
plt.figure(figsize=(20, 20))
plt.imshow(draw_undistort_img)
plt.show()

[[581.46466074 441.02514653]
 [782.36175752 434.58300772]
 [815.69165941 588.17609256]
 [560.15179407 593.54535244]]

2.4 标定相关函数

2.4.1 相机标定

cv2.findChessboardCorners ( image,         # &#x68CB;&#x76D8;&#x56FE;&#x50CF;
                            patternSize,   # &#x68CB;&#x76D8;&#x683C;&#x884C;&#x548C;&#x5217;&#x7684;&#x3010;&#x5185;&#x89D2;&#x70B9;&#x3011;&#x6570;&#x91CF;
                            corners,       # &#x8F93;&#x51FA;&#x6570;&#x7EC4;
                            flags          # &#x64CD;&#x4F5C;&#x6807;&#x5FD7;
                            )
flags:
    CV_CALIB_CB_ADAPTIVE_THRESH            # &#x4F7F;&#x7528;&#x81EA;&#x9002;&#x5E94;&#x9608;&#x503C;&#x5904;&#x7406;&#x5C06;&#x56FE;&#x50CF;&#x8F6C;&#x6362;&#x4E3A;&#x9ED1;&#x767D;&#x56FE;&#x50CF;
    CV_CALIB_CB_NORMALIZE_IMAGE            # &#x5BF9;&#x56FE;&#x50CF;&#x8FDB;&#x884C;&#x5F52;&#x4E00;&#x5316;&#x3002;
    CV_CALIB_CB_FILTER_QUADS               # &#x8FC7;&#x6EE4;&#x5728;&#x8F6E;&#x5ED3;&#x68C0;&#x7D22;&#x9636;&#x6BB5;&#x63D0;&#x53D6;&#x7684;&#x5047;&#x56DB;&#x8FB9;&#x5F62;&#x3002;
    CALIB_CB_FAST_CHECK                    # &#x5BF9;&#x67E5;&#x627E;&#x68CB;&#x76D8;&#x89D2;&#x7684;&#x56FE;&#x50CF;&#x8FDB;&#x884C;&#x5FEB;&#x901F;&#x68C0;&#x67E5;

cv2.cornerSubPix (image,                        # &#x68CB;&#x76D8;&#x56FE;&#x50CF;
                  corners,                      # &#x68CB;&#x76D8;&#x89D2;&#x70B9;
                  winSize,                      # &#x641C;&#x7D22;&#x7A97;&#x53E3;&#x8FB9;&#x957F;&#x7684;&#x4E00;&#x534A;
                  zeroZone,                     # &#x641C;&#x7D22;&#x533A;&#x57DF;&#x6B7B;&#x533A;&#x5927;&#x5C0F;&#x7684;&#x4E00;&#x534A;, (-1,-1)&#x4EE3;&#x8868;&#x65E0;
                  criteria                      # &#x8FED;&#x4EE3;&#x505C;&#x6B62;&#x6807;&#x51C6;
                 )

cv2.calibrateCamera (objectPoints,         # &#x89D2;&#x70B9;&#x5728;&#x68CB;&#x76D8;&#x4E2D;&#x7684;&#x7A7A;&#x95F4;&#x5750;&#x6807;&#x5411;&#x91CF;
                     imagePoints,          # &#x89D2;&#x70B9;&#x5728;&#x56FE;&#x50CF;&#x4E2D;&#x7684;&#x5750;&#x6807;&#x5411;&#x91CF;
                     image_size,           # &#x56FE;&#x7247;&#x5927;&#x5C0F;
                     K,                    # &#x76F8;&#x673A;&#x5185;&#x53C2;&#x77E9;&#x9635;
                     D,                    # &#x7578;&#x53D8;&#x53C2;&#x6570;&#x5411;&#x91CF;
                     rvecs,                # &#x65CB;&#x8F6C;&#x5411;&#x91CF;
                     tvecs,                # &#x5E73;&#x79FB;&#x5411;&#x91CF;
                     flags,                # &#x64CD;&#x4F5C;&#x6807;&#x5FD7;
                     criteria              # &#x8FED;&#x4EE3;&#x4F18;&#x5316;&#x7B97;&#x6CD5;&#x7684;&#x505C;&#x6B62;&#x6807;&#x51C6;
                    )

flags:
    cv2.CALIB_USE_INTRINSIC_GUESS          # &#x5F53;&#x76F8;&#x673A;&#x5185;&#x53C2;&#x77E9;&#x9635;&#x5305;&#x542B;&#x6709;&#x6548;&#x7684;fx&#xFF0C;fy&#xFF0C;cx&#xFF0C;cy&#x521D;&#x59CB;&#x503C;&#x65F6;&#xFF0C;&#x8FD9;&#x4E9B;&#x503C;&#x4F1A;&#x8FDB;&#x4E00;&#x6B65;&#x8FDB;&#x884C;&#x4F18;&#x5316;
                                           # &#x5426;&#x5219;&#xFF0C;&#xFF08;cx&#xFF0C;cy&#xFF09;&#x521D;&#x59CB;&#x5316;&#x8BBE;&#x7F6E;&#x4E3A;&#x56FE;&#x50CF;&#x4E2D;&#x5FC3;&#xFF08;&#x4F7F;&#x7528;imageSize&#xFF09;&#xFF0C;&#x5E76;&#x4E14;&#x4EE5;&#x6700;&#x5C0F;&#x4E8C;&#x4E58;&#x6CD5;&#x8BA1;&#x7B97;&#x7126;&#x8DDD;
    cv2.CALIB_FIX_PRINCIPAL_POINT          # &#x56FA;&#x5B9A;&#x5149;&#x8F74;&#x70B9;&#xFF08;&#x5F53;&#x8BBE;&#x7F6E;CALIB_USE_INTRINSIC_GUESS&#x65F6;&#x53EF;&#x4EE5;&#x4F7F;&#x7528;&#xFF09;
    cv2.CALIB_FIX_ASPECT_RATIO             # &#x56FA;&#x5B9A;fx/fy&#x7684;&#x503C;&#xFF0C;&#x51FD;&#x6570;&#x4EC5;&#x5C06;fy&#x89C6;&#x4E3A;&#x81EA;&#x7531;&#x53C2;&#x6570;
    cv2.CALIB_ZERO_TANGENT_DIST            # &#x5207;&#x5411;&#x7578;&#x53D8;&#x7CFB;&#x6570;&#xFF08;p1&#xFF0C;p2&#xFF09; &#x8BBE;&#x7F6E;&#x4E3A;&#x96F6;&#x5E76;&#x4FDD;&#x6301;&#x4E3A;&#x96F6;
    cv2.CALIB_FIX_FOCAL_LENGTH             # &#x5982;&#x679C;&#x8BBE;&#x7F6E;&#x4E86;CALIB_USE_INTRINSIC_GUESS&#xFF0C;&#x5219;&#x5728;&#x5168;&#x5C40;&#x4F18;&#x5316;&#x8FC7;&#x7A0B;&#x4E2D;&#x4E0D;&#x4F1A;&#x66F4;&#x6539;&#x7126;&#x8DDD;
    cv2.CALIB_FIX_K1 (K1-K6)               # &#x56FA;&#x5B9A;&#x76F8;&#x5E94;&#x7684;&#x5F84;&#x5411;&#x7578;&#x53D8;&#x7CFB;&#x6570;&#x4E3A;0&#x6216;&#x7ED9;&#x5B9A;&#x7684;&#x521D;&#x59CB;&#x503C;
    cv2.CALIB_RATIONAL_MODEL               # &#x7406;&#x60F3;&#x6A21;&#x578B;&#xFF1A;&#x542F;&#x7528;&#x7CFB;&#x6570;k4&#xFF0C;k5&#x548C;k6&#x3002;&#x6B64;&#x65F6;&#x8FD4;&#x56DE;8&#x4E2A;&#x6216;&#x66F4;&#x591A;&#x7684;&#x7CFB;&#x6570;
    cv2.CALIB_THIN_PRISM_MODEL             # &#x8584;&#x68F1;&#x955C;&#x6A21;&#x578B;&#xFF1A;&#x542F;&#x7528;&#x7CFB;&#x6570;s1&#xFF0C;s2&#xFF0C;s3&#x548C;s4&#x3002;&#x6B64;&#x65F6;&#x8FD4;&#x56DE;12&#x4E2A;&#x6216;&#x66F4;&#x591A;&#x7684;&#x7CFB;&#x6570;
    cv2.CALIB_FIX_S1_S2_S3_S4              # &#x56FA;&#x5B9A;&#x8584;&#x68F1;&#x955C;&#x7578;&#x53D8;&#x7CFB;&#x6570;&#x4E3A;0&#x6216;&#x7ED9;&#x5B9A;&#x7684;&#x521D;&#x59CB;&#x503C;
    cv2.CALIB_TILTED_MODEL                 # &#x503E;&#x659C;&#x6A21;&#x578B;&#xFF1A;&#x542F;&#x7528;&#x7CFB;&#x6570;tauX&#x548C;tauY&#x3002;&#x6B64;&#x65F6;&#x8FD4;&#x56DE;14&#x4E2A;&#x7CFB;&#x6570;
    cv2.CALIB_FIX_TAUX_TAUY                # &#x56FA;&#x5B9A;&#x503E;&#x659C;&#x4F20;&#x611F;&#x5668;&#x6A21;&#x578B;&#x7684;&#x7CFB;&#x6570;&#x4E3A;0&#x6216;&#x7ED9;&#x5B9A;&#x7684;&#x521D;&#x59CB;&#x503C;

drawChessboardCorners：绘制棋盘格检测结果
projectPoints: 计算重投影误差

2.4.2 畸变校正

OpenCV 针对不同的使用场景提供了几个不同用法的畸变校正函数。https://docs.opencv.org/3.4.6/da/d54/group__imgproc__transform.html#ga55c716492470bfe86b0ee9bf3a1f0f7e

主要有以下几种：

initUndistortRectifyMap() remap()组合
undistort()
undistortPoints()

(1) initUndistortRectifyMap() undistort()组合

通过映射的方式逐个找出理想点在有畸变原图的位置。initUndistortRectifyMap()用于产生映射表，remap()用于执行映射。
适用场景：当要进行多次畸变校正时，使用initUndistortRectifyMap() remap()组合比较有效率，只需要执行一次initUndistortRectifyMap()，后面畸变校正只需要执行remap()即可。

（2）undistort()

本质是initUndistortRectifyMap() remap()组合，写在了一个函数里，方便调用。
适用场景：当只需要执行一次畸变校正时，用undistort()比用组合形式更方便一些。

（3）undistortPoints()

适用场景：当只需要找出有畸变原图中的少数几个点经过畸变校正后的理想位置时，使用undistortPoints()可达到目的。 *如对目标检测直接在有畸变图像进行box检测，进而将box左上角和右下角进行畸变校正，避免了对全图进行畸变校正（计算量大一点）后在进行目标检测。

cv2.initUndistortRectifyMap (K,         # &#x76F8;&#x673A;&#x5185;&#x53C2;&#x77E9;&#x9635;
                             D,         # &#x7578;&#x53D8;&#x5411;&#x91CF;
                             R,         # &#x65CB;&#x8F6C;&#x77E9;&#x9635;
                             P,         # &#x65B0;&#x7684;&#x76F8;&#x673A;&#x77E9;&#x9635;
                             size,      # &#x8F93;&#x51FA;&#x56FE;&#x50CF;&#x5927;&#x5C0F;
                             m1type,    # &#x6620;&#x5C04;&#x77E9;&#x9635;&#x7C7B;&#x578B;
                             map1,      # &#x8F93;&#x51FA;&#x6620;&#x5C04;&#x77E9;&#x9635;1
                             map2       # &#x8F93;&#x51FA;&#x6620;&#x5C04;&#x77E9;&#x9635;2
                            )

def remap(src,                 # &#x6E90;&#x56FE;&#x50CF;&#x6570;&#x636E;
          map1,                # &#x7528;&#x4E8E;&#x63D2;&#x503C;&#x7684;X&#x5750;&#x6807;
          map2,                # &#x7528;&#x4E8E;&#x63D2;&#x503C;&#x7684;Y&#x5750;&#x6807;
          interpolation,       # &#x63D2;&#x503C;&#x7B97;&#x6CD5;
          dst=None,
          borderMode=None,     # &#x8FB9;&#x754C;&#x6A21;&#x5F0F;&#xFF0C;&#x6709;&#x9ED8;&#x8BA4;&#x503C;BORDER_CONSTANT&#xFF0C;&#x8868;&#x793A;&#x76EE;&#x6807;&#x56FE;&#x50CF;&#x4E2D;&#x201C;&#x79BB;&#x7FA4;&#x70B9;&#xFF08;outliers&#xFF09;&#x201D;&#x7684;&#x50CF;&#x7D20;&#x503C;&#x4E0D;&#x4F1A;&#x88AB;&#x6B64;&#x51FD;&#x6570;&#x4FEE;&#x6539;&#x3002;
          borderValue=None     # &#x5F53;&#x6709;&#x5E38;&#x6570;&#x8FB9;&#x754C;&#x65F6;&#x4F7F;&#x7528;&#x7684;&#x503C;&#xFF0C;&#x5176;&#x6709;&#x9ED8;&#x8BA4;&#x503C;Scalar( )&#xFF0C;&#x5373;&#x9ED8;&#x8BA4;&#x503C;&#x4E3A;0&#x3002;
          )

cv2.undistort(src,                      # &#x8F93;&#x5165;&#x539F;&#x56FE;
              dst,                      # &#x8F93;&#x51FA;&#x77EB;&#x6B63;&#x540E;&#x7684;&#x56FE;&#x50CF;
              cameraMatrix,             # &#x5185;&#x53C2;&#x77E9;&#x9635;
              distCoeffs,               # &#x7578;&#x53D8;&#x7CFB;&#x6570;
              newCameraMatrix           # &#x9ED8;&#x8BA4;&#x60C5;&#x51B5;&#x4E0B;&#xFF0C;&#x5B83;&#x4E0E; cameraMatrix &#x76F8;&#x540C;
              )

cv.undistortPoints(src,             # &#x5F85;&#x6821;&#x6B63;&#x50CF;&#x7D20;&#x70B9;&#x5750;&#x6807;&#xFF0C;1xN &#x6216; Nx1 2channel
                   cameraMatrix,    # &#x5185;&#x53C2;&#x77E9;&#x9635;
                   distCoeffs,      # &#x7578;&#x53D8;&#x7CFB;&#x6570;
                   R,               # R&#x53C2;&#x6570;&#x662F;&#x7528;&#x5728;&#x53CC;&#x76EE;&#x91CC;&#x7684;&#xFF0C;&#x5355;&#x76EE;&#x91CC;&#x7F6E;&#x4E3A;&#x7A7A;&#x77E9;&#x9635;&#xFF1B;
                   P                # P&#x77E9;&#x9635;&#x503C;&#x4E3A;&#x7A7A;&#x65F6;&#xFF0C;&#x5F97;&#x5230;&#x7684;&#x70B9;&#x5750;&#x6807;&#x662F;&#x5F52;&#x4E00;&#x5316;&#x5750;&#x6807;&#xFF0C;&#x8FD9;&#x65F6;&#x5019;&#x6570;&#x503C;&#x5C31;&#x4F1A;&#x660E;&#x663E;&#x5F88;&#x5C0F;&#xFF1B;
                                    # &#x901A;&#x5E38;&#x4F7F;&#x7528;&#x65F6;&#x662F;&#x60F3;&#x5F97;&#x5230;&#x5728;&#x540C;&#x4E00;&#x4E2A;&#x76F8;&#x673A;&#x4E0B;&#x7684;&#x771F;&#x5B9E;&#x50CF;&#x7D20;&#xFF0C;&#x6240;&#x4EE5;P&#x8BBE;&#x7F6E;&#x4E3A;&#x5185;&#x53C2;&#x5C31;&#x53EF;&#x4EE5;&#x4E86;
                   )

2.4.3 外参求解

cvFindExtrinsicCameraParams2: 已知内参求外参
solvePnP

2.4.4 2D-3D映射

cvProjectPoints2: 2D点映射到3D点
cvProjectPoints：3D点映射到2D点
像素坐标转到世界坐标时相机坐标系中的Zc值求解

参考

Original: https://blog.csdn.net/xijuezhu8128/article/details/122944975
Author: Nick Blog
Title: 相机标定原理与实战【python-opencv】

原创文章受到原创版权保护。转载请注明出处：https://www.johngo689.com/702347/

转载文章受原作者版权保护。转载请注明原作者出处！

人工智能

【自取】最近整理的，有需要可以领取学习：

Linux核心资料大放送~

全栈面试题汇总（持续更新&可下载）

一个提高学习100%效率的工具！

【超详细】深度学习面试题目！

LeetCode Python刷题答案下载！

LeetCode Java版刷题答案下载！

LeetCode C++ 版本，抓紧保存！

LeetCode GO语言刷题答案下载！

IVX低代码平台——微信小程序获取用户信息

写在前面小程序可以通过方便地获取微信提供的用户身份标识，快速建立小程序内的用户体系。本文将向大家展示低代码开发：小程序实现获取用户信息的方法，供大家参考。文章目录写在前面开…

人工智能 2023年7月1日
0076
MySQL事务详解

SET [SESSION | GLOBAL] TRANSACTION ISOLATION LEVEL {READ UNCOMMITTED | READ COMMITTED | RE…

人工智能 2023年7月30日
0046
文本聚类！

目录第10章文本聚类 10.1 概述 10.2 文档的特征提取 10.3 k均值算法 10.4 重复二分聚类算法 10.5 标准化评测 10.6 总结第10章文本聚类上一…

人工智能 2023年5月28日
0098
ST-GCN源码分析

在上篇的blog中，写了一下对于ST-GCN论文的分析ST-GCN论文分析_Eric加油学！的博客-CSDN博客，这篇blog写一下对于ST-GCN源码的理解和整理，参考了一些写的…

人工智能 2023年6月17日
00147
推扫式和快照式高光谱成像系统在红肉掺假检测中的应用

目录摘要推扫式高光谱成像系统的应用快照式高光谱成像系统的应用总结参考文献摘要肉类掺假常见于用低价肉代替高价肉获取非法利益，它不但影响了食品的质量，甚至会威胁到人们的健…

人工智能 2023年6月18日
00109
基于Transformer的目标检测领域最新进展

本文为检索该领域文章后做的简单记录，没有模型结构的详细介绍，不过其中两三篇文章已是目前目标检测领域的SOTA（截止到21年8月）！ a、End-to-End Object Det…

人工智能 2023年6月21日
0094
Ubuntu 安装 pytorch-gpu

1. 安装驱动终端输入以下命令查看推荐驱动版本 $ ubuntu-drivers devices 输出如下：这里显示推荐版本为 515 版本再在终端输入 sudo ubuntu…

人工智能 2023年7月21日
0049
[KG] Learning Intents behind Interactions with Knowledge Graph for Recommendation，WWW21

文章目录 Info 1 Motivation 2 Contribution 3 Solution * 3.1 intent embedding 3.2 user embedding…

人工智能 2023年6月1日
0074
【Pandas分组聚合】 groupby()、agg() 方法的使用

Pandas分组聚合创建一个dataframe结构分组函数 groupby() * 初识分组聚合多重行索引分组聚合对多列数据进行分组聚合综合应用聚合函数 agg（agg…

人工智能 2023年7月14日
0073
改进YOLOv7系列：28.YOLOv7 结合 Swin Transformer V2结构，Swin Transformer V2：通向视觉大模型之路

🔥🔥🔥YOLO系列 + Swin Transformer V2结构结合应用为 CSDN芒果汁&#x6C…

人工智能 2023年6月26日
0075
SAS实验四一元回归分析

实验四实验指导书：链接：https://pan.baidu.com/s/1OiBuj1eAIXQCVa-mMw0y7w提取码：abab 实验目的和要求 (1)通过上机操作使学生掌…

人工智能 2023年7月15日
0065
【稳住，can win】Pandas 操作数据

* – Pandas 对象的创建 – + Series 一维数据 + DataFrame 二维数据 – DataFrame 对象索引 &#821…

人工智能 2023年7月6日
0062
【资损】发布环境中的兼容性控制设计

📫作者简介：小明java问道之路，专注于研究 Java/ Liunx内核/ C++及汇编/计算机底层原理/源码，就职于大型金融公司后端高级工程师，擅长交易领域的高安全/可用/并发…

人工智能 2023年6月30日
0070
常见的评估回归算法性能的指标包括均方误差（MSE）、均方根误差（RMSE）、平均绝对误差（MAE）、R方系数等

介绍在回归问题中，我们常常需要评估不同的回归算法的性能。评估指标可以帮助我们判断回归模型的拟合程度以及预测的准确性。本文将详细介绍常见的回归算法性能指标，包括均方误差（MSE）、…

人工智能 2023年12月31日
00101
第11章：图像金字塔

第11章：图像金字塔 * – 一、理论基础： – + 1. 向下采样： + 2. 向上采样： – 二、pyrDown函数使用： – …

人工智能 2023年6月17日
0093
深度学习笔记（一）——感知机模型（Perceptron Model）

零、引言感知机，也叫单层神经网络，是最基础的神经网络模型结构。神经网络模型由生物神经中得到启发。在生物神经元细胞中，神经突触接收到信号，经过接收并处理信号后判断信号的信息强弱，…

人工智能 2023年6月17日
0071

2024 年 5 月
一	二	三	四	五	六	日
		1	2	3	4	5
6	7	8	9	10	11	12
13	14	15	16	17	18	19
20	21	22	23	24	25	26
27	28	29	30	31