双目深度估计——视差到深度的两种推导方法
文章目录
0. 基本假设
假设双目系统是标准形式，即：
- 两相机内参数相同，即焦距、分辨率等参数一致；
- 两相机光轴平行；
- 成像平面处于同一水平线；
假设以左相机坐标系为主坐标系，也就是说两相机 只存在X轴方向上的平移变换。
1. 几何法（直观）
设上面的所有长度的单位为m
- 由上图标准双目立体系统俯视图所示，O L O_{L}O L 、O R O_{R}O R 分别为左右相机光心，b b b为两相机基线长度，P P P为空间中的一点，P L P_{L}P L 、P R P_{R}P R 分别为P P P在左右相机成像平面上的像点，f f f为相机的焦距。
- 由△ O L A P ∼ △ O L C P L \bigtriangleup O_{L}AP \sim \bigtriangleup O_{L}CP_{L}△O L A P ∼△O L C P L 和△ O R B P ∼ △ O R D P R \bigtriangleup O_{R}BP \sim \bigtriangleup O_{R}DP_{R}△O R BP ∼△O R D P R 可得：
- Z f = P A x L − x C = P B x D − x R = P A + P B x L − x R + ( x D − x C ) = b d + ( x D − x C ) \frac{Z}{f}=\frac{PA}{x_{L}-x_{C}}=\frac{PB}{x_{D}-x_{R}}=\frac{PA+PB}{x_{L}-x_{R}+(x_{D}-x_{C})}=\frac{b}{d+(x_{D}-x_{C})}f Z =x L −x C P A =x D −x R PB =x L −x R +(x D −x C )P A +PB =d +(x D −x C )b 进而得到：
- Z = b f d + ( x D − x C ) Z=\frac{bf}{d+(x_{D}-x_{C})}Z =d +(x D −x C )b f ，由于两相机参数相等，因此x D − x C = 0 x_{D}-x_{C}=0 x D −x C =0，故而有：
- Z = b f d Z=\frac{bf}{d}Z =d b f
其中d = x L − x R d=x_{L}-x_{R}d =x L −x R 为对应点的视差值
; 2. 相机参数推导法
由基本假设可以可知，左右相机内参相等，且左右相机只存在X轴方向的平移运动。那么有：
- 相机内参数：K L = K R = K = [ f x γ u 0 0 f y v 0 0 0 1 ] K_{L}=K_{R}=K=\begin{bmatrix} f_{x}&\gamma&u_{0}\0&f_{y}&v_{0}\0&0&1\end{bmatrix}K L =K R =K =f x 0 0 γf y 0 u 0 v 0 1 ；
- 相机外参数（以右相机到左相机为例）：R R − > L = E R_{R->L}=E R R −>L =E，t R − > L = [ t x t y t z ] = [ b 0 0 ] t_{R->L}=\begin{bmatrix} t_{x}\t_{y}\t_{z}\end{bmatrix}=\begin{bmatrix} b\0\0\end{bmatrix}t R −>L =t x t y t z =b 0 0
- 设：P O L P_{OL}P O L 、P O R P_{OR}P OR 、P L P_{L}P L 、P R P_{R}P R 的坐标分别为P O L = [ X L Y L Z L ] P_{OL}=\begin{bmatrix} X_{L}\Y_{L}\Z_{L}\end{bmatrix}P O L =X L Y L Z L 、P O R = [ X R Y R Z R ] P_{OR}=\begin{bmatrix} X_{R}\Y_{R}\Z_{R}\end{bmatrix}P OR =X R Y R Z R 、P L = [ u L v L 1 ] P_{L}=\begin{bmatrix} u_{L}\v_{L}\1\end{bmatrix}P L =u L v L 1 、P R = [ u R v R 1 ] P_{R}=\begin{bmatrix} u_{R}\v_{R}\1\end{bmatrix}P R =u R v R 1 ；
P O L , P O R P_{OL},P_{OR}P O L ,P OR 为左右相机坐标系下的P点坐标，P L P_{L}P L 和P R P_{R}P R 为像素坐标，相机内外参详解请参考相机模型
根据 小孔成像模型，有：
- P L = [ u L v L 1 ] = K L 1 Z L P O L = K L 1 Z L [ X L Y L Z L ] P_{L}=\begin{bmatrix} u_{L}\v_{L}\1\end{bmatrix}=K_{L}\frac{1}{Z_{L}}P_{OL}=K_{L}\frac{1}{Z_{L}}\begin{bmatrix} X_{L}\Y_{L}\Z_{L}\end{bmatrix}P L =u L v L 1 =K L Z L 1 P O L =K L Z L 1 X L Y L Z L
- P R = [ u R v R 1 ] = K R 1 Z R P O R = K R 1 Z R [ X R Y R Z R ] P_{R}=\begin{bmatrix} u_{R}\v_{R}\1\end{bmatrix}=K_{R}\frac{1}{Z_{R}}P_{OR}=K_{R}\frac{1}{Z_{R}}\begin{bmatrix} X_{R}\Y_{R}\Z_{R}\end{bmatrix}P R =u R v R 1 =K R Z R 1 P OR =K R Z R 1 X R Y R Z R
- P O L = R R − > L P O R + t R − > L = E P O R + t R − > L = P O R + [ b 0 0 ] P_{OL}=R_{R->L}P_{OR}+t_{R->L}=EP_{OR}+t_{R->L}=P_{OR}+\begin{bmatrix} b\0\0\end{bmatrix}P O L =R R −>L P OR +t R −>L =E P OR +t R −>L =P OR +b 0 0
联立上面三个等式可以得到：
- P L − P R = [ u L − u R v L − v R 0 ] = K 1 Z [ b 0 0 ] P_{L}-P_{R}=\begin{bmatrix} u_{L}-u_{R}\v_{L}-v_{R}\0\end{bmatrix}=K\frac{1}{Z}\begin{bmatrix} b\0\0\end{bmatrix}P L −P R =u L −u R v L −v R 0 =K Z 1 b 0 0
由左右相机成像平面在同一水平线上，那么v坐标相等，即v L − v R = 0 v_{L}-v_{R}=0 v L −v R =0；
左右相机内参相等，都为K = [ f x γ u 0 0 f y v 0 0 0 1 ] K=\begin{bmatrix} f_{x}&\gamma&u_{0}\0&f_{y}&v_{0}\0&0&1\end{bmatrix}K =f x 0 0 γf y 0 u 0 v 0 1 ；
Z L = Z R = Z Z_{L}=Z_{R}=Z Z L =Z R =Z。
展开得：
- [ u L − u R 0 0 ] = [ f x γ u 0 0 f y v 0 0 0 1 ] 1 Z [ b 0 0 ] = [ b f x Z 0 0 ] \begin{bmatrix} u_{L}-u_{R}\0\0\end{bmatrix}=\begin{bmatrix} f_{x}&\gamma&u_{0}\0&f_{y}&v_{0}\0&0&1\end{bmatrix}\frac{1}{Z}\begin{bmatrix} b\0\0\end{bmatrix}=\begin{bmatrix} \frac{bf_{x}}{Z}\0\0\end{bmatrix}u L −u R 0 0 =f x 0 0 γf y 0 u 0 v 0 1 Z 1 b 0 0 =Z b f x 0 0 ；
- 设d = u L − u R d=u_{L}-u_{R}d =u L −u R ，有:
- Z = b f x d Z=\frac{bf_{x}}{d}Z =d b f x
注意，这里的单位并不一致，视差d d d的单位是像素，基线b b b的单位为m，f x f_{x}f x 的单位为像素，请参考相机模型
3. 总结
几何法推导更加直观，可以帮助我们快速理解双目获取深度的原理；
相机参数推导法可以进一步加深我们对相机参数的理解，进一理解深度获取的本质问题。
Original: https://blog.csdn.net/qq_40918859/article/details/123984329
Author: jiayuzhang128
Title: 双目深度估计——视差到深度的两种推导方法
原创文章受到原创版权保护。转载请注明出处：https://www.johngo689.com/533457/
转载文章受原作者版权保护。转载请注明原作者出处！