相机模型以及FOV计算

一、相机模型

相机将三维世界中的坐标点（单位为米）映射到二维图像平面（单位为像素）的过程能够用一个几何模型进行描述。这里介绍一下常用的相机模型——针孔相机模型。

1.针孔相机模型

针孔相机模型可以理解为通过小孔呈像原理将三维世界中的景象投射到二维成像平面上。如下图所示：

这里 $O-x-y-z$ 为相机坐标系，一般Z轴向前，X轴向右，Y轴向下, $O$ 为相机的光心，同时也是针孔模型中的针孔，现实世界的空间点 $P$ 经过小孔 $O$ 投影之后，落在物理成像平面 $O^{'}-x^{'}-y^{'}$ 上，成像点 $P^{'}$ ,设 $P$ 的坐标为 $\begin{bmatrix}X, & Y, & Z \end{bmatrix}^{T}$ , $P^{'}$ 为 $\begin{bmatrix}X^{'}, & Y^{'}, & Z^{'} \end{bmatrix}^{T}$ ,物理成像的平面到相机光心(小孔)的距离为 $f$ (焦距)。如上图右侧所示，根据三角形的相似关系有：

\begin{aligned} \frac{Z}{f}=-\frac{X}{X^{'}}=-\frac{Y}{Y^{'}} \\ \end{aligned}

其中负号表示成的像是倒立的。为了简化模型，我们把可以成像平面对称到相机前方，和三维空间点一起放在摄像机坐标系的同一侧,这样可以去掉负号，同时大多数相机输出的图像并不是倒像——相机自身的软件会帮你翻转这张图像，所以你看到的一般是正着的像，也就是对称的成像平面上的像。由于输出的图像已经做了预处理，所以理解成在对称平面上的像，并不会带来什么坏处。可以参考下图：

整理可以得到：

\begin{aligned} X^{'}&=f \frac{X}{Z} \\ Y^{'}&=f \frac{Y}{Z} \\ \end{aligned}

2.像素坐标系

上面描述了空间中点P和它的像之间的空间关系，但是我们最终获得的是一个个的像素，这需要在成像平面上对呈的像进行采样和量化，将光线转换为图像的像素。设在物理成像平面上固定着一个像素平面 $O-u-v$ 。我们在像素平面得到了 $P^{'}$ 的像素坐标： $\begin{bmatrix}u ,& v \end{bmatrix}^{T}$ 。像素坐标系为下图所示：

原点 $O^{'}$ 位于图像的左上角， $u$ 轴向右与 $x$ 轴平行， $v$ 轴向下与 $y$ 轴平行。像素坐标系与成像平面之间，相差了一个缩放和一个原点的平移。我们设像素坐标在 $u$ 轴上缩放了 $\alpha$ 倍，在 $v$ 上缩放了 $\beta$ 倍。同时，原点平移了 $\begin{bmatrix}c_{x} ,& c_{y} \end{bmatrix}^{T}$ 。那么， $P^{'}$ 的坐标与像素坐标$ \begin{bmatrix}u ,& v \end{bmatrix}^{T}$的关系为：

\begin{cases} u=\alpha X^{'}+c_x \\ v=\beta Y^{'}+c_y\\ \end{cases}

将此式与之前的式子进行合并：

\begin{cases} u=\alpha X^{'}+c_x \\ v=\beta Y^{'}+c_y\\ \end{cases}

\begin{aligned} X^{'}&=f \frac{X}{Z} \\ Y^{'}&=f \frac{Y}{Z} \\ \end{aligned}

同时令 $\alpha f$ 合并成 $f_x$ , $\beta f$ 合并成 $f_y$ ，其中 $f$ 的单位是米， $\alpha， \beta$ 的单位为像素每米，合并得到的 $f_x，f_y$ 的单位为像素，得到：

\begin{cases} u&=\alpha f \frac{X}{Z}+c_x&=f_x \frac{X}{Z}+c_x \\ v&=\beta f \frac{Y}{Z}+c_y&=f_y \frac{Y}{Z}+c_y\\ \end{cases}

将该式写成矩阵形式，

\begin{bmatrix} u \\ v \\ 1 \end{bmatrix}=\frac{1}{Z}\begin{bmatrix} f_x &0 & c_x \\ 0 & f_y & c_y \\ 0 & 0 & 1 \end{bmatrix}\begin{bmatrix} X \\ Y \\ Z \end{bmatrix}=\frac{1}{Z}KP

按照习惯将Z移到左侧：

Z\begin{bmatrix} u \\ v \\ 1 \end{bmatrix}=\begin{bmatrix} f_x &0 & c_x \\ 0 & f_y & c_y \\ 0 & 0 & 1 \end{bmatrix}\begin{bmatrix} X \\ Y \\ Z \end{bmatrix}=KP

将 $\begin{bmatrix} f_x &0 & c_x \\ 0 & f_y & c_y \\ 0 & 0 & 1 \end{bmatrix}$ 作为相机的内参矩阵K，内参可以利用棋盘网格或者apriltag码方式进行标定。内参一般是不会变化的，除非焦距等参数发生了改变。

二、FOV相关计算公式

1.FOV简介

FOV的全称是Field of View (视场角），它表示相机或者人眼可以接收或者显示的影像的角度范围。由于相机的成像原理，一般都会有视场角的限制。如下图所示当相机的CCD或CMOS传感器的成像平面W一定时，FOV由焦距f决定，当焦距越大时，看的越远但是FOV就会越小。当焦距越小时，FOV会变大，但是看到的范围就会变近。