硬核3-D视觉 - Image Formation 图像的形成

3.0 INTRO

设计视觉算法，首先得选择一个好的模型。

一个好的模型的标准是合适（suitable）。并非一定要物理上极度精确。必须合理的考虑抽象，以及复杂度。

针对手头面对的问题，选择一个合理的模型是一门工程的艺术。

3.1 图像表示

图像是什么？

数学上，将图像定义为一个映射：

这个映射的定义域是一个二维的平面区域

，取值是实数值。

比如，一个图像的

，并且，

是一个数值在0-255的自然数之间的值。这样一张图像在计算机中的表示就是下表的内容：

表3.1 一张图像映射的部分内容

上表只是部分的图像存储的内容。

而用人可以接受的直观方式表达，则是下面这张图片。

图3.3 A Picture of Image "I"

上面的图片可以被认为是与真实场景不同的场景，该场景在成像传感器（本例中为眼睛或者其他情况下的相机）上产生与真实场景相同的图像。从这个意义上说，图片是“受控的幻觉”：它们是与真实场景不同的场景（它们是平面的），在眼睛中产生与原始场景相同的图像。

表3.1中描述的是图3.3所示的同一张图片。尽管后者在场景内容方面似乎更具信息性，但它只是一种不同的表示，包含完全相同的信息。

3.2 Lenses, light, and basic photometry 

 为了表明image formation的过程，必须specify图像区域上每个点

的值

，这样的值被称作强度（intensity）或者亮度值（brightness），或者更为正式的说法——辐照度（irradiance）。

具有每单位面积的功率单位（

），描述落在成像传感器的一小块上的能量。坐标点

处的辐照度是通过在时间（例如相机中的快门间隔或CCD阵列中的积分时间）和空间区域中积分能量来获得的。对

处的辐照度有贡献的空间区域取决于感兴趣的物体（表面）的形状、成像设备的光学元件，而且这里所说的形状和成像设备的光学元件绝不是无关紧要的。在本章末尾的附录3.A中，我们讨论了一些常用的简化假设。

 3.2.1 透镜成像（Imaging through lenses）

相机（或更一般的光学系统）是由一组用来“引导”光线的透镜组成。我们所说的定向光是指传播方向上的受控的变化，这种变化可以通过衍射、折射和反射来实现。为了简单起见，我们忽略了透镜系统中衍射和反射的影响，而我们只考虑折射。即便如此，一个对于（纯折射）镜头的完整功能描述也是远远超出了这本书范围的，因此，我们只考虑最简单的模型，即薄透镜的模型。对于更确切的光传播模型，感兴趣的读者可以参考经典教科书[Born and Wolf，1999]。

图3.4 薄透镜成像原理示意图 

薄透镜（图3.4）是一个数学模型，从图3.4中，我们得到了薄透镜的以下基本方程：

点x就是点p的图像。因此，在薄透镜的假设下，像面上坐标为（x，y）的点

处的辐照度

是通过积分由透镜几何形状确定的圆锥体中包含的空间区域发出的所有能量获得的，如我们在附录3.a中所述。

3.2.2 针孔成像

如果我们让一个薄透镜的光圈减小到零，所有的光线都会被迫穿过光心O，因此它们保持不变。因此，圆锥体的光圈减小到零，并且在成像点

处对辐照度有贡献的唯一的点就在穿过透镜中心O和点x的连线上。空间中的点p相对于以光心0为中心的参考系的坐标

，z轴是（透镜的）光轴，则从图3.5中的相似三角形可以立即看出，p的坐标及其图像X通过所谓的理想透视投影相关联，他们的关联如下：

式中，f代表的就是焦距。有时候，我们仅仅简单的把这一过程写作映射

：

我们经常写作：

，我们必须了解，任何在光心O和空间点p的连线上的点都可以投影到x处。

 图3.5 针孔成像模型过程示意图

上述模型成为理想针孔相机模型。

这是一个对于薄透镜模型的理想化。

图3.6 正面针孔成像 

我们注意到，公式（3.2）中有个负号。这使得物体的图像在图像平面（或视网膜）上看起来是颠倒的。为了消除这种影响，我们可以简单地翻转图像：

。这等同于将图像平面

放置在光学中心的前面

。在本书中，我们将采用这种更方便的“正面”针孔相机模型，如图3.6所示。在这种情况下，点p的图像

由下式给出：

经常使用的一种表示方法，还有奇次坐标的表示：

插一句：这本书里面的代数集合通常讲到的比较多的有三个，一个是n维的向量空间

，要么就是李代数空间，由李代数的反对称矩阵组成，还有就是各种各样的变换群。

 3.3 图像生成的几何模型

如前所述，并且将在附录3.A中进一步阐述的那样，在针孔相机模型和朗伯曲面的假设下，可以从本质上简化图像形成过程，即从物体上的点到像素跟踪光线。也就是说，知道空间中的哪一点投射到图像平面上的哪一点，可以使人直接将该点的照度与其图像的辐照度相关联，见附录3.A中的方程式（3.36）。

为了在三维空间中的点（相对于固定的全局参照系）与其在二维图像平面中的投影图像（相对于局部坐标系）之间建立精确的对应关系，此过程的数学模型必须考虑三种类型的变换：

1. 相机坐标系和世界坐标系之间的坐标变换
2. 3D点坐标到2D图像平面坐标的投影关系
3. 不同的成像坐标系之间的可能的变换关系

在本节中，我们将把这种（简化的）图像生成过程描述为一系列坐标变换。找到这样的一个转换链路通常被称为“摄像机标定”，这是第6章的主题，也是三维重建的关键步骤。

3.3.1 理想透视相机（An ideal perspective camera）

世界坐标系中的点

，经过一个欧氏变换，变换到相机坐标系下的坐标为

，欧氏变换

。

根据前文描述，空间点投影到图像平面的坐标为：

在奇次坐标表示下，用矩阵表示变换过程：

也可以这么写：

式3.6里面的

和

都是奇次坐标。

由于

或者说点p的深度通常是未知的，我们可以就把它写作一个任意的未知正数来指代这个深度，

。

对于3.6式，我们可以分解成两个矩阵：

定义两个矩阵:

，

矩阵

经常被称为标准投影矩阵。

总结一下从世界坐标系的点到相机平面的变换过程：

这个过程写成是简单符号表达的形式就是：

3.3.2 相机内参

方程（3.9）的理想模型是相对于一个非常特殊的参考系选择来规定的，这个坐标系我们通常叫做成像坐标系，其坐标系原点在和光轴同一个轴上。在实践中，当使用数码相机捕获图像时，以像素（i，j）为单位获得测量值，且像素坐标系的原点通常在图像的左上角。为了使模型（3.9）可用，我们需要指定成像坐标系和像素阵列之间的关系。

成像坐标系的x，y轴单位是米制单位。

我们需要确定，沿着x和y轴的像素比例是多少，也就是说，每单位x和y分别有多少个像素。通过下面这个放缩矩阵：

尺度因子取决于每个pixel的大小，如果沿着x和y方向的pixel大小一样，那么pixel就是方形的，如果不一样，pixel就是正方形的。

图3.7 像素坐标系

同时，考虑到像素坐标系的原点是左上角，这里就要加入一个偏移，如图3.7：

就是主点在像素平面坐标系下的坐标。

所以我们最后得到的像素坐标是经过了进一步的转换，将理想成像坐标变换成了像素坐标：

考虑到像素不是正方形而是平行四边形的，更加一般性的尺度矩阵如下：

式3.12中的矩阵就变成了：

但是许多实际应用当中，还是假定

。

结合上述从成像坐标系到像素坐标系的变换过程，整个投影变换过程如下：

全部投影过程其实可以分为两个分过程：

1. 第一阶段转换到相机坐标系下的空间点，投影到相机的归一化成像坐标系下，就好比f = 1的一个平面下。通过

刻画。

2. 第二阶段是依赖相机的一些内在性质进行的进一步变换，比如焦距f，尺度变换因子

，以及原点的偏移

。

第二阶段的过程显然是通过两个矩阵刻画的：

进而，我们又可以把投影过程写成这样：

常量的3 x 4矩阵表示透视投影过程。而3 x 3矩阵包含了相机的所有内参数，所以也叫做内参矩阵。

内参矩阵中的参数都有如下的含义：

• 

  ：主点的像素坐标，x方向

• 

  ：主点的像素坐标，y方向

• 

  ：size of unit length in horizontal pixels

• 

  ： size of unit length in vertical pixels

• 

  ：aspect ratio 

  

• 

  ：skew of the pixel, often close to zero

当我们知道了内参矩阵之后，我们就可以很轻松的从像素坐标恢复出归一化平面坐标系下的坐标：

，其实说的更直白，

，这个等式两边乘上一个

都行。

关于K矩阵如何获得，第6章会有相关的描述。

总结一下投影变换的过程如下：

写的看起来简单一些：

或者：

通常，为了方便，将

称为

，标准投影矩阵。

投影变换就可以写成更简单的形式：

由下面这个式子，就可以显然的知道投影过程的非线性本质：

分别是投影矩阵

的三行。

球面模型

如图3.8所示，是一个和针孔模型不同的，但是也经常用到的投影的球面模型。

针孔模型考虑的投影面是平面，那么球面模型顾名思义，考虑的就是球面。

 图3.8 球面投影模型

如上图所示，空间点p投影到x点。对于球面投影，我们通常就选择成像平面为单位球面

。

球面投影过程可以看做是从空间三维点到单位圆表面的映射：

读者也许还记得平面投影的时候的投影方程：

只不过在球面投影过程中，

，而在平面投影过程中，

。所以，数学上，球面投影和平面投影过程可以用相同的方程表达。唯一的不同之处只是在于尺度

的不同。

通常我们为了方便，将两个“尺度意义下相等（也经常称为equal up to a scale）”的向量

，更多的细节可以参见附录3.B。

因此，我们可以把任何的投影过程写成如下的形式（视觉SLAM14讲里面用的符号是

），忽略尺度项

：

成像平面是一个平面还是一个圆并不重要。只要光心和空间点的连线和图像平面至少有一个交点。比如，椭圆也可以作为像平面，这就是在许多全景相机或者鱼眼相机中流行的所谓折射反射模型。

原则上，由投影过程获得的所有的图像都具有相同的信息。

3.3.3 径向畸变

如果相机视角很大，引入径向畸变。

简单模型：

是畸变后的点，也就是设备采集的每个像素位置，你可以假想这个像素本来不是在这个位置，是经过畸变之后得到的，你看到的原始图像是畸变后的结果。

和

额外的参数用来模拟畸变的程度的。

3.3.4 点和线的图像、前图像（preimage）、共图像（coimage）

This section, author introduced several abstract notions reletated to the image of a point or a line.

注：这俩概念读者尽可能的结合空间几何去理解。

为了表达空间直线，选定一个在直线上的base point 

，选定一个指定直线方向的向量

，假设

是base point 的奇次坐标，

是向量的奇次坐标，二者都是relative to the camera coordinate frame. 那么任何在直线

上的点都可以用数学式：

来表达。

如图3.10。那么直线

的图像就可以由下面的式子给出：

可以看到所有的点

，结合原点

，张成了一个子空间

，这个子空间

和2-D图像平面的交线就是空间直线在2-D图像平面的相。

如何最有效率的表达图像中的直线呢？

引入了两个概念，preimage和coimage。

直观的理解，preimage就是图3.10中空间直线投影过程的子空间P，点投影过程的向量

。

而coimage就是比如和子空间P正交的向量

，同样也和线的相正交。

那么就可得如果

是直线上的一点

，那么就有：

我们还记的

表示的是和

相关联的反对称矩阵，反对称矩阵的列向量张成了一个和

正交的平面，也就是一个三维空间当中的二维子空间。因此

的列向量张成了一个和

正交的平面，也就是直线

的preimage。图3.10中，这意味着，

。类似的，如果点

是空间点p的图像，它的coimage就是以

为法向量的平面，显然这样的平面有无穷多个。

总结一下：点的coimage是一个平面，点的preimage是一个向量，线的coimage是一个向量，线的preimage是一个平面，点的相是preimage和image plane的交点，image plane和coimage是平行的平面，线的相是preimage和image plane两个平面的交线。

书中给出了如下的总结：

数学上，经常用一个点的preimage（也是一个向量，其实就是

）来表达点x，这是up to scale的；经常用一个向量

也就是线的coimage，defined up to scale 来表达线。

coimage和preimage的关系用数学式来表达是这样的：

1. 点x的preimage的反对称矩阵（张成的平面其实就是代表点的coimage）和点x的坐标，其实就是相机坐标系下，

的坐标，相乘为0：

；

2. 线l的coimage的反对称矩阵和l相乘也是0（前面说过这俩是正交的），其含义是线

的反对称矩阵张成的preimage，和

正交：

。

所以，本书后面经常会用点的preimage或者线的coimage直接指线的相（image），如果这么讲足以说明概念的话。

3.4 总结

本章，介绍了针孔透视投影原理。理想情况下（内参矩阵是单位的），奇次坐标表示下，相点直接和空间点在一个未知尺度

下相关联（也就是所谓的深度depth啦）。

如果K不是单位矩阵，那么就有进一步的线性变换将归一化平面上的点转化到像素坐标下：

参考文献

[1] Yi Ma, Stefano Soatto, Jana Kosecka, S. Shankar Sastry. An Invitation to 3D Vision.