硬核3-D視覺 - Image Formation 圖像的形成

3.0 INTRO

設計視覺算法，首先得選擇一個好的模型。

一個好的模型的标準是合适（suitable）。并非一定要實體上極度精确。必須合理的考慮抽象，以及複雜度。

針對手頭面對的問題，選擇一個合理的模型是一門工程的藝術。

3.1 圖像表示

圖像是什麼？

數學上，将圖像定義為一個映射：

這個映射的定義域是一個二維的平面區域

，取值是實數值。

比如，一個圖像的

，并且，

是一個數值在0-255的自然數之間的值。這樣一張圖像在計算機中的表示就是下表的内容：

表3.1 一張圖像映射的部分内容

上表隻是部分的圖像存儲的内容。

而用人可以接受的直覺方式表達，則是下面這張圖檔。

圖3.3 A Picture of Image "I"

上面的圖檔可以被認為是與真實場景不同的場景，該場景在成像傳感器（本例中為眼睛或者其他情況下的相機）上産生與真實場景相同的圖像。從這個意義上說，圖檔是“受控的幻覺”：它們是與真實場景不同的場景（它們是平面的），在眼睛中産生與原始場景相同的圖像。

表3.1中描述的是圖3.3所示的同一張圖檔。盡管後者在場景内容方面似乎更具資訊性，但它隻是一種不同的表示，包含完全相同的資訊。

3.2 Lenses, light, and basic photometry 

 為了表明image formation的過程，必須specify圖像區域上每個點

的值

，這樣的值被稱作強度（intensity）或者亮度值（brightness），或者更為正式的說法——輻照度（irradiance）。

具有每機關面積的功率機關（

），描述落在成像傳感器的一小塊上的能量。坐标點

處的輻照度是通過在時間（例如相機中的快門間隔或CCD陣列中的積分時間）和空間區域中積分能量來獲得的。對

處的輻照度有貢獻的空間區域取決于感興趣的物體（表面）的形狀、成像裝置的光學元件，而且這裡所說的形狀和成像裝置的光學元件絕不是無關緊要的。在本章末尾的附錄3.A中，我們讨論了一些常用的簡化假設。

 3.2.1 透鏡成像（Imaging through lenses）

相機（或更一般的光學系統）是由一組用來“引導”光線的透鏡組成。我們所說的定向光是指傳播方向上的受控的變化，這種變化可以通過衍射、折射和反射來實作。為了簡單起見，我們忽略了透鏡系統中衍射和反射的影響，而我們隻考慮折射。即便如此，一個對于（純折射）鏡頭的完整功能描述也是遠遠超出了這本書範圍的，是以，我們隻考慮最簡單的模型，即薄透鏡的模型。對于更确切的光傳播模型，感興趣的讀者可以參考經典教科書[Born and Wolf，1999]。

圖3.4 薄透鏡成像原理示意圖 

薄透鏡（圖3.4）是一個數學模型，從圖3.4中，我們得到了薄透鏡的以下基本方程：

點x就是點p的圖像。是以，在薄透鏡的假設下，像面上坐标為（x，y）的點

處的輻照度

是通過積分由透鏡幾何形狀确定的圓錐體中包含的空間區域發出的所有能量獲得的，如我們在附錄3.a中所述。

3.2.2 針孔成像

如果我們讓一個薄透鏡的光圈減小到零，所有的光線都會被迫穿過光心O，是以它們保持不變。是以，圓錐體的光圈減小到零，并且在成像點

處對輻照度有貢獻的唯一的點就在穿過透鏡中心O和點x的連線上。空間中的點p相對于以光心0為中心的參考系的坐标

，z軸是（透鏡的）光軸，則從圖3.5中的相似三角形可以立即看出，p的坐标及其圖像X通過所謂的理想透視投影相關聯，他們的關聯如下：

式中，f代表的就是焦距。有時候，我們僅僅簡單的把這一過程寫作映射

：

我們經常寫作：

，我們必須了解，任何在光心O和空間點p的連線上的點都可以投影到x處。

 圖3.5 針孔成像模型過程示意圖

上述模型成為理想針孔相機模型。

這是一個對于薄透鏡模型的理想化。

圖3.6 正面針孔成像 

我們注意到，公式（3.2）中有個負号。這使得物體的圖像在圖像平面（或視網膜）上看起來是颠倒的。為了消除這種影響，我們可以簡單地翻轉圖像：

。這等同于将圖像平面

放置在光學中心的前面

。在本書中，我們将采用這種更友善的“正面”針孔相機模型，如圖3.6所示。在這種情況下，點p的圖像

由下式給出：

經常使用的一種表示方法，還有奇次坐标的表示：

插一句：這本書裡面的代數集合通常講到的比較多的有三個，一個是n維的向量空間

，要麼就是李代數空間，由李代數的反對稱矩陣組成，還有就是各種各樣的變換群。

 3.3 圖像生成的幾何模型

如前所述，并且将在附錄3.A中進一步闡述的那樣，在針孔相機模型和朗伯曲面的假設下，可以從本質上簡化圖像形成過程，即從物體上的點到像素跟蹤光線。也就是說，知道空間中的哪一點投射到圖像平面上的哪一點，可以使人直接将該點的照度與其圖像的輻照度相關聯，見附錄3.A中的方程式（3.36）。

為了在三維空間中的點（相對于固定的全局參照系）與其在二維圖像平面中的投影圖像（相對于局部坐标系）之間建立精确的對應關系，此過程的數學模型必須考慮三種類型的變換：

1. 相機坐标系和世界坐标系之間的坐标變換
2. 3D點坐标到2D圖像平面坐标的投影關系
3. 不同的成像坐标系之間的可能的變換關系

在本節中，我們将把這種（簡化的）圖像生成過程描述為一系列坐标變換。找到這樣的一個轉換鍊路通常被稱為“錄影機标定”，這是第6章的主題，也是三維重建的關鍵步驟。

3.3.1 理想透視相機（An ideal perspective camera）

世界坐标系中的點

，經過一個歐氏變換，變換到相機坐标系下的坐标為

，歐氏變換

。

根據前文描述，空間點投影到圖像平面的坐标為：

在奇次坐标表示下，用矩陣表示變換過程：

也可以這麼寫：

式3.6裡面的

和

都是奇次坐标。

由于

或者說點p的深度通常是未知的，我們可以就把它寫作一個任意的未知正數來指代這個深度，

。

對于3.6式，我們可以分解成兩個矩陣：

定義兩個矩陣:

，

矩陣

經常被稱為标準投影矩陣。

總結一下從世界坐标系的點到相機平面的變換過程：

這個過程寫成是簡單符号表達的形式就是：

3.3.2 相機内參

方程（3.9）的理想模型是相對于一個非常特殊的參考系選擇來規定的，這個坐标系我們通常叫做成像坐标系，其坐标系原點在和光軸同一個軸上。在實踐中，當使用數位相機捕獲圖像時，以像素（i，j）為機關獲得測量值，且像素坐标系的原點通常在圖像的左上角。為了使模型（3.9）可用，我們需要指定成像坐标系和像素陣列之間的關系。

成像坐标系的x，y軸機關是米制機關。

我們需要确定，沿着x和y軸的像素比例是多少，也就是說，每機關x和y分别有多少個像素。通過下面這個放縮矩陣：

尺度因子取決于每個pixel的大小，如果沿着x和y方向的pixel大小一樣，那麼pixel就是方形的，如果不一樣，pixel就是正方形的。

圖3.7 像素坐标系

同時，考慮到像素坐标系的原點是左上角，這裡就要加入一個偏移，如圖3.7：

就是主點在像素平面坐标系下的坐标。

是以我們最後得到的像素坐标是經過了進一步的轉換，将理想成像坐标變換成了像素坐标：

考慮到像素不是正方形而是平行四邊形的，更加一般性的尺度矩陣如下：

式3.12中的矩陣就變成了：

但是許多實際應用當中，還是假定

。

結合上述從成像坐标系到像素坐标系的變換過程，整個投影變換過程如下：

全部投影過程其實可以分為兩個分過程：

1. 第一階段轉換到相機坐标系下的空間點，投影到相機的歸一化成像坐标系下，就好比f = 1的一個平面下。通過

刻畫。

2. 第二階段是依賴相機的一些内在性質進行的進一步變換，比如焦距f，尺度變換因子

，以及原點的偏移

。

第二階段的過程顯然是通過兩個矩陣刻畫的：

進而，我們又可以把投影過程寫成這樣：

常量的3 x 4矩陣表示透視投影過程。而3 x 3矩陣包含了相機的所有内參數，是以也叫做内參矩陣。

内參矩陣中的參數都有如下的含義：

• 

  ：主點的像素坐标，x方向

• 

  ：主點的像素坐标，y方向

• 

  ：size of unit length in horizontal pixels

• 

  ： size of unit length in vertical pixels

• 

  ：aspect ratio 

  

• 

  ：skew of the pixel, often close to zero

當我們知道了内參矩陣之後，我們就可以很輕松的從像素坐标恢複出歸一化平面坐标系下的坐标：

，其實說的更直白，

，這個等式兩邊乘上一個

都行。

關于K矩陣如何獲得，第6章會有相關的描述。

總結一下投影變換的過程如下：

寫的看起來簡單一些：

或者：

通常，為了友善，将

稱為

，标準投影矩陣。

投影變換就可以寫成更簡單的形式：

由下面這個式子，就可以顯然的知道投影過程的非線性本質：

分别是投影矩陣

的三行。

球面模型

如圖3.8所示，是一個和針孔模型不同的，但是也經常用到的投影的球面模型。

針孔模型考慮的投影面是平面，那麼球面模型顧名思義，考慮的就是球面。

 圖3.8 球面投影模型

如上圖所示，空間點p投影到x點。對于球面投影，我們通常就選擇成像平面為機關球面

。

球面投影過程可以看做是從空間三維點到機關圓表面的映射：

讀者也許還記得平面投影的時候的投影方程：

隻不過在球面投影過程中，

，而在平面投影過程中，

。是以，數學上，球面投影和平面投影過程可以用相同的方程表達。唯一的不同之處隻是在于尺度

的不同。

通常我們為了友善，将兩個“尺度意義下相等（也經常稱為equal up to a scale）”的向量

，更多的細節可以參見附錄3.B。

是以，我們可以把任何的投影過程寫成如下的形式（視覺SLAM14講裡面用的符号是

），忽略尺度項

：

成像平面是一個平面還是一個圓并不重要。隻要光心和空間點的連線和圖像平面至少有一個交點。比如，橢圓也可以作為像平面，這就是在許多全景相機或者魚眼相機中流行的所謂折射反射模型。

原則上，由投影過程獲得的所有的圖像都具有相同的資訊。

3.3.3 徑向畸變

如果相機視角很大，引入徑向畸變。

簡單模型：

是畸變後的點，也就是裝置采集的每個像素位置，你可以假想這個像素本來不是在這個位置，是經過畸變之後得到的，你看到的原始圖像是畸變後的結果。

和

額外的參數用來模拟畸變的程度的。

3.3.4 點和線的圖像、前圖像（preimage）、共圖像（coimage）

This section, author introduced several abstract notions reletated to the image of a point or a line.

注：這倆概念讀者盡可能的結合空間幾何去了解。

為了表達空間直線，標明一個在直線上的base point 

，標明一個指定直線方向的向量

，假設

是base point 的奇次坐标，

是向量的奇次坐标，二者都是relative to the camera coordinate frame. 那麼任何在直線

上的點都可以用數學式：

來表達。

如圖3.10。那麼直線

的圖像就可以由下面的式子給出：

可以看到所有的點

，結合原點

，張成了一個子空間

，這個子空間

和2-D圖像平面的交線就是空間直線在2-D圖像平面的相。

如何最有效率的表達圖像中的直線呢？

引入了兩個概念，preimage和coimage。

直覺的了解，preimage就是圖3.10中空間直線投影過程的子空間P，點投影過程的向量

。

而coimage就是比如和子空間P正交的向量

，同樣也和線的相正交。

那麼就可得如果

是直線上的一點

，那麼就有：

我們還記的

表示的是和

相關聯的反對稱矩陣，反對稱矩陣的列向量張成了一個和

正交的平面，也就是一個三維空間當中的二維子空間。是以

的列向量張成了一個和

正交的平面，也就是直線

的preimage。圖3.10中，這意味着，

。類似的，如果點

是空間點p的圖像，它的coimage就是以

為法向量的平面，顯然這樣的平面有無窮多個。

總結一下：點的coimage是一個平面，點的preimage是一個向量，線的coimage是一個向量，線的preimage是一個平面，點的相是preimage和image plane的交點，image plane和coimage是平行的平面，線的相是preimage和image plane兩個平面的交線。

書中給出了如下的總結：

數學上，經常用一個點的preimage（也是一個向量，其實就是

）來表達點x，這是up to scale的；經常用一個向量

也就是線的coimage，defined up to scale 來表達線。

coimage和preimage的關系用數學式來表達是這樣的：

1. 點x的preimage的反對稱矩陣（張成的平面其實就是代表點的coimage）和點x的坐标，其實就是相機坐标系下，

的坐标，相乘為0：

；

2. 線l的coimage的反對稱矩陣和l相乘也是0（前面說過這倆是正交的），其含義是線

的反對稱矩陣張成的preimage，和

正交：

。

是以，本書後面經常會用點的preimage或者線的coimage直接指線的相（image），如果這麼講足以說明概念的話。

3.4 總結

本章，介紹了針孔透視投影原理。理想情況下（内參矩陣是機關的），奇次坐标表示下，相點直接和空間點在一個未知尺度

下相關聯（也就是所謂的深度depth啦）。

如果K不是機關矩陣，那麼就有進一步的線性變換将歸一化平面上的點轉化到像素坐标下：

參考文獻

[1] Yi Ma, Stefano Soatto, Jana Kosecka, S. Shankar Sastry. An Invitation to 3D Vision.