自動駕駛、機器視覺、人工智能這些熱詞的背後，存在着一個常人容易忽略而又極其緻命的漏洞：作為最前端的通用性技術，人們從來沒有為機器打造過它們的“眼球”。
簡單的例子——我們任何用來做現有圖像和視訊錄入的前端硬體，無論是大到ImageNet這樣具備行業公信力的據庫，還是小到隻是把玩開源算法進行機器視覺應用初探的個人發燒者，是不是都有一些拿來主義了？
我們簡單地拿着為了取悅人眼而設計的各類全幅高像素高對比度的視覺傳感器來錄入我們的機器“需要”的車道線判斷、人臉識别、動态監測等各類資料，卻從來沒有出現過質疑的聲音。真的是匪夷所思。如此以往，在帶來了大量的與事件和決策本身完全無關的備援資料和運算壓力的同時，導緻整體模組（尤其是記憶體、GPU）的成本上漲，而系統效能和魯棒性卻往往令人擔憂。
在大量計算力的堆砌之下，我們看起來似乎已經實作了機器視覺。但在各個新玩家把自己的demo插在運算能力逆天的電腦上做live示範并大筆融資的時候，一個擔憂也油然而生：邊緣預算和真正的感覺商業化主動權是不是都要在NVIDIA手裡了？
如果說原來的各種為人服務的圖像記錄技術有羁絆是“迫不得已”，那麼我們現在是不是應該想辦法抛開這份羁絆了？
機器“眼球”的重生
原來體積龐大但有效資訊很少的監控視訊資料上百倍縮減；在納秒級的實體極限捕捉影像的變化，甚至可以拍到子彈的軌迹；強光和弱光環境都能很好适應，甚至能夠看清明亮霓虹燈中的廣告字，在夜間也保持着相當的靈敏度。聽起來似乎很玄幻，但已經有公司将它們轉變為了現實。
雷鋒網上面提到的這家公司名字叫做上海芯侖光電科技，其核心技術是一種新型的預處理動态圖像傳感器（DVS）。作為平台化技術，可以有多種應用模式和形态。這種傳感器通過精密的電路布局和并行運算能力搭配業界獨樹一幟的讀出原理使得其速度不受傳統的曝光時間和幀速率限制，可以有效的過濾背景備援資料，進而多至成千倍的節省運算資料流，降低系統成本，使實時處理的難度大大降低。而更為關鍵的是在兼顧了架構優勢的同時還會向後端輸出多元度信号（X,Y,A,T）和多模式（圖像、動态、光流）資料，讓配套應用的開發和部署變得簡便。
該傳感器産品命名為 CeleX 系列，已完成多輪流片，現在已經達到768x640（50萬像素）的VGA标準，已經可以适用于大部分的機器視覺應用場合。下一代預計明年第一季度流片，分辨率為1280x800（100萬像素）甚至更高，最終可在全幅畫質和圖檔細節上與傳統的圖像傳感器分庭抗禮。
傳統圖像傳感器記錄的是陣列中像素點在曝光時間内的總亮度值，而DVS傳感器則觀察每個像素點的光強是否随時間有細微的變化。這種差別可以用衆所周知的一個數學常識來表達：積分和微分，而積分常常會把一條波動的曲線的特征丢失，而這恰恰是對運動物體的檢測至關重要的。最終的結果是，CeleX傳感器在其特殊的“動态模式下”能夠獨立自主地記錄50萬像素畫面中每個像素點的每次變化。同理，假如畫面中單個像素點的資料沒有變化，那麼傳感器将隻保留之前的記錄數值。
通過這種完全不同于傳統圖像傳感器“所有像素一起記錄資料”的工作方式，CeleX也獲得了很多新特點。
（注：本文中出現的GIF均為上一代CeleX Sensor拍攝，圖像分辨率384x320）
高爾夫球擊打，能夠捕捉揮杆整個過程
壁球，以同樣的速度拍攝時，能夠完整顯示網球的移動軌迹
傳統傳感器中，圖像的記錄實際存在固定的幀率，即以某個頻率對陣列的所有像素點采樣一次，不管這個點的光強有沒有發生變動。在CeleX中，各個像素點在同步工作，都在試圖回答一個問題： “我”這個像素點有沒有運動發生？ 如果是，那個這個像素點就會主動要求被讀取。可以想象，在極端情況下，靜态的像素點可以一百年不必被讀出。這樣，晶片的輸出資料就沒有幀率的概念了，運動頻繁的點讀出次數也會增多。被選中的像素通過一個高速的通道讀出，就像是一串流動的3維點雲。
2、剔除備援資料
維多利亞港夜景，碼頭和部分建築（非動态資料）“消失”
因為CeleX傳感器在“動态模式”下隻記錄變化的資料，是以實際上CeleX傳感器輸出的都是“有用的資料”，使用者也無需再在機器視覺的後端部分浪費寶貴的運算資源和時間，建構複雜的算法，進行圖像備援資料的排除。
3、優異的突然亮暗環境成像
維多利亞港摩天輪，能夠顯示中間傳統過曝位置的圖像變化
出入隧道瞬間，不受光照強烈變化影響，仍可以捕捉路面資訊
在極暗場景下，也可以清晰顯示部分物體的移動
像素點單獨擷取資料引來的質變，像素點之間不再受統一的成像參數（白平衡、感光度）影響，在圖像存在過曝源、過暗的情況下，依舊能夠利用單個像素點的改變讀出整個畫面的特征。
4、空間和時間域連續性
香港山路測試，完整捕捉道路劃線等内容
在傳統桌上型電腦7200轉磁盤上畫字，能夠完整捕捉并且生成清晰的瞬間畫面
對物體的跟蹤是計算機視覺的一個大問題，之是以成為問題，根源就在于傳統相機的曝光時間和幀率： 它在2個幀之間有一段時間是不采樣的。在這個空窗期内，物體會繼續運動，如果運動的太快太遠，要對物體進行标定和跟蹤就會消耗巨大的計算量，有時不得不在物體的周圍的大範圍内做暴力搜尋。而DVS在時間和空間域上是連續工作的，有效的像素跟着物體同步運動，其運動路徑上的所有像素點都會被讀出。
簡而言之，因為傳統的機器視覺中需要在普通的圖像基礎上進行大量軟計算。即便花時間打磨算法，但因為從算法到硬體還需要一系列API連通，并且受制于傳統幀率的制約和全幅圖像帶來的資料壓力，系統整體效率不高而且容易出錯。而CeleX實際上将原來後端的算法固化，内嵌到到傳感器前端完成預處理，效率非常高。
根據芯侖光電科技給出的資訊，在同樣的預算平台和制動需求上模拟FCW功能，120公裡的工況下，對比傳統技術路徑，芯侖方案可以節省出額外七米的制動距離。
芯侖光電的前身是于2015年在新加坡成立的Hillhouse Technology公司。芯侖于2017年7月整體落地上海。董事長兼首席科學家陳守順博士在新加坡南洋理工大學上司着一個國際領先的團隊，長期從事智能圖像傳感器和系統的研究，成功設計了30餘款不同用途的傳感器。
本文所說的CeleX傳感器的故事開始于陳博士在香港科技大學攻讀博士學位期間，從那時起，他就在研究一種新的圖像傳感器，如何通過一種類似于神經元突觸資訊傳遞方式，将像素陣列的電信号讀出晶片外。經過耶魯大學博士後課題的研究，他對這一問題的了解更加深入了。這一夢想直到在2011年底獲得了驗證，并且讓第一顆64x64的原型晶片面世。之後在整個團隊的不斷優化疊代之下，将産品發展到了第四代。最新一代晶片，命名為CeleX-IV。
CeleX-IV 傳感器正面（左）、背面（右）照
CeleX-IV采用0.18um CMOS Image Sensor工藝，擁有目前同類産品中最高的分辨率，達到50萬像素（768x640），單像素點尺寸為18um x 18um，100MHz高速雙讀出通路，可以提供三種工作方式，分别為傳統的“圖像模式”，專為機器視覺而生的“動态模式”，和獨家絕技光流模式。
目前全球總共有三個團隊有完整地開發動态視覺傳感器（Dynamic Vision Sensor）的能力。除了本文中提到的芯侖科技之外，這一領域主要還有兩家公司：IniLabs和Chronocam。三家公司目前都處于初創階段。
在對運動物體的識别上，三家殊途同歸，采用的都是仿視網膜的動态像素點探測技術，以類似于神經突觸資訊傳遞方式，通過異步的電脈沖讀取到晶片外。三家也都能做到跟傳統技術路徑的相容，也即産生全副的畫面，但采取的技術路徑不同。
Inlilabs整合了主動像素傳感器（APS)技術，開發了DAVIS晶片系列。Chronocam采用了脈沖寬度調制（PWM)技術，推出了ATIS晶片。而芯侖采用的是對數編碼圖像傳感器，同時在晶片中融合了光流算法。芯侖的方案克服了圖像/動态兩種模式在空間和時間域失配的問題，更加有利于多元度（動态，圖像，光流）資訊融合，提高算法的效率。後者目前擁有全行業最高的分辨率、讀出帶寬、圖像和動态模式的一緻性。
因為是對機器“眼球”的一次重造，是以實際上DVS的應用範圍相當廣泛。包括自動駕駛、無人機防撞系統、體感和人機互動工業過程控制、爆炸/碰撞分析、高速運動物體軌迹記錄與實時分析等。相比于傳統的圖像傳感器，芯侖的圖像傳感器晶片成本不會比它們高。同時還節省了大量後端處理的計算成本，并大幅提高效能。這對于追求技術差異化，和尋找解決傳統圖像傳感器痛點的應用廠商來說，是革命性的突破。
因為相應産品還在不斷完善過程中，是以芯侖其實也在尋找合适的内外部應用開發夥伴，并且希望将傳感器上的優勢轉化為商業化成果。芯侖還向雷鋒網透露，目前團隊的應用層面的開發重點是一款專注車内場景的産品，将在之後的合适時間披露更多資訊。
由于攝像頭和感覺能力所帶來的市場格局變化（尤其是自動駕駛），對于部分開發CV底層基礎技術公司的有重大影響，CV領域能力的一次重要釋放。立足中國、着眼世界，芯侖光電和它們所代表的DVS，必将會給整個機器視覺産業帶來深遠的影響。
本文作者：李赓