通常，我們在顯示屏中看到的圖像是RGB三色圖像，紅綠藍三種顔色疊加形成像素顔色。如果把三色圖像拓展，變成十色、百色、千色，那麼我們對圖像色彩的控制與渲染将無比精細。擁有這麼多波段的圖像便是光譜圖像。光譜圖像可以像 RGB 圖像那樣得到成像目标的空間特征，同時反映目标的内部實體結構和化學成份。是以，光譜成像技術被廣泛應用于遙感、醫學檢測、食品檢驗等領域。
傳統的光譜成像技術通過掃描擷取圖像，采集時間長、系統體積大。随着計算光學技術的發展，研究人員在光譜圖像采集過程中往往會進行一些編碼，并采用疊代優化算法進行光譜重建。然而，這種方法會造成計算上的負擔，一次光譜重建通常需要耗費幾分鐘甚至幾個小時的時間。而近年來，深度學習在科技應用方面顯示出了巨大的潛力，光譜成像也不例外。将深度學習應用于光譜成像，可以在幾秒鐘内完成圖像重建，同時兼具較高的分辨率和簡潔的系統。
傳統光譜成像方法通過掃描擷取圖像，速度較慢（從左到右依次為點掃描、線掃描、波段掃描） | 參考文獻[1]
應用深度學習後的光譜圖像重建方法 | 參考文獻[1]
近日，浙江大學光電學院郝翔研究員團隊以"Spectral Imaging with Deep Learning"為題在Light: Science & Applications發表綜述論文，回顧了光譜成像技術應用深度學習的最新進展，對基于深度學習的光譜成像技術進行了梳理，對其各種技術路線進行了原理闡述、研究總結，并整理了目前的光譜成像資料集、概述可能的未來趨勢與挑戰。
網站截圖
在綜述文章中，有效的分類是必不可少的。作者認為，對于以深度學習為基礎的光譜成像，他們已經找到了理想的分類方法。“根據光的基本特性，我們團隊将各種已知的光譜成像方法分為振幅編碼、相位編碼和波長編碼三大類。”
振幅編碼光譜成像
編碼孔徑系統中的光譜編碼過程 | 參考文獻[1]，作者漢化
振幅編碼光譜成像是通過編碼孔徑系統（CASSI）進行的，利用編碼孔徑（振幅掩模）和光栅元件對物體進行編碼，進而通過壓縮感覺恢複算法進行光譜重建。基于深度學習的振幅編碼光譜成像将壓縮感覺恢複的疊代算法替換為深度神經網絡，通過編解碼協同優化、疊代展開神經網絡、非訓練網絡等方法進行高效光譜重建。
相位編碼光譜成像
一種相位編碼光譜成像系統 | 參考文獻[1]，作者漢化
相位編碼光譜成像通過衍射光學元件（Diffraction Optical Element, DOE）進行，通過設計DOE的二維高度輪廓實作對不同位置的特定相位延遲，進而實作相位編碼。相位編碼經過菲涅爾衍射影響到不同光譜成分，然後通過對衍射過程進行模組化，即可通過算法對原光譜圖像進行重建。由于相位編碼後衍射計算的複雜性，傳統的疊代算法難以對光譜圖像實作有效恢複，這一問題在深度學習出現後得到了一定的解決，目前相位編碼的光譜恢複主要通過深度神經網絡進行。相比振幅編碼，相位編碼光譜成像擁有光能損失小、系統緊湊等優點。
波長編碼光譜成像
波長編碼光譜成像則是直接在光譜次元對圖像進行編碼，可以通過光學濾光片進行。RGB圖像就可以看成一種光譜編碼。目前主流的波長編碼方式有利用現有的RGB或設計光學濾光片，而編碼後的光譜重建則多借助深度學習技術。
基于RGB圖像的直接光譜重建是非常火熱的方向。随着NTIRE 2018和NTIRE 2020光譜重建比賽的召開，許多深度學習技術團隊參與進來，大大拓展了現有的深度學習光譜恢複技術。研究人員對深度學習參與的RGB光譜重建和濾光片設計光譜重建進行了分析，将重建方式分為點重建和塊重建，以此對每種重建方式進行了介紹。
本課題組提出的編解碼協同設計光譜成像技術 | 參考文獻[1]
基于自定義光學濾光片的波長編碼是近年來新興的光譜成像技術。通過設計寬譜濾光片，可以獲得比RGB濾光片更大的編碼自由度。再結合有效的深度學習技術，可以實作緊湊、快速、準确的光譜恢複。
緻謝
感謝論文通訊作者郝翔對本文的審閱與建議。
參考文獻
[1] Huang, L., Luo, R., Liu, X. et al. Spectral imaging with deep learning. Light Sci Appl 11, 61 (2022). https://doi.org/10.1038/s41377-022-00743-6
[2] https://www.eurekalert.org/news-releases/947692
作者：矩陣星
編輯：酥魚
排版：尹甯流
題圖來源：團隊提供
研究團隊
通訊作者郝翔：浙江大學博士生導師，浙江大學嘉興研究院院長助理。2014年獲浙江大學工學博士學位，後曾于耶魯大學醫學院細胞生物系擔任副研究員，主要研究方向為光學顯微成像/超分辨顯微成像、高光譜技術與計算光學。
課題組首頁https://person.zju.edu.cn/en/nanoscopy
論文資訊
釋出期刊《光科學與應用》Light Science&Application
釋出時間2022年3月16日
論文标題Spectral imaging with deep learning
（DOI:10.1038/s41377-022-00743-6）
文章領域深度學習、光譜成像、計算光學
如果想了解更多産業界和科技創投資訊，
歡迎關注果殼硬科技