（農曆立春，紐約暴雪，銀裝素裹，天地蒼茫。）
本周二，Magic Leap官方表示獲得由阿裡巴巴集團領投的約7.94億美元融資。加上上輪由谷歌領投的5.42億美元，至2014年年底以來，該公司總計已完成13.4億美元投資，總估值約45億。
這家位于佛羅裡達的創業公司已經創業數十年，陣容豪華，規模龐大，但卻對其核心技術諱莫如深，異常神秘。間或洩露幾條示範視訊，舉世驚豔，旋即嘩然。那麼，Magic Leap究竟有何驚世駭俗的技術秘密？在此，老顧大膽推測，力圖在其撲朔迷離的表象下，探究技術的實質。
在計算機圖形學領域，三維場景渲染示範技術的演化程序可以大緻劃分成如下的曆史階段：針孔相機，雙目立體視覺，光場，數字全息。簡而言之，針孔相機示範技術的代表作是早期的動畫電影《最終幻想》，雙目立體視覺的代表作是3D版的《阿凡達》，光場的代表作就是Magic Leap， 數字全息技術的代表作是《星球大戰》中的場景。
圖3. 最終幻想：光線跟蹤法渲染，針孔相機顯示技術。
圖4. 3D版的《阿凡達》，雙目立體視覺。
圖·5. Magic Leap，增強現實，光場技術。
圖6. 星球大戰，數字全息技術。
Magic Leap 實作并普及了光場顯示技術，這是三維場景顯示技術的一場實實在在的革命，獲得空前的投資自然是名至實歸。那麼，什麼是光場？這一技術是完全嶄新的嗎？這一技術發展的曆史脈絡如何？存在其他以光場技術起家的公司嗎？我們在下面的讨論中，逐一解釋。
針孔相機傳統的光學相機，其理想模型就是針孔相機。在計算機圖形學中，傳統的渲染方法都是基于這種相機模型。如圖7所示，從相機的光心（optical center）出發，經過成像螢幕的每一個像素，發出一條射線。光學跟蹤法（ray tracing）用幾何光學的實體法則計算這條射線的顔色，即為相應像素的顔色。圖8展示了一個用光學跟蹤法算出的渲染圖像。在這裡，我們需要一個概念上的轉換，每個像素不是一個點，而是一條射線，這是了解光場的關鍵！換言之，一張相片就是通過光心的一簇射線。《最終幻想》就是用光學跟蹤法來渲染制作的。
圖7. 光線跟蹤法中的針孔相機模型。
圖8. 用光線跟蹤法渲染的一幅場景。
傳統的顯示方法，例如螢幕，LCD/LED，是基于傳統觀念的，即把每個像素作為一個點，從不同的角度看過去，同一個像素的顔色不變。換言之，這種顯示方式失去了射線方向的資訊。
雙目立體視覺 人類具有兩隻眼睛，觀看物體時兩眼各自成像，大腦根據兩眼成像的細微差别計算每一點的深度資訊，進而得到立體感覺。模仿人眼，我們可以用雙鏡頭相機得到雙目立體相片。
圖9. 雙目立體相機。
圖10. 阿波羅登月計劃中拍攝的雙目立體相片。
本質上而言，雙目立體視覺相片就是從兩個光心出發的兩簇射線。3D版《阿凡達》就是以此原理制作的。相對于單目相機，雙目立體視覺時間複雜度和空間複雜度加倍。
圖11. 光場（Light Field）的魔盒解釋。
光場（Light Field）- 魔盒解釋
我們假設用一個玻璃盒子罩住一隻兔子，然後透過玻璃盒子來觀察這隻兔子。從盒子表面的任意一點，向三維空間的任意一個方向發出一條射線，這條射線的顔色由兔子和光照條件所決定。我們用來表示玻璃盒子，表示機關向量，一條射線表示為,所有射線的集合記為 。 每條射線對應着一個顔色，我們用三維空間中的一個點來表示。是以，光場就是從射線空間到顔色空間的映射，換言之，光場是定義在射線空間上的矢量值函數：
。
假設我們去掉了玻璃盒子中的兔子，但是這個玻璃盒子是一個魔盒，光場資訊被完美保留。當我們觀察這一魔盒的時候，所有經過一隻眼睛的射線合成了視網膜上的一幅圖像。我們可以自由地改變距離和視角，兔子在視網膜上的圖像相應地自然變化，根本覺察不到兔子的消失。是以，有了魔盒，我們不再需要真正的兔子。這個魔盒就是兔子的光場。
在光學領域中，光場是一個古老的概念。在1996年被微軟和斯坦福學者引進到計算機圖形學領域，發展到2016年的今天，已經整整二十個年頭了。雖然在學術界，人們不懈地研究深化，真正在工業界産生影響，還是近幾年的事情。Magic Leap應該算是Light Field理論在現實應用中的一個巅峰。
光場渲染 我們可以用兔子的光場來取代兔子，渲染生成各種角度的照片，這樣我們無需為建立兔子的幾何模型，紋理模型和光照模型。對于大場景，複雜光照條件，或者複雜幾何模型（如長絨玩具）等等，光場比實物的數字模型更為簡單，或者光場比光線跟蹤得到的渲染結果更加逼真，或者更加高效，我們用光場來渲染。這是所謂的基于圖像的渲染方法（ Image Based Rendering )。曆史上，微軟曾經出過一版基于光場的遊戲，類似孤島尋寶，所有場景都是從真實自然中采集，非常逼真，但是最後沒有引起任何反響，無疾而終。
光場采集 光場是定義在射線空間上的函數，射線空間是4維的，傳統的針孔相機隻能采集二維射線簇，是以光場采集具有本質的難度。早期光場采集的方法簡單粗暴，就是用大規模相機陣列，如圖12所示的二維相機陣列。這種光場相機笨重昂貴，無法普及。
圖12. 斯坦福的光場相機：16x8多相機陣列。
依随數字相機技術的成熟，針孔相機愈來愈小，可以密集的內建在一起，進而縮小了光場相機的體積。但是鏡頭的尺寸無法縮減，如圖13所示。
圖12. 斯坦福的光場相機：相機陣列。
真正的突破來自于仿生學。許多昆蟲都有複眼（ Compound Eye ）, 複眼擷取的就是光場資訊。
圖13. 昆蟲的複眼：光場相機。
人類模仿昆蟲，制造了類似複眼的鏡頭，如圖14所示，在一個大鏡頭上內建了數十個小鏡頭。依随光學工藝的改進，人們制造出在一張塑膠薄膜上內建了數千個微小鏡頭。斯坦福的博士生吳任基于這種想法，創立了光場相機Lytro公司。
圖14.Adobe制造的人造複眼原型。
傳統的相機需要先對焦，再照相。Lytro相機提出的口号是“先照相，再對焦”。因為Lytro相機得到的光場資訊，使用者可以由4維光場合成不同角度，深度的二維相片。
圖15. Lytro相機。
如圖16所示的婚紗攝影：同一個光場相片，我們既可以聚焦于靠近鏡頭的新郎；也可以聚焦于遠離鏡頭的新娘。
圖16. Lytro婚紗照：同一張光場相片，可以聚焦在不同的區域。左幀，聚焦在新郎上；右幀，聚焦在新娘上。
光場顯示 傳統的顯示方式，螢幕，LCD/LED，隻保留了射線穿過螢幕的交點的幾何資訊和顔色資訊，沒有保留射線的方向資訊。螢幕是漫反射的，從螢幕上某一點發出的所有射線都是相同顔色的，而光場顯示要求從同一點出發的不同射線具有不同的顔色，如圖16所示。光場顯示，正是Magic Leap的核心技術。
圖16. 顯示模式對比：左圖是傳統螢幕，過一點的所有射線同樣顔色；右圖是光場顯示，過一點的不同射線不同顔色。
USC的光場顯示 南加州大學提出并制作了一種光場顯示裝置，如圖17,18所示，有一個四面透光的玻璃櫃子，櫃子中間是一面和水準面夾角為45度的鏡子，櫃子頂部安裝了一台高速投影儀，投影儀垂直向下投影，光線經過鏡子反射後水準射出。同時，鏡子高速旋轉。一顆幽靈般的透明人頭懸浮在空氣之中，當我們繞着櫃子走的時候，我們可以看到人頭的各個側面，并且這顆人頭對你擠眉弄眼。
圖17. USC Light field display，一顆漂浮的人頭。
圖18. USC Light field display用于遠端會議系統。
圖19. USC Light Field display 專利圖。
圖19展示了這一光場顯示儀器的原理。45度傾斜的鏡子（114）被電機馬達（115）帶動旋轉，圖形處理器（130）生成圖像傳遞給高速投影儀（120），投影儀投射到鏡子上，經反射水準射向四周。這樣，經過嚴格同步控制，我們就顯示了一個三維的光場。這一裝置笨重而昂貴，同時高速旋轉的鏡子使得系統的穩定性下降。任何機械振動都會影響光場顯示效果。
Magic Leap 光場顯示 - 手電筒解釋
Magic Leap 的核心技術是一種特殊的光場顯示裝置：光導纖維投影儀 （Fiber Optic Projector ）。雷射在光導纖維中傳播，在纖維的端口射出，輸出方向和纖維相切。改變纖維在三維空間中的形狀，特别是改變纖維端口處的切方向，我們可以控制雷射射出的方向。這就猶如我們拿着一個手電筒，通過改變手電筒的位置，和指向改變輸出光柱的方向。如果我們快速搖動手腕，手電筒發出的光柱在空中劃出了一個圓錐面，這個圓錐面打到一面牆上成為一個圓周。通過快速改變手腕搖動的幅度，我們可以控制這個圓周半徑大小，進而得到一系列的同心圓，這一系列同心圓覆寫了一張圓盤。如果，手電筒的光柱顔色會變化，則我們在牆上畫出了一個彩色圓盤。這樣，通過快速搖動一隻手電筒，我們得到了一幅圖像，或者覆寫了一簇射線。假設有很多人，站在不同的空間位置，每人都搖動一隻手電筒，則我們得到了一個光場。這就是Magic Leap的光場顯示裝置：光導纖維投影儀的原理。
圖20. Magic Leap的手電筒。
圖20顯示了Magic Leap的手電筒，促動器(206）相當于人的手腕，光纖（208）相當于手電筒，促動器使得纖維頂端周期性地顫動，纖維頂端螺旋地畫出了一些列的同心圓，雷射經由透鏡系統輸出，在空中畫出了一簇射線。投射到平面上照亮了一個圓盤。同步地改變經過顔色和強度，一根纖維利用分時技術得到一幅圖像，如圖21所示。
圖21.一根纖維利用分時技術得到一幅圖像。
在Magic Leap的纖維光投影儀中，有許多根光導纖維，集結成二維陣列，每根纖維都相當于一個針孔相機，二維相機陣列生成了光場。
光場顯示的優勢 相比于雙目立體視覺，光場顯示有很多優勢。人類擷取三維深度資訊有兩種途徑，“shape from stereo” 和 “shape from focus”。我們用兩隻眼睛看同一個物體，同一個三維空間中的點，映到左右視網膜不同的像素上。我們人腦能夠通過視網膜上的像素，反算對應的空間的射線，進而得到兩條射線的交點，得到深度資訊，這一過程是“shape from Stereo”。我們每隻眼睛看物體的時候，大腦會自動調節眼睛的晶狀體的曲率，使得物體在視網膜上清晰成像。調節晶狀體的肌肉緊張程度使得大腦能夠計算物體的深度資訊，即所謂的“shape from focus”。看3D版的《阿凡達》的時候，我們隻用到了“shape from Stereo”， 眼睛的焦距一直固定，因為眼睛到螢幕的距離不變，是以沒有“shape from focus”的過程。但是，人類經過漫長的進化，這兩種過程自然而然地緊密聯系在一起。人為地割裂它們，就會使人目眩頭暈。相反地，如果用光場顯示技術，我們同時需要“shape from Stereo” 和“shape from focus”，是以觀看時不會頭暈目眩，光場顯示技術更加自然健康。
光場顯示的挑戰 作為一場革命的開端，Magic Leap的技術面臨着許多挑戰。最為直接的就是：傳統的顯示技術隻需要計算四維光場中的一個二維切片，而光場顯示需要計算整個四維光場，其計算複雜度提高幾個數量級，這是技術瓶頸之一。同時，精确的調控機械部件，使得每一個纖維都穩定自然地顫動，并且顫動的模式要和資料傳輸互相同步，并且這種顫動不受外界噪音的影響，這也需要令人匪夷所思的技術。
數字全息 光場從概念的提出到Magic Leap的投資狂潮已經走了二十年，而數字全息技術的發展曆史更加漫長。光場本質上還是幾何光學，而數字全息則是波動光學。目前數字全息技術日益成熟，依随藍色雷射的發明，彩色數字全息技術成為可能。目前發展的瓶頸一是計算量巨大，遠遠超過光場計算，二是數字全息顯示中需要特殊的一種晶體，每個像素的折射率能夠由電壓控制。目前這種光學器件依然昂貴，并且尺寸較小。我們相信依随光場技術的廣為接受，數字全息技術也會長足發展。
光場技術的啟示 光場技術的曆史發展使我們看到颠覆性的技術革命往往起源于基礎科學和非商業功利的學術界。從學術界醞釀成熟，到商業界呼風喚雨往往要幾十年。Magic Leap的技術突破來自于對于内窺鏡技術的轉用，這顯示了跨界科研的重要性。
期待有一天，電視電影都是用光場錄影機拍攝，觀衆可以任意動态選擇觀看角度。或許這一天要等待另一個二十年，或許隻需三五年。我相信，不久的将來，淘寶網上的照片都會被光場相片所取代，而Magic leap頭盔，成為每一個網購者的标配。
請長按下方二維碼，選擇“識别圖中二維碼”，即可關注。
【老顧談幾何】邀請國内國際著名純粹數學家，應用數學家，理論實體學家和計算機科學家，講授現代拓撲和幾何的理論，算法和應用。
今年三月份，Facebook 對外宣布了将以 20 億美元收購 Oculus VR，如果說 2014年 還有什麼新聞能讓給我同樣的震撼，那一定就是Google 5.42 億美元領投 Magic Leap 了。
Magic Leap是一個及其低調又隐蔽的項目，除了獲得 5000 萬美金早期投資的消息，很少有消息見諸報道。最絕的是，連官網都神秘到不肯告訴你他們做的是什麼的。消息出來，問了好多國内外做 VR、AR 的創業者，大家對于這家公司也是知之甚少。
估計所有人心裡都有一個疑問，這到底是一家什麼樣的神奇公司，能讓巨頭如此青睐。本着八卦的心态，我也搜集了一些資料并整理了出來抛磚引玉。當然啦，作為一個技術白，估計此文還有很多不準确或者有誤的地方，歡迎知情人士各種拍磚、劇透 （[email protected]）。
類 Avegant 的虛拟視網膜技術
Magic Leap 說他們生産能夠産生 “Cinematic Reality” 效果的軟硬套件，能呈現比 Oculus Rift 更具現實感的 3D 體驗，這種體驗如同建立在真實世界之上。當你調整 焦點時會有不同的角度和深度随之轉換，正如光場相機的效果一般。Magic Leap 稱 “ 這種體驗既不是虛拟現實，也不是增強現實，而是一種 30-40年 後的計算技術”。
從Re/code 的描述以及Magic Leap 的虛拟現實 3D 成像系統專利申請來看，Magic Leap 的成像技術可能和 Avegant 類似。Avegant 的成像原理與 Oculus 完全不同，采用一種叫作 VRD 虛拟視網膜技術（Virtual Retinal Display），可以在沒有實體 “顯示裝置” 的情況下，将圖像直接投射到使用者的視網膜上。
對滴，寫到這裡你一定覺得這就是 AR 增強現實技術。Magic Leap 及他們的 Cinematic Reality 還是與傳統的 AR 技術有一些差別的，差別主要是在呈現的效果上。傳統的 AR 技術中，文字、圖像以及其他虛拟元素會層層堆積在現實世界之上，讓人覺得他們是漂浮在實景世界之上的。而 Magic Leap 和 Avegant Glyph 所産生的畫面會更加真實，虛拟部分與現實部分會結合在一起，共同成為你視覺的一部分。是以正式因為這個原因，Magic Leap 把他們的技術定義成了 “Cinematic Reality ” ，如同電影般的現實。事實上，福布斯的專欄作家Parmy Olson在體驗 Avegant Glyph 的産品時，給出的評價就是，“給人的印象就是在一家小型影院裡通過電影放映窗在看電影”。
這種成像技術的另一個好處就是成像更加 “真實”，不會産生 “暈 3D” 的問題了。關于虛拟視網膜技術，Nvidia 的研究人員在 2013年 的時候釋出過一套類似的頭戴顯示系統，M.I.T. Media Lab也釋出過類似的産品和方案，相關的原件都有大規模商業生産的可能性。
Magic Leap 在做的事情
回到正題，那麼 Magic Leap 到底是通過什麼裝置成像的呢？Magic Leap 官方沒有說，國内外的報道也沒有說。我們就來從現有的一些報道裡找些蛛絲馬迹吧。
紐約時報的編輯 John Markoff 在今年7月 的報道裡，沒有提及他們使用了何種裝置，隻是說Magic Leap 希望未來可以将裝置做成一副眼鏡。
作為一家能被 Google 看中的公司，自然是一家 “技術流” 公司。我查了下Magic Leap 的專利，大概包括了：3D 虛拟與增強現實系統、符合人體工程學的頭戴式顯示器、觸覺手套、緊湊型成像系統、可讓使用者互動的 “大型同步遠端數字存在技術”。是以，很可能是通過符合人體工程學的頭戴顯示裝置顯示，通過觸覺手套互動。
從符合人體工程學的頭戴顯示裝置這項專利來看，Magic Leap 使用的裝置很可能具有眼鏡狀的外觀，内置自由形式的光學系統。從上圖中可以看出，裝置中很可能包含了一個波導棱鏡，有多個自由折射和反射表面，作為導光裝置。光線從圖像顯示單元發出，經由棱鏡的第一折射面，注入到波導棱鏡。所注入的光線經由多重反射（通常為 3 個或更多）的波導棱鏡，經由棱鏡的第二折射面繼續傳播，直達使用者的視網膜。
從觸覺手套的專利描述來看，這是一個動作捕捉的輸入裝置，可以用來對眼前的圖檔互動。也許，未來很可能是這個樣子的：Magic Leap 在你眼前呈現了一個鍵盤，你動動手指，就真的操作了它，不僅有實質上的輸出，很可能還會有實際的手感。
輸入、輸出都有了，Magic Leap 就像是一個體系、一個系統了。事實上，他們也在這麼做，他們的專利中還有一項就是Massive simultaneous remote digital presence world，展示的是一個與虛拟出來的現實世界展示、互動的裝置和方法。
為什麼 Google 願意參投 Magic Leap
寫到這裡，為啥 Google 願意參投 Magic Leap 就顯而易見了吧。Google Glass 雖然不會像 Oculus 一樣，讓使用者産生眩暈。但它也有大硬傷，那就是不能産生 3D 的視覺效果。
目前的 Google Glass 與 Moto 360 本質上都一樣，都是手機的外設，都是現有裝置的延伸。但加上 Magic Leap ，也許就是下一個計算平台了，像當年的 PC 和手機一樣，能夠同時滿足辦公與娛樂的需求。而随着生産力的發展與物質的富足，娛樂顯然是大勢。
今年3月，Facebook 收購 Oculus 的時候，我還在遺憾，為啥不是 Google 提前買下未來的無限可能和抵禦 Facebook 的護城河。現在想想，Google 選了另一條路。在 VR 與 AR 之間，Google 很一開始就選擇了 AR。Google Glass 是第一步，Magic Leap 則是第二步，也許未來加上 Google 的人工智能技術和智能機器人，也許會在現實的世界 “虛拟” 出一個平行的 “現實世界”，我想見的人随時随地以幻像的形式出現在我的世界，還能與我有互動；遊戲不再僅僅是 2D、3D 的，而是像《彩虹盡頭》裡描述的那樣，以實體的遊戲場出現，允許我在其中 “真實” 的格鬥、探險……
下一代計算平台
在《愚人節的胡言亂語：十年為期，以 Oculus VR 為代表的虛拟現實裝置很有可能會成為下一代計算平台》中有這樣一段話，我印象特别深刻：
想想看，如果十年内 Oculus VR 能做到太陽鏡大小，戴上它，你的視界中出現了一層新的計算界面，可以同現實世界并行不悖，也可以選擇完全沉浸式體驗也就是抹掉外界資訊。
事實上，Magic Leap 現在就在做這件事了。目前猜測，應該做的還不錯。據說他們計劃明年推出開發者套件，兩年内有可能推出 500 美元的消費者版本。
像 Oculus 和 Magic Leap 做的事情，之是以恐怖就在于他們創造了一個新的平台，創造了新的人機互動，創造了新的媒介。曆史上，每一次新平台的誕生，都促進了新的領域、行業的誕生；每一次人機互動的創新，都會改寫人類的行為習慣；而每一次新媒介的出現，都會或多或少的改寫人類曆史的發展和走向。
而在未來，VR 與 AR 能夠帶給人的，肯定不僅僅是虛構一個遊戲的世界、幻化一個逼真的任務、打造一個仿真的體驗，很可能将是 “鑄造” 全新的世界與認知。一兩百年前，人們已經完成了聲音的虛拟化，現在以 Oculus 和 Magic Leap 為代表的産品正在進行第二步，虛拟現實人們的視覺，未來加上 Ophone 這樣能夠虛拟現實嗅覺體驗的産品：一個看似更加真實的虛拟世界正在向我們揮手。
比新的計算平台更重要的是新的 “Reality”
“Reality” 是什麼？我們會翻譯成現實、實體的東西，認為一切我們感覺到的實體都可能是現實。當未來像 Oculus 和 Magic Leap 這樣的公司可以把 VR 和 AR 做到足夠 “真實”，可以以假亂真的時候，你還能分得清哪是現實、哪是虛構麼?
也許是時候去想一想，新的 “Reality” 是什麼了。
中國人數學好、擅長制作，在硬體複興的時代，看起來具有天然的優勢。為什麼還沒有颠覆性的、革命性的産品和技術呢？除了浮躁，也許就是我們對于技術本身的認知還存在問題。不知道是偶然還是必然，國外的很多大牛在講硬體的時候，總會從大腦、從神經講起，讓這些技術看起來玄之又玄，看似多餘的背後也許是另一種技術的理念。技術真正牛 X 的地方，也許并不至于可以實作什麼樣的功能，而在于如何改變人心。
自帕斯卡爾時代起，科學的所有進步都在于更好地确定 “生存”、“境遇” 和 “意識” 之間的邊界。人類的特征就是拒絕有限性，想要確定 “意識” 對 “生存”、“境遇” 的控制，不斷地突破那些将它封閉在空間、時間和精神之中的界限，也就是說，勇敢面對無限。而 Magic Leap 所想要做的，正是重新融合這三者，消除這些邊界，這就是人類未來的命運。
另一篇說的比較好的～
http://gizmodo.com/how-magic-leap-is-secretly-creating-a-new-alternate-rea-1660441103