投稿 | 中信出版集團，摘編自《空間計算》作者 | 凱西·哈克爾（Cathy Hackl）伊雷娜·克羅甯（Irena Cronin）
責編 | Echo Tang
随着 2024 年 Vision Pro 的釋出，蘋果公司迎來了下一個 iPhone 時刻。類似于 2007 年的革命，蘋果公司通過智能化、沉浸式空間計算平台，再次改變了計算行為的軌迹。就像 2007 年一樣，世界再度煥然一新。一款全新的作業系統開啟了全新的次元。這些無限的、分層的畫布賦予了使用者“超能力”。現在，在任何環境中，人們都可以憑借超凡的能力，在傳統實體世界和數字世界之外的空間裡與資訊、内容以及他人互動。我們每天都可以進入前所未有的世界，體驗在虛拟和增強領域中形成的奇妙世界。
圖源：使用 GPT 生成
人類正在踏上未知的混合現實之旅，這是智能、沉浸式且超越現實的旅程。混合現實提升了人類的能力，在不斷發展的混合次元中釋放指數級的性能，取得前所未有的成就，促進了實體世界與數字世界的互相聯系。
什麼是空間計算？
空間計算是很多商界人士在蘋果公司于 2023 年 6 月釋出 Vision Pro 裝置時第一次聽到的術語。但是，這并不是一個新術語。有人可能會說，我們的手機是原始的空間裝置。事實上，AR、VR、XR（擴充現實）和 AI 領域的很多專業人士多年來一直緻力于空間計算。
為了了解空間計算的商業價值，我們首先必須為商業世界建立一個工作定義，并解釋它将帶來的市場機遇。
一旦這樣做了，我們就可以了解商業和計算将如何變化，以便為這一轉型做好準備。
很多人追溯到西蒙·格林沃爾德（Simon Greenworld） 2003 年在麻省理工學院發表的碩士論文，在其中，空間計算首次被定義為學術術語。當時他還是麻省理工學院媒體實驗室美學和計算小組的研究員。在論文中，他探讨了計算結構的空間環境，并這樣定義空間計算：“空間計算是人類與機器的互動，其中機器保留并操縱真實物體和真實空間的參照物。它是讓我們的機器在工作和娛樂中成為更好夥伴的重要組成部分。”
他進一步定義：“作為人類與機器的互動，在其中機器保留并操縱真實物體和真實空間的參照物。在理想情況下，這些真實的物體和空間對使用者具有優先意義。空間計算更關注體驗品質。在大多數情況下，這意味着設計的系統能夠突破螢幕和鍵盤的傳統界限，而不會陷入一種界面或溫和的模拟。為了讓機器在我們的工作和娛樂中成為更全面的夥伴，它們需要加入我們的實體世界。它們将不得不操作我們操作的物體，而我們需要使用我們的實體直覺操作它們。”
格林沃爾德的定義并非獨一無二。很早以前，曾是風險投資界和科技界寵兒的 Magic Leap（美國增強現實公司）将他們正在打造的裝置描述為空間計算裝置。他們将空間計算定義為一種新的計算形式，利用 AI 和計算機視覺将虛拟内容無縫融入我們周圍的實體世界。
他們通過一款名為 Magic Leap One 的裝置做到了這一點。在 2018 年由前 CEO（首席執行官）羅尼·阿博維茨（Rony Abovitz）和其他幾名著名的 Magic Leap（美國增強現實公司）員工撰寫的一篇題為《空間計算：給我們技術朋友的概述》的文章中，他們解釋了該公司如何将空間計算定義為一種新的計算形式，讓數字内容超越當今 2D（二維）螢幕和計算機的限制，并深入研究了其中的一些技術構件。1 從那以後，Magic Leap 就不再使用空間計算這個術語，而是使用 AR 一詞，這一變化可以從其最近的媒體采訪和網站上可以看到。
在蘋果公司 2023 年 6 月召開全球開發者大會（WWDC）期間，該公司公開表示，空間計算“将數字内容與實體世界無縫融合，同時讓使用者可以身處其中并與他人保持聯系。”這一資訊進一步反映在其網站和針對開發者的 visionOS（蘋果的空間計算作業系統）資料中。
在 Meta Connect 2023 開發者大會期間，Meta 公司宣布推出其 Meta Quest 3（頭戴裝置），該産品采用新的晶片，使裝置能夠更好地穿過混合現實，通過先進的空間映射更好地掃描實體世界，以及實作虛拟物品的空間錨定， 讓佩戴者每次使用裝置時都可以傳回起點。Meta 高管還談到通過智能眼鏡的發展迎來下一代計算平台，并表示該公司的新款眼鏡将是“未來很長一段時間内市場上最具價值的空間計算眼鏡”。
該公司還宣布了新的雷朋 Meta 智能眼鏡，該眼鏡将在 2024 年實作多模态，能夠利用 AI 了解佩戴者周圍的環境。微軟将其定義為裝置感覺周圍環境并以數字方式表現這種感覺的能力，以及在人機互動中提供新功能的能力。
AWS（亞馬遜雲計算服務）将空間計算定義為虛拟世界與實體世界的結合，通過将實體世界虛拟化，并将虛拟資訊疊加到實體世界上，使用者可以通過自然和直覺的方式與數字内容進行互動。對 AWS 來說，這種結合增強了我們在實體或虛拟場景上進行資料可視化、資料模拟以及與資料互動的方式。亞馬遜技術副總裁比爾·瓦斯（Bill Vass）在他的博文《預測未來的最佳方式是模拟未來》中表示，“空間計算是協作體驗的動力”。
英偉達公司通過 Omniverse 産品為其開發人員引入了空間架構，而 Niantic（遊戲公司）通過其視覺定位系統（VPS）專注于空間映射，該系統使使用者能夠将虛拟物品放置在特定的現實世界位置，并讓該物品持續存在，是以一個人可以留下一個物品供其他人尋找，進而使現實世界的全球桌上遊戲變得栩栩如生。
有哪些技術？
空間計算世界依賴于一系列基礎技術來驅動其沉浸式體驗。這些技術包括 AI 和内容創作工具，以及連接配接解決方案和雲計算。在本節中，我們将探索這些技術及其在空間計算領域中的關鍵作用。在空間計算領域中，數字世界和實體世界融合在一起，創造出非凡的體驗。
AI 基礎
AI 是空間計算的基石，包含多個子領域。
- 機器學習（Machine Learning，ML）
空間計算的支柱，使系統能夠從資料中學習并适應，而無須明确程式設計。它讓機器可以識别模式、做出決策，并随着時間的推移提高其性能。在空間計算中，機器學習為 AR 導航中的路線規劃等應用提供了支援，這些應用通過分析實時傳感器資料為使用者提供最有效和最友好的路線。通過不斷完善其對環境的了解，機器學習在增強使用者體驗方面發揮着關鍵作用。
- 深度學習（Deep Learning，DL）
機器學習的一個子集，專注于使用多層神經網絡來對複雜模型進行模組化。在空間計算中，深度學習能夠建立處理大量資料的複雜模型，這對于 AR 和 VR 應用中的圖像識别和對象檢測至關重要。該技術增強了空間裝置識别使用者周圍環境中的物體和空間并與之互動的能力。
- 強化學習（Reinforcement Learning，RL）
機器學習的一種形式，其中智能體通過采取行動和接收回報或獎勵來學習如何做出決策。在空間計算中，強化學習用于開發遊戲和娛樂應用中的動态角色行為。它讓角色能夠根據使用者的輸入調整自己的動作，進而創造更具沉浸感和互動性的體驗。此外，強化學習有助于空間裝置中使用的實時決策過程，以改善使用者互動。
- 程式化生成（Procedural Generation）
一種用于通過算法生成内容的技術，可以建立大量不同的風景、物體和場景。在空間計算中，程式化生成為沉浸式環境帶來了動态且不斷變化的次元。這項技術通常用于生成 3D 世界，使每個使用者的體驗都是獨一無二的。它對于遊戲、虛拟模拟和 AR 等應用至關重要，這些應用需要即時生成内容以保持新鮮度和多樣性。
- 神經網絡（Neural Networks）
受人腦結構啟發的計算模型。它們是各種 AI 任務的基礎，包括模式識别和資料分析。在空間計算中，神經網絡有助于處理複雜的任務。例如，它們在計算機視覺中發揮着關鍵作用， 能夠識别現實世界中的物體和形狀。這種功能對于在 AR 應用中增強實體環境至關重要，可以提供實時資訊并增強使用者了解。
- 計算機視覺（Computer Vision，CV）
一種讓機器能夠了解和解釋來自實體世界的視覺資訊的技術。在空間計算中，計算機視覺處于最前沿，它幫助空間裝置識别使用者周圍的物體和空間，并與之互動。它在 AR 導航等應用中發揮着重要作用，可以将數字資訊疊加到現實世界中，為使用者提供實時方向和導引。
- 傳感器技術（Sensor Technology）
傳感器技術是空間計算的感覺神經系統，為裝置提供感覺實體世界的能力。空間裝置配備了各種傳感器，包括攝像頭、陀螺儀、加速度計、GPS、光探測和測距（雷射雷達） 等。這些傳感器采集與使用者周圍環境相關的資料，如運動、位置、光照水準甚至深度資訊。在空間計算中， 傳感器在了解使用者的環境和移動、促進精确跟蹤、手勢識别和實體空間映射方面發揮着關鍵作用。這些傳感器是空間裝置的眼睛和耳朵，使它們能夠為使用者提供實時的、環境感覺的體驗。無論是用于沉浸式遊戲、AR 導航，還是用于工業環境的精确地圖繪制，傳感器技術對于建立動态體驗和互動式空間體驗都至關重要。
- 空間音頻（Spatial audio）
空間音頻是空間計算領域沉浸式體驗的無名英雄。它改變了我們感覺聲音的方式，讓我們沉浸在與環境視覺協調一緻的 3D 聽覺情境之中。無論你是在探索虛拟世界、參加虛拟音樂會，還是在聽 AR 講故事，空間音頻都可以為體驗的聽覺部分增加深度、次元和真實感。它可以讓聲音從空間中的特定位置發出，進而使使用者産生方向感和距離感，甚至可以模拟不同環境的聲學效果。空間音頻不僅豐富了我們的娛樂體驗和遊戲體驗，而且在訓練模拟、虛拟會議和建築設計中得到應用。這項技術徹底改變了我們與聲音互動的方式，使音頻成為沉浸式體驗中不可或缺的一部分。
- 眼動追蹤（Eye tracking）
眼動追蹤技術已經成為空間計算領域的遊戲規則改變者，為了解使用者的意圖和興趣提供了直接的視窗。通過精确監測眼球運動和注視方向，它可以實作與空間裝置更自然、更直覺的互動。從 VR 和 AR 到遊戲和醫療健康應用，眼動追蹤都可以增強使用者體驗。它讓裝置可以根據使用者的視線進行調整，進而提供有針對性的資訊，增強沉浸感，甚至提供個性化的内容。除了娛樂之外，眼動追蹤在幫助行動障礙患者和協助診斷程式等醫療健康方面也具有很好的前景。借助這項技術，觀看行為成為一種強大的工具，以之前難以想象的方式駕馭和塑造數字世界和實體世界。
- 語音識别（Voice recognition）
在 AI 能力的推動下， 語音識别技術已經成為空間計算領域輕松交流的基石。借助語音的力量，使用者可以自然地與空間裝置進行互動，僅用聲音就可以發出指令、提出問題并接收響應。AI 算法是語音識别的基礎，其使這些系統能夠了解人類語言、口音和語境的細微差别。這項技術不僅為日常工作帶來了便利，還為無障礙交流打開了大門，讓具備各種能力的個人都能參與空間環境。無論是在 AR 界面導航、控制智能家居裝置，還是觸手可及的實時語言翻譯方面，AI 增強的語音識别都已經成為連接配接人類意圖與數字行動的橋梁。在快速發展的空間計算領域，語音識别就像一首交響樂，使我們的言語與我們想要的行動和體驗協調起來。
- 異常檢測（Anomaly Detection）
異常檢測涉及識别資料中的異常模式或行為。在空間計算中，這項技術對于確定安全至關重要。通過分析傳感器資料并識别異常情況，空間裝置可以提醒使用者潛在的問題。異常檢測在與預測性維護相關的應用中尤為重要，它有助于預測裝置故障并減少停機時間。
- 基于實體的模拟（Physics-Based Simulation）
基于實體的模拟對于在空間計算中建立逼真、動态的虛拟環境至關重要。空間應用程式可以模仿現實世界的實體互動，增強使用者的存在感和互動感。醫療教育訓練模拟、建築設計和遊戲等應用程式利用這項技術來提供逼真的場景和使用者體驗。
- 優化算法（Optimization Algorithms）
優化算法是空間計算中簡化流程和決策的基礎。它們確定系統高效、有效地運作。在零售商店布局優化等應用中，這些算法分析客戶的移動資料，并幫助零售商通過優化商店布局和産品擺放來增強顧客的購物體驗。
- 自然語言處理（Natural Language Processing，NLP）
自然語言處理使機器能夠了解人類語言并與之互動。在空間計算中，自然語言處理促進使用者和空間裝置之間的無縫交流。這對于涉及實時語言翻譯的應用尤為關鍵，AR 眼鏡可以将口語即時翻譯成字幕或音頻，讓講不同語言的人可以輕松交流。
- 語言識别（Speech recognition）
一種将口頭語言轉換為文本或可操作資料的技術。在空間計算中，這項技術有助于使用者互動。它使使用者能夠發出語音指令并接收來自空間裝置的響應，使語音控制界面成為 AR 和 VR 應用程式不可或缺的一部分。
- 生成式 AI（Generative AI，GenAI）
一項為空間計算帶來一個新的創造力次元的技術。它讓應用程式能夠建立 3D 内容和模拟，進而擴充了沉浸式體驗的可能性。例如，在時尚設計和奢侈品領域，生成式 AI 可用來處理體積資料、分析供應鍊資訊以及生成産品及設計的虛拟 3D 模型。
這些技術共同構成了空間計算的 AI 架構，為其注入了在現實世界中互動、适應和創新的能力。
AI 在空間計算中的商業效益
為了進一步擴充 AI 在空間計算中的關鍵作用，我們現在需要探索其切實的商業效益。這種融合對企業意味着什麼？企業如何從目前的融合中受益，同時關注 AI 與空間計算在融合方面的快速發展？
AI 在空間計算中的一些切實的商業效益包括下面幾類。
第一，改善零售和電子商務中的客戶體驗。除了聊天機器人之外，空間計算中的 AI 為零售和電子商務中的客戶支援提供了更強大的體驗。電子商務正在轉變為虛拟店面，商店在網上建立其零售點的數字孿生。試驗性電子商務平台 Obsess 使用生成式 AI 來設計效率更高的虛拟店面，并大規模生成動态内容。虛拟聊天機器人更新為虛拟的、栩栩如生的人，其可以根據購物者的喜好實時定制個性化響應。
在實體零售點，空間計算中的 AI 扮演着不同的角色。個性化在網上更有可能實作，但實體零售店也可以使用空間計算中的 AI 為店内顧客帶來個性化體驗，進而彌合他們的數字購物習慣與實體購物習慣之間的差距。店内空間計算中的 AI 可以為顧客在實體零售點的旅程添加時間戳，進而建立顧客的完整視圖。盡管并不是每個人都擁有空間計算裝置，但智能手機正在接近這個目标。随着支援空間計算技術的可穿戴裝置進入市場，零售商可以使用這些裝置以及 AI 和資料集來引導顧客獲得新的店内購物體驗，引導他們嘗試不同的産品，或者根據他們的喜好（如對店内服務員、獨自購物、櫥窗購物，以及那些進進出出的人的要求）來優化購物時間。
第二，加強醫療健康和教育領域的教育訓練和模拟。熟能生巧這句話對任何人都适用，對醫療健康領域的專業人士來說更是如此。了解人體及各種情況是練習者提升自己的唯一途徑。從依靠遺傳捐贈者進行學習到使用虛拟現實和模拟實驗室進行進階模拟，醫療健康教育訓練和教育取得了突飛猛進的進步。再加上空間計算中的 AI，醫療健康從業者将得到全新的教育訓練機會和教育機會。
空間計算中的 AI 不僅僅能用于實操前的學習和練習，還可以幫助外科醫生評估他們的手術。在醫療健康教育領域，AI 在空間計算中的作用是提高從初學者到經驗豐富從業者的轉變速度和品質。将空間計算中的 AI 整合到目前的醫療健康工作流程中，可以通過使用大量資料和學習來實時教育醫療健康從業者，幫助醫生更快地判斷病情。空間計算中的 AI 與連接配接裝置相結合，能夠使從業者看到他們以前無法看到的人體部分，比如肺部的新角度，這些可以為手術和診斷提供資訊。
第三，制造效率和物流效率的提高。空間計算中的 AI 有可能徹底改變制造業。目前，很多工廠的營運中都
采用機器人、傳感器和資料采集等技術。與人類同行一樣，空間計算中的 AI 可以實時指導操作人員。空間計算中的 AI 消除了對過時人機界面的需求，因為它可以向特定位置的操作人員學習，并通過工廠中的攝像頭和其他傳感器，用計算機視覺來識别生産線上的問題、産品缺陷和其他品質關注點。空間計算中的 AI 可以将相關資訊回報給操作員，以便實時進行調整。空間計算中的 AI 在制造領域和物流領域的應用如果實施得當，可以減少浪費，縮短産品面市所需的時間，并大幅度提高操作人員的安全性。
第四，遊戲和娛樂中的創造性應用。遊戲和娛樂行業已經為空間計算中的 AI 做好了準備。從使用者到新技術的采用，空間計算中的 AI 為我們觀看、玩耍和遊戲的方式提供了創造性的應用。空間計算中 AI 為開發人員提供創造性應用的一種方式是從使用操縱杆和鍵盤切換到用眼睛和手勢控制。空間計算中的 AI 能在現實世界事件的遊戲化中變得有趣，例如在現場比賽中建立籃球運動員的數字孿生，球迷可以通過他們的空間計算機在籃球比賽中與籃球運動員進行互動。
空間計算中的 AI 使得開發人員可以建立基于三維空間的遊戲，而不是讓基于二維空間的遊戲來适配空間計算。空間計算中的 AI 具備利用現實世界環境的能力，能加快物體和場景的開發。另外，利用空間計算機進行空間創作的能力将為遊戲開發、電影制作、音樂表演和其他娛樂活動領域創造全新的行業。
第五，農業産業的進步。技術在農業方面的利用并不少見。拖拉機和農機裝置裝有傳感器，可以跟蹤種子的播撒情況，并根據土壤和其他相關名額來評估植物的品質。約翰迪爾（John Deere）公司在 2022 年的 CES（國際消費類電子産品展覽會）上展示了一款全自動駕駛拖拉機。空間計算中的 AI 是這些聯網車輛、傳感器和裝置的關鍵進步，可用于增強精準農業，如害蟲檢測、植物健康、資源配置設定優化等。空間計算中的 AI 先進的空間可視化技術使農民能夠從複雜的農業資料中獲得新的見解并識别新的模式。
在房地産領域，空間計算中的 AI 提供了各種各樣的用例，從建築物和住宅的數字孿生到家具擺放或施工前的數字化翻新房屋。
第六，汽車和交通運輸行業的創新。空間計算中的 AI 為使用者和交通規劃者提供了靜态的二維地圖的視角轉換。通過平視顯示器将空間計算中的 AI 整合到車輛中，例如寶馬 7 系或捷豹 XF 采用的全息顯示器，它們可以告訴駕駛員交通狀況、協助換擋的換擋點、橫向轉彎時的加速度大小，以及越野時的轉向角和俯仰角等各種資訊。在我們大多數人每天都在進行的活動中，空間計算中的 AI 提供了我們以前無法獲得的資訊和幫助。
針對交通規劃者的空間計算 AI 可從道路上的傳感器、聯網汽車和基礎設施中的其他聯網資料點擷取資料，并利用這些資料來規劃路線、預測交通流量并考慮道路狀況。空間計算中的 AI 在公共交通運輸上，可以利用空間分析來預測各種公共汽車路線的需求。對飛機來說，空間計算中的 AI 在飛行前檢查時可以比人工更快、更有效地檢查飛機是否被鳥類、閃電或其他事件損壞。空間計算中的 AI 能夠縮短檢查時間，并提供實時報告。在一個案例中，使用空間計算中的 AI 解決方案，針對損壞的檢查時間從 30 分鐘縮短到 3 分鐘。
【圖書推薦】
在《空間計算》中，凱西·哈克爾和伊蕾娜·克羅甯将通過空間創新理念激發你的想象力，以創造新的世界、新的工作方式、新的學習模式、新的交流形式、新的探索途徑以及夢想、記憶、發明、解決方案和演進的新方式，進而提供一個變革性的開端。
實體世界與數字世界之間的邊界将由各位讀者共同塑造。你們是這些未知世界的建築師，是發現這些世界的天文學家，是探索這些新領域的開拓者。你們的願景将引領空間設計、體驗和人類潛力的新篇章。
由 CSDN 和 Boolan 聯合主辦的「2024 全球軟體研發技術大會（SDCon）」将于 7 月 4 -5 日在北京威斯汀酒店舉行。
由 MIT 計算機與 AI 實驗室（CSAIL）副主任、ACM Fellow Daniel Jackson 和世界著名軟體架構大師、雲原生和微服務領域技術先驅 Chris Richardson 領銜，華為、BAT、微軟、位元組跳動、京東等技術專家将齊聚一堂，共同探讨軟體開發的最前沿趨勢與技術實踐。