作者 | 朱世耘
編輯 | 邱锴俊
“目前為止，我沒有聽到任何一家做到了（原教旨定義下的）端到端。沒有任何一家，包括特斯拉。”
一位國内一線智駕車企的工程師如是說。
但與此同時，特斯拉、華為、小鵬作為行業公認的第一戰隊，都已上車或即将量産端到端智駕系統。小米汽車推送了端到端的泊車系統，蔚來也要在主動安全領域應用端到端方法。
供應商中，地平線的端到端感覺系統Sparse4D将在明年亮相，商湯絕影的端到端智駕方案Uni AD也計劃将在明年量産落地。
顯然，“黑盒”的不僅是端到端技術本身。《電動汽車觀察家》通路多位工程師、企業研發負責人和投資人，試圖了解端到端産業落地的部分真相和進展。
01
端到端，高端的“端”
盡管“端到端“已經成為智駕使用者群中”高端“的代名詞，但到底什麼是端到端？
去年年底，特斯拉創始人馬斯克在FSD V12示範中有段端到端的“原教旨”描述：V12消除了30萬行C++代碼，V12中是純粹的神經網絡，實作了輸入光子、輸出控制指令的完全端到端（Photon to Control）。
具體而言，智能/自動駕駛的“端到端”是指系統從傳感器輸入到控制信号輸出所有步驟完全可導的系統。
在”原教旨“定義中，端到端可以是一個大模型（one model），也可以是多個小模型構成。
更重要的是智能/自動駕駛系統能夠作為一個整體，面向最終任務——“開車”進行資料訓練和疊代優化，使用者感覺的駕駛決策軌迹，是完全由模型系統做出的。
端到端自動駕駛系統概念示意
端到端之前的混合架構由子產品化模型+後處理+規則構成，将“開車”這一複雜綜合任務拆解為一系列子任務，由三四十個子產品協同完成。而這些子產品包括神經網絡、手寫規則和數學方法等多種類型。
相比混合架構，端到端具有資訊無損、全局優化和極大提升效率的優勢。
在資訊無損和全局優化的資料驅動之下，端到端相較于混合架構的疊代效率極大提升。
以特斯拉為例，FSDV12.3版城市每次關鍵接管前行駛裡程已上升至240公裡，無關鍵接管率也達到空前的71%。在向全美特斯拉車主推送免費試用一個月之後，4月的一次或無接管率達到90%，無接管率為73%，5月和6月，這一數字略有回落為87%/68%，87%/70%。
在非端到端版本前，這一資料的曆史最好值為去年8月的87%/65%。
但從《電動汽車觀察家》了解到的資訊來看，目前業内尚無人做到馬斯克所表述的“原教旨主義”端到端，包括特斯拉自己。
02
有代碼的端到端
“他們說沒有必要不用規則。紅綠燈等都是人類現成的規則，沒必要通過看别人紅燈刹車，才學會刹車。”
一位接近特斯拉北美FSD團隊的業内人士表示：“是以V12應該是一個大的神經網絡，從頭到腳。隻有底下重新做了一個兜底的東西。出現極端情況，或者沒必要（用神經網絡學習）的，就用這套東西去兜底了。”
另一個論據是FSD V12的車端算力使用情況。
特斯拉工程師現場估算，70Tops（HW3.0）中有一些固定的道路、紅綠燈、兜底規則的算力消耗，約20Tops左右。實際自動駕駛系統的算力在50Tops左右。“是以反推出它的自動駕駛模型也不大，可以說是一個小模型。”上述業内人士表示。
前述工程師也認為，特斯拉的規劃使用深度學習是為了加速樹搜尋（人工智能問題中做出最優決策的方法,一般是在組合博弈中的行動規劃形式），“而不是直接端到端黑箱出軌迹。因為出了問題短時間根本修不好，也沒人知道要多少資料可以修好。”
但另一位工程師另有看法。他認為，特斯拉FSD在V10.9時，已經完成了感覺的純資料驅動。如今V12的架構和V11沒有很大的差别，最大差別在于換掉了整個決策規劃子產品。
基于AI DAY的資訊，特斯拉規控部分在2021、22年就已經是一個混合模型，在當中使用了資料驅動的方法與規則融合。“顯然，沒有辦法通過這種方法（模型+規則）來達到V12的效果。”
目前國内極少數實踐一段式端到端自動駕駛系統的商湯絕影，也表示其系統目前仍需要有安全兜底規則。
商湯絕影自動駕駛系統演進圖
商湯絕影推出的端到端自動駕駛系統UniAD，通過感覺端的模型和特征提取器，得到周圍環境、目标，以及目标未來行為預測的一系列特征，并以此進行之後的規劃軌迹輸出。整個架構内都由神經網絡構成，子產品間的互動也都是通過特征來傳遞。
“實際上，我們在（系統）中間有加入之前傳統子產品間的一些監督，但整體目标還是希望學到最優的最終路徑。對于最後的路徑規劃，我們會通過傳統的方法進行安全性的檢查和确認，確定環境中最底線的安全保障。”
商湯絕影智能汽車事業群智能駕駛副總裁石建萍表示：“現階段的端到端，首先是從感覺到規控是一個完整的資料驅動方案，通過靈活的資料積累和scaling laws使系統更快疊代到更加智能的狀态。但在一些安全性問題上，還是要跟規則一起做一些互相确認。
這是我們認為端到端可能較為合理的方案。”
小鵬汽車創始人何小鵬也在此前的采訪中說過：目前沒有一家企業敢說自己的端到端是完全沒有代碼的。
對于國内頭部玩家來說，感覺部分的模型化程度已經很高，切換端到端的主要難度在于之前幾乎完全由規則組成的規控制部分。
上述規控工程師表示，據其了解，目前國内頭部玩家的規控大部分仍是混合架構。
具體而言，模型給出若幹軌迹參考後，用傳統方法全部進行優化。工程師會寫一些規則和評價函數，對每個優化完的結果打分，之後選出分最高的軌迹落地。其中，評價函數也可能會部分結合神經網絡。
所謂傳統的方法，并非簡單的if else（If else 是C語言中的條件語句。if後面加一個條件,如果條件成立,則執行if語句裡面的内容,如果不成立,則執行else語句内的内容），而是衆多數學方法。包括馬爾科夫決策過程、博弈論、utility theory、優化理論等。
馬爾科夫決策過程
2023年4月，還擔任小鵬智駕負責人的吳新宙就曾表示，在窮盡數學方法的可能性之前，不會在決策部分大規模滲透神經網絡。
在上述規控工程師看來，完全依靠深度學習達到高安全性的智能/自動駕駛系統，成本要比使用科學方法高得多。更合理的方法是打造一個科學的決策規劃理論和計算架構，其中能夠相容機器學習。一方面表征了規控結果的合理性和基本正确性，另一方面依靠機器學習，實作系統的智能和靈活性。
“深度學習可以作為工具處理子問題，但不應當認為有了深度學習端到端就可以再也不用把理論做對了，那樣隻會garbage in, garbage out（垃圾進，垃圾出）。”
但仍有工程師對非“原教旨”的端到端心存懷疑：
“總而言之，無論是感覺後處理代碼，還是規劃的候選軌迹打分，甚至是安全兜底政策。一旦引入了規則的代碼，有了if else的分支，整個系統的梯度傳遞就會被截斷，這也就損失了端到端系統通過訓練獲得全局優化的最大優勢。”
03
“黑盒”中的端到端
“一堆資料、一個算法、一個目标，如何把三者連起來形成閉環？這種能力既花錢又花人。”上述接近特斯拉的業内人士表示：“到底怎麼做？大家都不知道，特斯拉也不講了，隻能慢慢去摸索。”
即使是仍存在代碼的端到端系統，如何訓練和驗證，也已是橫亘在工程們眼前的難題。
“如果是開環訓練，無論多少資料我了解都很難達到目前（特斯拉FSD V12.3）這種效果。大家推測，之前訓練的基礎設施（自動标注、已訓練好的各類模型、回歸參數等），對特斯拉實作端到端是最關鍵的。
Andrej Karpathy（原特斯拉FSD技術負責人）也說是把車端一些決策、判斷的内容遷移到了雲端。但到底是怎麼結合？怎麼驗證？
端到端并不是新概念，一直沒落地也是因為當中存在很多的技術卡點。”前述工程師表示。
早到英偉達，近到comma.ai 、Wayve都推出了端到端L2級自動駕駛系統的Demo和開源項目。但此前行業和學術屆對端到端自動駕駛系統的探索都是開環訓練和開環測試。
開環測試系統示例
所謂“開環”，是讓模型在采集到的現實資料上，進行模仿學習，“有樣學樣”。開環評測主要考量系統與人類駕駛員軌迹的偏離程度，以及碰撞機率。
目前業内普遍認為開環訓練/驗證的系統，無法直接應用在現實場景中。
因為開環無法閉環——環境對系統的行駛軌迹給出真實的回報（例如：自軌迹規劃對前方車輛進行加速繞行，環境根據情況給出繞行成功或剮蹭的結果回報），系統在與環境的互動試錯中學習優化指定目标（開車）。
閉環測試系統示例
閉環訓練作為強化學習的方法，其效果在大語言模型（LLM）的性能提升中得到了驗證，但自動駕駛系統不是“聊天對象”，其閉環所需的資料和驗證方式，都更為複雜和困難。
環境建構困難外，閉環的資料擷取也更困難。
開環模式可以直接擷取資料，從大量的人類駕駛資料中精選出“五星司機”資料，讓系統模仿，進行開發的訓練和驗證。
閉環訓練則需要提供能夠與系統進行互動的場景資料。這就不僅需要采集資料，還需要建構出基于實體，甚至人類行為學的互動仿真環境。
目前業内有CARLA（開源仿真器，用于模拟自動駕駛車輛在不同場景下的行為和決策）等仿真器，或是其它遊戲引擎來提供這樣的環境。但實踐認為，仿真器中訓練出的系統，無法直接遷移到真實環境中。
Wayve、comme.ai則會基于一些仿真引擎和真實資料重建場景。盡管更加拟真，但當系統生成的駕駛決策與采集到的差異太大時，系統訓練後的拟人性會急速下降。
閉環驗證則更為困難。
一方面，仿真環境的真實性和豐富性始終存在上限；另一方面，随着端到端系統性能提升，接管率不斷下降之後，實車測試的難度也随之增大。此外，當端到端性能達到一定程度後，如何評估也成為新的問題。
此前，UniAD在論文階段采用開環模式。石建萍表示，商湯絕影在量産UniAD的過程中，已經意識到開環的不完全性，”我們自己内部大量的研發其實都是去打通實車的閉環單鍊路和仿真的閉環單鍊路，雙管齊下去做。“
但如果要做到特斯拉的水準呢？
今年股東大會上，馬斯克表示目前FSD的制約因素是兩次幹涉之間的行駛距離太長了。“要想确定哪個版本效果更好，需要花費相當長的時間，因為它們都不需要什麼幹預。如果幹預間隔裡程達到數千英裡，或者一萬英裡（1.6萬公裡）（怎麼辦？）”
V12之後，FSD的接管率大幅下降
接管率外，端到端還需要新的評估體系。“如果一個版本有5次幹預，另一個有7次。7次就必定比5次的差嗎？人類幹預的發生有很強的主觀性，是以需要大規模，甚至全美的統計資料才能建立起客觀的評價體系。”一位工程師表示。
目前，特斯拉通過影子模式在其車隊中對人類駕駛和新版FSD進行比較分析，“通過大規模車隊在很短時間内形式的數十億英裡來進行評估。”“事實上，如果沒有數以百萬計的車輛在路上行駛，就不可能解決自動駕駛問題。”馬斯克表示。
04
疊代背後的資源戰争
“把完全端到端模型閉環地使用起來，其實是最重要的。”
石建萍表示，“我們現在盡快使用起來且快速疊代，這事其實是比較重要的。絕影現在車上持續在部署優化的模式。
每個月的版本模型都會有一些微調。比如如何連接配接、中間需要哪些特征、特征如何訓練等，随着資料增長和我們對模型效果的認識，持續疊代進化。”
在算力儲備方面，商湯絕影是國内智能汽車行業領先的，商湯目前已經擁有4.5萬張GPU，營運總算力規模達到12,000 PFLOPS，預計年底可增至18,000PFLOPS。
同時，在仿真基礎上，建立自己了采集車隊以及合作項目量産車隊中擷取資料。“我們現在的資源比對目前的量産進度是比較寬裕的，未來追求更高的泛化性，肯定需要進一步擴張資源。”
按照目前的疊代進度，商湯絕影的UniAD端到端系統預計在2025年，達到目前國内頭部玩家用混合架構實作的城市領航能力水準。
此前，海量訓練算力和資料被認為是端到端落地的核心瓶頸。但從實踐來看，算力和資料的資源戰背後，是疊代速度的戰争。
特斯拉FSD V12車端模型算力需求為50TOPS。按照雲端模型大小一般是端側的十倍來看，其雲端模型也絕非GPT一類千億甚至萬億級參數的大模型，而是一個相對小的模型。
但為這個“小模型”，特斯拉在2023年年底建立了5.6萬張英偉達A100的算力中心，在今年又買進3.5萬張英偉達H100，并計劃至年底将H100的規模擴大到8.5萬張。
今年3月，馬斯克發文稱特斯拉的人工智能訓練“不再受算力限制”。6月，英偉達内部曝出馬斯克将特斯拉預定的H100轉移到了社交媒體X和人工智能公司XAI使用。
2023年年底英偉達公布的主要客戶擁有算力情況，左圖右側綠色為特斯拉
“特斯拉這麼高的算力主備主要是為了追求訓練頻次。因為模型不大，為了出效果，是以把訓練頻次拉得很高，不斷的反複訓練。有些資料使用類使用率很高，是以他必須要那麼多卡。
現在它的訓練可能基本完成，不需要那麼大訓練量了，是以說算力不是瓶頸了。”上述業内人士表示：
“但其他玩家這關（訓練疊代）還是要過。後面來看算力隻是一個好解決的瓶頸，将來主要的難度還是工程和科學上。”
“大語言模型可能需要1000張卡跑一個月才能跑出一個實驗。但自動駕駛的端到端大部分可能是100多張卡一周左右的工作量。
卡的資料量增多，就可以把疊代效率從周級壓縮到天的級别。同時，更多的卡意味着可以并行去做多種嘗試，進而更快收斂技術方案。”石建萍表示：
“疊代效率的差距會在一兩年後顯示出顯著的差距，而更多的資源甚至可能湧現出新的，下一代的技術方向。”
目前，國内大部分自動駕駛公司的算力建設在千卡級别，但頭部玩家開始加大投注。
小鵬汽車在2023年的算力儲備約為600PFLOPS ,約3萬張A100。随着5月份釋出端到端的XNGP，疊代速度已經達到2天一次。小鵬汽車宣布今年将投入1億美元用于擴大雲端算力儲備，而未來的投入将“更多”。
華為在4月的乾崑釋出會宣布，雲端訓練算力已達到3.5EFLOPS，疊代效率達到5天一次。
資料的量和質，則是疊代競速中的另一項資源。
“端到端之後更加依賴資料喂養，采集能力和處理能力都要到位。”一位國内頭部自動駕駛玩家的工程師表示：資料采集一方面是廠家自己生産，另一方面則需要有足夠的使用者數量，才能有足夠的資料來喂養模型。
根據特斯拉的說法，其端到端模型的數量資料約為幾萬小時的真實路況，是從超過20億公裡（截至5月）的FSD曆程資料中挖掘而來。
目前規模最大的公開資料集包含大約1200小時資料。
石建萍表示，商湯絕影在實踐中發現，其幾十台采樣車一個月能夠産生千萬量級clips的有效資料，滿足在端到端打通鍊路和跑起來的初期所需。
“更重要的工作是如何從大量資料中篩選出價值更高的資料。有意義的資料分布、幹淨的資料當中，包含大量的經驗積累。”
05
仍是強者恒強
端到端是否會像大語言模型一樣，讓OpenAI這種新公司一夜之間站在谷歌、meta前面，重寫遊戲排名？從實踐來看，在端到端自動駕駛系統的賽道中，仍是強者恒強的未來。
因為之前的工作和努力不會白費。
從模型本身來看，端到端仍遵循Andrej Karpathy提出的軟體2.0（神經網絡）吞噬軟體1.0（手寫代碼）的過程。
以特斯拉為例，在V10.9版本上，FSD已經去掉了感覺的後處理部分，即感覺中的代碼。V12版本重點更換了決策規劃的子產品；同時，V12中一開始有V11絕大部分可視化的内容，但之後如錐桶、目标車道等被去掉了。
“這說明在端到端落地的過程中，特斯拉也是逐漸實驗，将不需要的分支模型内化到整體之中，而不是完全重頭再來。隻要保證之前的模型和新加入的模型中不适用規則串聯，是端到端可導的即可。”上述感覺工程師表示。
石建萍也表示，商湯絕影在實踐中發現，之前感覺子產品中的各種輸出也是端到端中間的一些監督信号，而此前積累的訓練方案、模型整合方案都是端到端系統能夠直接繼承的；規控的部分此前更偏數學推導和邏輯設定，端到端階段雖然更強調對模型的了解，但“實際上代碼好、數學好的同學是通吃的。”
上述規控工程師也表達了類似的觀點。在他看來，無論是端到端模型本身，還是雲端訓練部分，需要對模型給出的規劃結果進行打分和優化時，其過程與傳統規控工作内容非常接近。“是以說他們（規控工程師）其實知識結構上并沒有很大的變化。”
這意味着，在混合架構中軟體2.0程度越高者，規控部分能力越強者，在端到端落地過程中，越具有先發優勢。
但技術之外，還有組織和決策的挑戰。
開發的組織架構是服務于技術架構的。混合架構以子產品化架構為主，團隊也分為感覺、規劃、控制等子產品，其中還包括模型、後處理、地圖定位等細分項目團隊。
以模型為主端到端，對資料和訓練，甚至分布式計算的要求更重時，如何推動現有團隊轉型，建立新的組織架構，成為落地端到端看不見的隐性課題。
要下決心則更難。
4月，馬斯克在X上表示：“要實作通用的自動駕駛,難度之大令人咋舌,需要上面描述的所有條件,甚至更多。今年,(特斯拉)在訓練計算、龐大的資料管道和海量視訊存儲方面的累計投資将遠遠超過100億美元。”
投資700億元，甚至更多押注在目前尚未有明确商業落地的技術上？這對很多企業來說都是頗為困難的決策。
《電動汽車觀察家》在采訪中了解到，國内大部分玩家目前對完全押注投入端到端，仍存疑慮，大多仍是初期投入或預研階段。
一方面，端到端系統作為高上限、低起步的技術路線，初期必然出現系統性能回退的情況。在混合架構已取得較好性能，成為市場賣點之一時，轉型端到端的成本效益不高；
另一方面。特斯拉尚未徹底驗證端到端的性能如何。在接管率明顯降低之後，端到端将面臨和大模型一樣的瓶頸：不可預知性——到底能走多遠？是否值得國内玩家在淘汰賽中全面轉型？
不過，端到端顯然已經不隻是給客戶高端感的“宣傳”。資本市場已經開始給出估值。
ARK為特斯拉2029年業務貢獻占比估計
6月，著名科技投資人“木頭姐”凱茜·伍德的方舟投資公司(ARK Invest)公布了最新的特斯拉目标價及研報，預計2029年特斯拉每股預期價格為2600美元，其近90%的市值和盈利将歸功于robotaxi業務。電動汽車可能隻占特斯拉總銷售額的四分之一，貢獻10%的盈利。
但負責落地的工程師們意見分歧仍很大。
“等明年特斯拉不吹端到端了，國内也就不跟着吹了。不信你可以等着看。”反對者這麼說。
“在我們看來，端到端是一定要做的，必然會整體提升表現的事情。但當這個結果不真正展現在大家面前時，很多人是将信将疑的。”支援者如是說。
參考資料
https://www.zhihu.com/question/645496992/answer/3488300774
https://blog.csdn.net/muye_IT/article/details/123525536
--END--
文章來源：電動汽車觀察家
注：本站轉載的文章大部分收集于網際網路，文章版權歸原作者及原出處所有。文中觀點僅供分享交流，如涉及版權等問題，請您告知，我将及時處理！