與去年百模大戰、靠算力堆出通用大模型不同，今年的大模型産業落地，要靠業務跑出來。
文｜趙豔秋 徐鑫
編｜牛慧
今年是大模型産業落地元年。從年初到現在，客戶對大模型的預期越來越高，要求解決更多的業務場景問題。
在這個過程中，智能體正在爆發——越來越多的客戶希望自身應用，能向下一代智能體（Agent）的方向演進。
簡單說，如果将大模型比作大腦，智能體就像是大腦的手腳和四肢。它能拆解客戶複雜的需求，調用工作流和工具，成為一個真正的業務小助手。由于它的門檻足夠低，可以讓更多人入門。而今天大多數AI原生應用，幾乎都能用智能體搭建。
業界所有大模型公司和生态企業都在做智能體。這也意味着，大模型落地已進入“必卷智能體”的階段。
在7月30日于上海舉辦的2024京東雲峰會上，京東正式釋出言犀智能體平台，它是一站式智能體開發平台。京東雲判斷，智能體、數字人、具身智能是未來大模型與終端使用者的核心互動媒體。其中，智能體更偏雲端，是企業AI原生應用的重要推手。
實際上，京東雲此次釋出了包括言犀智能體平台在内的、支援大模型落地的全棧産品，加速大模型全場景落地。
“通用大模型靠算力堆出來，企業大模型則靠業務跑出來。”京東技術委員會主席、京東雲事業部總裁曹鵬在雲峰會上說。通過日臻完善的産品和工具平台體系，大模型才能與産業結合，發揮最大潛力。
數智前線獲悉，京東雲大模型全棧産品是在京東供應鍊這一超級孵化器中孵化而來。目前，在京東内部已有超過100個大模型的應用，支撐了超過60萬員工和20萬的商家的應用。
01
“一線對智能體的熱情令我驚訝”
京東相關負責人表示，在實踐中感受到，智能體是今年大模型落地中，應用效果最好的工具平台之一。
京東釋出的言犀智能體平台，實際上是一個“内生外化”的産品。它從去年10月開始研發，今年春季在京東和一些生态鍊企業開放使用，僅僅幾個月時間裡，員工就搭建了3300多個智能體。“讓我們驚訝。”該負責人說。同時，平台上也形成了上千個工作流、知識庫，受歡迎程度，超出預期。
“這可能與京東業務人員多，鍊條又足夠長有關。”一個有趣的現象是，過去一些年，京東在核心的零售供應鍊，投入了大量AI算法團隊。而這次大模型的變革，卻為那些過去沒有被AI影響到的群體，帶來颠覆性的變化。一線業務、職能、産品經理等都結合自己的工作，建立Agent。
比如，有人搭建了長視訊剪輯Agent。因為京東内部有大量教育訓練視訊要剪輯，過去大家要手動去找到相應部分，再用剪輯軟體去剪，一周隻能剪幾個。現在這個視訊剪輯助手，隻要上傳視訊和要求，就可以利用大模型多模态能力，找到對應的幀，員工再去剪輯，一周可以完成上百個。
另一個智能小哥助手，為快遞小哥做路徑規劃、智能提示，解放他們的雙手；在京東的智能體市場上，有大量活躍的Agent。有電話營銷質檢智能體，已産生百萬級通路量，替代人工做營銷電話的稽核與校驗......此外，京東有超60萬員工，還有大量通用場景智能體，如報帳類、學習類。
由于針對大量一線員工使用，言犀智能體平台支援了零代碼開發，讓沒有算法背景的員工，也能通過可視化、拖拽方式來搭建智能體。“智能體平台就是讓每一份AI靈感都能快速落地。”京東相關負責人對此深有體會。
智能體給組織協作也帶來了改變。之前一些業務部門協同時，要找對方拉會，需要開發還要制定排期。現在大家自發把各自的工具和API注冊到智能體平台上，實作了底層能力的連結，其他部門員工可直接調用，協作也變得不一樣。
在經曆内部錘煉後，言犀智能體平台對外開放。在商業模式上，提供公有雲和私有化部署。
市場上已推出的智能體平台，不少側重在個人開發者，但言犀智能體平台更針對行業。它在内部孵化時，獲得京東零售、健康、物流各闆塊的廣泛使用，沉澱了相應的行業解決方案。這次釋出中，言犀智能體平台預置了相關配置模版和插件，以及100多種行業解決方案，客戶用1分鐘即可建構專屬智能體。
針對企業如何用好智能體，京東相關負責人建議，尤其要注意兩方面：一是要持續挖掘爆款，打造标杆。比如，京東每周會根據資料，選拔智能體在官方市場上架，吸引更多人使用。“黑客馬拉松則再将其推高一個檔次，一浪高過一浪。”
另一則與平台營運相關。如何支撐成千上萬員工的應用？一方面要建立有企業特色的類目體系，将成千上萬的智能體分好類，友善大家查找；另一是及時沉澱成熟解決方案，使用者可以直接使用。
智能體做出的AI原生應用，給企業軟體市場也帶來變化。一些智能體直接替代了原有企業的SaaS軟體，一些則嵌入到SaaS系統中去。言犀智能體平台也提供了簡單的應用釋出環節，企業可将搭建的智能體通過Web、API等方式，釋出到内部IM，如企業微信及協同辦公管道。
業界看到，Agent目前仍然處于非常初級的階段，未來會産生更多意想不到的Agent能力，這有賴于長千上萬的企業應用者。他們使用的過程，将是AI Agent進化的過程。
02
智能體背後，大模型的鍛造流水線
言犀智能體平台目前已接入數十個大模型。而這些模型，由言犀AI開發計算平台輸送而來。在上海雲峰會期間，言犀AI開發計算平台全面更新到2.0，并根據大模型落地關鍵點，突出了其中的關鍵能力。
第一個能力是模型壓縮+模型拉升。從去年底開始，各家企業的主要精力，都是根據客戶的使用場景，在基礎大模型上裁剪、拉升出各種小模型。曹鵬介紹，這是因為即便經曆了軍備競賽式的投入，通用大模型到了真正的場景裡，“仍差了那薄薄的一層紙，需要專門調優”。而且不少場景要求模型反應速度要快，推理成本要低，小模型的市場反而更大。
目前，企業一般是采用一個模型群組，來實作不同場景的應用。這些模型群組，需要對通用大模型進行萃取壓縮，以及灌注企業知識進行放大而來。在言犀AI開發計算平台上，使用者可通過零代碼方式，通過這樣的推和拉，能快速擷取到一個企業的專業模型。同時，推理的成本降低100%，速度提升1.5倍。
“目前業界通常分兩步走——壓縮和垂域模型微調。”京東人工智能業務部相關負責人說，但言犀AI開發計算平台可在壓縮的過程中，将垂域知識灌注進去。這也是京東廣泛采納的一個方案。
第二個能力是資料準備。每個行業都有大量資料，包括多模态資料。這需要工具鍊具備極強的處理能力。
同時，過程資料的缺失，是業界落地大模型中，遇到的最大障礙。“比如我們看到一個症狀，以及專家的處置建議，但并不知道專家的推理邏輯是什麼。”京東健康相關負責人告訴數智前線，如果沒有推理邏輯，就解決不了幻覺問題。
“我們今天花了很大力氣，通過專家和大模型去補充。”一種是通過RAG的方式，這是當下業界必不可少的技術，給模型文獻資料，讓它自動化地捕捉推理鍊路；另一種通過專家來補充。工具平台能不能幫專家團隊提效，也是業界在拼的技術關鍵。
此外，大模型合成資料非常火爆。“如何在垂域合成資料，與種子資料比較貼近，團隊也做了深入工作。”京東人工智能業務部相關負責人說。
第三個能力是模型評估。它包括通用能力評估以及垂域能力評估。針對通用大模型評測，市場上有一些不錯的榜單，公開了代碼和評測資料集，可以自動評測，直接出分。“要先保通用能力。如果沒有通用能力，就沒有垂域。”
至于垂域評測，京東在健康、零售等有評測資料集，使用者在調完模型後，也能再評測垂域。這也是自動化的。當然，也有一些人工評測，比如健康場景中人更懂業務，平台也提供類似衆包的方式，讓大家參與評測。
在産業之中，建構一個評測系統非常關鍵。“與其說怎麼訓練好一個垂域模型，不如有一個評測體系能告訴你，模型該往哪個方向去進步，這件事情尤其重要。”除了工具平台外，京東也搭建了評測團隊，“這是我們的幕後英雄”。
03
AI大底座，加速大模型全場景落地
伴随着大模型及智能體應用到産業一線，業界發現，計算、網絡、存儲等底層基礎設施也需要适應新局面，解決新挑戰。
最典型的一點，當下産業端的大模型應用實踐，要打造更開放的基礎設施平台，比如支援多雲、多芯、多活，能夠承接多種模型，進而滿足複雜的應用場景和業務需求。
目前，多模态大模型的打造，需要的算力是之前的10倍甚至百倍。全球企業都有一個特點，基于異構算力，來完成模型的訓練、調用和推理，解決普遍面臨的算力緊缺并提升成本效益。
除了計算，在存儲方面，模型訓練高峰時段可能在數十秒内就要處理 TB 級别的資料存儲，而傳統應用中，這些海量小檔案的處理任務，可分散在幾個月時間跨度裡完成。這使得存儲産品必須朝向更高吞吐、更高IOPS、更高帶寬和更低延時進化。“同樣的GPU算力規模下，存儲性能的高低，可能帶來模型訓練周期3倍的差異。”曹鵬在演講中提到。
在Scaling law之下，超大規模叢集對硬體間的網絡效率提出挑戰。不久前，馬斯克高調披露已建成10萬卡H100超級算力中心，業界對背後的網絡架構——英偉達Spectrum-X也極為關注。畢竟，穩健、低延遲的網絡關乎到叢集裡的計算資源能否被充分利用。
這些動向都表明，基礎設施關乎大模型的落地程序。而在這場系統戰面前，廠商們需要建構更強大的AI底座，才能加速大模型在全場景落地。
京東雲峰會上，披露了京東雲AI底座的最近演進。如在高性能的存力方面，作為京東雲自主研發的新一代存儲産品雲海，曆經了10餘年京東自身複雜場景曆練，能提供大模型超大量資料傳輸所需的極緻性能。
峰會上，全面更新到3.0版本的京東雲雲海，在吞吐、帶寬、延時等性能上進一步提升，為大模型全面落地提供了更堅實的支撐。雲海也與所有主流國産化平台相容互認。
據了解，目前京東雲雲海在建設銀行等重量級金融機構中大模型訓練中，提供了底層資料存儲的支撐。同時在上層應用上，也通過資料要素的合作，幫助這些企業去做線上數字化轉型。
在算力層面，京東打造了雲艦AI算力雲平台。它具備了對多元異構算力資源的統一管理和排程能力，包括各類CPU、GPU和國産化AI加速晶片，支援多地域分布式算力的統一排程，提供高成本效益的算力供給。
另外，vGPU池化方案，通過GPU異構資源池化，能将AI算力使用率提升70%，可有效降低算力成本。行業普遍存在算力焦慮，這也是京東雲提供的一種解法。
此外，京東雲大模型安全可信平台，涵蓋超過200種特有的紅藍對抗攻擊手法，覆寫監管合規要求的全部31類風險類型，風險分析準确率高達95%以上。
針對大模型企業今年以來的價格戰，曹鵬提到，去年京東雲峰會就提過要通過技術更新來降低成本，要全網比價，對标主流雲廠商的最低成交價再低10%。目前，京東雲有超過100個産品規格通過比價售賣，并設立10億比價金，把技術帶來的紅利回饋給開發者群體。
總體而言，在2024京東雲峰會中，京東通過釋出從基礎設施、模型服務，再到智能體應用的全棧産品，正加速與産業的融合，進而讓更多企業的大模型落地，通過業務跑出來。