與去年百模大戰、靠算力堆出通用大模型不同,今年的大模型産業落地,要靠業務跑出來。
文|趙豔秋 徐鑫
編|牛慧
今年是大模型産業落地元年。從年初到現在,客戶對大模型的預期越來越高,要求解決更多的業務場景問題。
在這個過程中,智能體正在爆發——越來越多的客戶希望自身應用,能向下一代智能體(Agent)的方向演進。
簡單說,如果将大模型比作大腦,智能體就像是大腦的手腳和四肢。它能拆解客戶複雜的需求,調用工作流和工具,成為一個真正的業務小助手。由于它的門檻足夠低,可以讓更多人入門。而今天大多數AI原生應用,幾乎都能用智能體搭建。
業界所有大模型公司和生态企業都在做智能體。這也意味着,大模型落地已進入“必卷智能體”的階段。
在7月30日于上海舉辦的2024京東雲峰會上,京東正式釋出言犀智能體平台,它是一站式智能體開發平台。京東雲判斷,智能體、數字人、具身智能是未來大模型與終端使用者的核心互動媒體。其中,智能體更偏雲端,是企業AI原生應用的重要推手。
實際上,京東雲此次釋出了包括言犀智能體平台在内的、支援大模型落地的全棧産品,加速大模型全場景落地。
“通用大模型靠算力堆出來,企業大模型則靠業務跑出來。”京東技術委員會主席、京東雲事業部總裁曹鵬在雲峰會上說。通過日臻完善的産品和工具平台體系,大模型才能與産業結合,發揮最大潛力。
數智前線獲悉,京東雲大模型全棧産品是在京東供應鍊這一超級孵化器中孵化而來。目前,在京東内部已有超過100個大模型的應用,支撐了超過60萬員工和20萬的商家的應用。
01
“一線對智能體的熱情令我驚訝”
京東相關負責人表示,在實踐中感受到,智能體是今年大模型落地中,應用效果最好的工具平台之一。
京東釋出的言犀智能體平台,實際上是一個“内生外化”的産品。它從去年10月開始研發,今年春季在京東和一些生态鍊企業開放使用,僅僅幾個月時間裡,員工就搭建了3300多個智能體。“讓我們驚訝。”該負責人說。同時,平台上也形成了上千個工作流、知識庫,受歡迎程度,超出預期。
“這可能與京東業務人員多,鍊條又足夠長有關。”一個有趣的現象是,過去一些年,京東在核心的零售供應鍊,投入了大量AI算法團隊。而這次大模型的變革,卻為那些過去沒有被AI影響到的群體,帶來颠覆性的變化。一線業務、職能、産品經理等都結合自己的工作,建立Agent。
比如,有人搭建了長視訊剪輯Agent。因為京東内部有大量教育訓練視訊要剪輯,過去大家要手動去找到相應部分,再用剪輯軟體去剪,一周隻能剪幾個。現在這個視訊剪輯助手,隻要上傳視訊和要求,就可以利用大模型多模态能力,找到對應的幀,員工再去剪輯,一周可以完成上百個。
另一個智能小哥助手,為快遞小哥做路徑規劃、智能提示,解放他們的雙手;在京東的智能體市場上,有大量活躍的Agent。有電話營銷質檢智能體,已産生百萬級通路量,替代人工做營銷電話的稽核與校驗......此外,京東有超60萬員工,還有大量通用場景智能體,如報帳類、學習類。
由于針對大量一線員工使用,言犀智能體平台支援了零代碼開發,讓沒有算法背景的員工,也能通過可視化、拖拽方式來搭建智能體。“智能體平台就是讓每一份AI靈感都能快速落地。”京東相關負責人對此深有體會。
智能體給組織協作也帶來了改變。之前一些業務部門協同時,要找對方拉會,需要開發還要制定排期。現在大家自發把各自的工具和API注冊到智能體平台上,實作了底層能力的連結,其他部門員工可直接調用,協作也變得不一樣。
在經曆内部錘煉後,言犀智能體平台對外開放。在商業模式上,提供公有雲和私有化部署。
市場上已推出的智能體平台,不少側重在個人開發者,但言犀智能體平台更針對行業。它在内部孵化時,獲得京東零售、健康、物流各闆塊的廣泛使用,沉澱了相應的行業解決方案。這次釋出中,言犀智能體平台預置了相關配置模版和插件,以及100多種行業解決方案,客戶用1分鐘即可建構專屬智能體。
針對企業如何用好智能體,京東相關負責人建議,尤其要注意兩方面:一是要持續挖掘爆款,打造标杆。比如,京東每周會根據資料,選拔智能體在官方市場上架,吸引更多人使用。“黑客馬拉松則再将其推高一個檔次,一浪高過一浪。”
另一則與平台營運相關。如何支撐成千上萬員工的應用?一方面要建立有企業特色的類目體系,将成千上萬的智能體分好類,友善大家查找;另一是及時沉澱成熟解決方案,使用者可以直接使用。
智能體做出的AI原生應用,給企業軟體市場也帶來變化。一些智能體直接替代了原有企業的SaaS軟體,一些則嵌入到SaaS系統中去。言犀智能體平台也提供了簡單的應用釋出環節,企業可将搭建的智能體通過Web、API等方式,釋出到内部IM,如企業微信及協同辦公管道。
業界看到,Agent目前仍然處于非常初級的階段,未來會産生更多意想不到的Agent能力,這有賴于長千上萬的企業應用者。他們使用的過程,将是AI Agent進化的過程。
02
智能體背後,大模型的鍛造流水線
言犀智能體平台目前已接入數十個大模型。而這些模型,由言犀AI開發計算平台輸送而來。在上海雲峰會期間,言犀AI開發計算平台全面更新到2.0,并根據大模型落地關鍵點,突出了其中的關鍵能力。
第一個能力是模型壓縮+模型拉升。從去年底開始,各家企業的主要精力,都是根據客戶的使用場景,在基礎大模型上裁剪、拉升出各種小模型。曹鵬介紹,這是因為即便經曆了軍備競賽式的投入,通用大模型到了真正的場景裡,“仍差了那薄薄的一層紙,需要專門調優”。而且不少場景要求模型反應速度要快,推理成本要低,小模型的市場反而更大。
目前,企業一般是采用一個模型群組,來實作不同場景的應用。這些模型群組,需要對通用大模型進行萃取壓縮,以及灌注企業知識進行放大而來。在言犀AI開發計算平台上,使用者可通過零代碼方式,通過這樣的推和拉,能快速擷取到一個企業的專業模型。同時,推理的成本降低100%,速度提升1.5倍。
“目前業界通常分兩步走——壓縮和垂域模型微調。”京東人工智能業務部相關負責人說,但言犀AI開發計算平台可在壓縮的過程中,将垂域知識灌注進去。這也是京東廣泛采納的一個方案。
第二個能力是資料準備。每個行業都有大量資料,包括多模态資料。這需要工具鍊具備極強的處理能力。
同時,過程資料的缺失,是業界落地大模型中,遇到的最大障礙。“比如我們看到一個症狀,以及專家的處置建議,但并不知道專家的推理邏輯是什麼。”京東健康相關負責人告訴數智前線,如果沒有推理邏輯,就解決不了幻覺問題。
“我們今天花了很大力氣,通過專家和大模型去補充。”一種是通過RAG的方式,這是當下業界必不可少的技術,給模型文獻資料,讓它自動化地捕捉推理鍊路;另一種通過專家來補充。工具平台能不能幫專家團隊提效,也是業界在拼的技術關鍵。
此外,大模型合成資料非常火爆。“如何在垂域合成資料,與種子資料比較貼近,團隊也做了深入工作。”京東人工智能業務部相關負責人說。
第三個能力是模型評估。它包括通用能力評估以及垂域能力評估。針對通用大模型評測,市場上有一些不錯的榜單,公開了代碼和評測資料集,可以自動評測,直接出分。“要先保通用能力。如果沒有通用能力,就沒有垂域。”
至于垂域評測,京東在健康、零售等有評測資料集,使用者在調完模型後,也能再評測垂域。這也是自動化的。當然,也有一些人工評測,比如健康場景中人更懂業務,平台也提供類似衆包的方式,讓大家參與評測。
在産業之中,建構一個評測系統非常關鍵。“與其說怎麼訓練好一個垂域模型,不如有一個評測體系能告訴你,模型該往哪個方向去進步,這件事情尤其重要。”除了工具平台外,京東也搭建了評測團隊,“這是我們的幕後英雄”。
03
AI大底座,加速大模型全場景落地
伴随着大模型及智能體應用到産業一線,業界發現,計算、網絡、存儲等底層基礎設施也需要适應新局面,解決新挑戰。
最典型的一點,當下産業端的大模型應用實踐,要打造更開放的基礎設施平台,比如支援多雲、多芯、多活,能夠承接多種模型,進而滿足複雜的應用場景和業務需求。
目前,多模态大模型的打造,需要的算力是之前的10倍甚至百倍。全球企業都有一個特點,基于異構算力,來完成模型的訓練、調用和推理,解決普遍面臨的算力緊缺并提升成本效益。
除了計算,在存儲方面,模型訓練高峰時段可能在數十秒内就要處理 TB 級别的資料存儲,而傳統應用中,這些海量小檔案的處理任務,可分散在幾個月時間跨度裡完成。這使得存儲産品必須朝向更高吞吐、更高IOPS、更高帶寬和更低延時進化。“同樣的GPU算力規模下,存儲性能的高低,可能帶來模型訓練周期3倍的差異。”曹鵬在演講中提到。
在Scaling law之下,超大規模叢集對硬體間的網絡效率提出挑戰。不久前,馬斯克高調披露已建成10萬卡H100超級算力中心,業界對背後的網絡架構——英偉達Spectrum-X也極為關注。畢竟,穩健、低延遲的網絡關乎到叢集裡的計算資源能否被充分利用。
這些動向都表明,基礎設施關乎大模型的落地程序。而在這場系統戰面前,廠商們需要建構更強大的AI底座,才能加速大模型在全場景落地。
京東雲峰會上,披露了京東雲AI底座的最近演進。如在高性能的存力方面,作為京東雲自主研發的新一代存儲産品雲海,曆經了10餘年京東自身複雜場景曆練,能提供大模型超大量資料傳輸所需的極緻性能。
峰會上,全面更新到3.0版本的京東雲雲海,在吞吐、帶寬、延時等性能上進一步提升,為大模型全面落地提供了更堅實的支撐。雲海也與所有主流國産化平台相容互認。
據了解,目前京東雲雲海在建設銀行等重量級金融機構中大模型訓練中,提供了底層資料存儲的支撐。同時在上層應用上,也通過資料要素的合作,幫助這些企業去做線上數字化轉型。
在算力層面,京東打造了雲艦AI算力雲平台。它具備了對多元異構算力資源的統一管理和排程能力,包括各類CPU、GPU和國産化AI加速晶片,支援多地域分布式算力的統一排程,提供高成本效益的算力供給。
另外,vGPU池化方案,通過GPU異構資源池化,能将AI算力使用率提升70%,可有效降低算力成本。行業普遍存在算力焦慮,這也是京東雲提供的一種解法。
此外,京東雲大模型安全可信平台,涵蓋超過200種特有的紅藍對抗攻擊手法,覆寫監管合規要求的全部31類風險類型,風險分析準确率高達95%以上。
針對大模型企業今年以來的價格戰,曹鵬提到,去年京東雲峰會就提過要通過技術更新來降低成本,要全網比價,對标主流雲廠商的最低成交價再低10%。目前,京東雲有超過100個産品規格通過比價售賣,并設立10億比價金,把技術帶來的紅利回饋給開發者群體。
總體而言,在2024京東雲峰會中,京東通過釋出從基礎設施、模型服務,再到智能體應用的全棧産品,正加速與産業的融合,進而讓更多企業的大模型落地,通過業務跑出來。