天天看點

IBM 開源“CodeFlare”,這是一種将 AI 工作流簡化到混合雲的機器學習架構

IBM 開源“CodeFlare”,這是一種将 AI 工作流簡化到混合雲的機器學習架構

資料和機器學習分析正變得越來越普遍,但随着需要大量時間進行配置的更大資料集,它們變得越來越複雜。研究人員實際花在資料科學上的時間比更新系統要少,這有時可能會很困難。

IBM開源了CodeFlare,這是一個機器學習架構,允許開發人員在混合雲上更有效地訓練模型。對于那些希望簡化工作流程并縮短所需時間的人來說,這個新架構是一個令人興奮的概念。這種設計背後的想法是,當使用者有 10,000 個工作管道在運作時,等待最多 4 個小時才能收到結果。在使用這個新架構時,它在這些機器中的實作隻需要 15 分鐘。

為了優化機器學習模型,開發人員必須首先訓練和清理資料。CodeFlare 旨在為資料科學家統一一個多平台的工作流程,在通路不同的架構或平台時不需要學習新的語言。

CodeFlare 管道将在 IBM 的新無伺服器平台 IBM Cloud Code Engine 上輕松運作。它允許使用者幾乎在任何地方部署它,并為資料科學家和 AI 研究人員等擴充無伺服器技術的好處。憑借其新功能,将更容易與其他雲原生生态系統內建和橋接。現在可以使用事件觸發器,例如新檔案的到達或從雲對象存儲、資料湖和分布式檔案系統等來源加載資料。

IBM 希望通過提供一個允許創新和專注的平台來消除資料科學的複雜性。資料科學家将使用更豐富、更一緻的工具,能夠在 IBM 處理配置和部署挑戰的同時更深入地研究。

https://www.research.ibm.com/blog/codeflare-ml-experiments?lnk=ushpv18f2

https://github.com/project-codeflare/codeflare