Canonical發布最新的端到端MLOps平臺Charmed Kubeflow 1.6,這個版本的更新重點在於改進資料處理,透過整合Charms來處理來自各種來源的資料,以及追蹤功能也獲得強化,能夠更有效地量測機器學習模型,另外,Charmed Kubeflow 1.6還開始支援PBT訓練技術,提高模型訓練效率。
Kubeflow是可用於訓練複雜模型的端到端MLOps平臺,針對Kubernetes提供可移植和可擴展的機器學習解決方案,簡化使用深度學習函式庫TensorFlow和PyTorch的分散式訓練工作,而Charmed Kubeflow則是Kubeflow的企業級版本,其特點在於具備自動執行任務的能力,透過引入自動維護和安全運作的Kubernetes Operator元件charm,加速工作負載部署,使資料科學團隊能夠更有效率地將模型推向市場。
官方引用Kubeflow在2022年的社群調查,調查提到資料處理和轉換是企業面臨的一大挑戰,除了該工作本身就非常耗時之外,資料通常來自各種來源,而每個來源都有特定的程序和相依關係,使得資料處理工作變得繁瑣複雜。
Charmed Kubeflow 1.6的更新使資料處理體驗更流暢,進而加速模型概念驗證階段,縮短模型轉換到生產的時間,而現在Canonical改進Charmed Kubeflow 1.6資料處理能力,透過使用charm來整合和處理各種來源的資料。
新版Charmed Kubeflow也擁有較好的追蹤功能,用戶能夠更有效率的量測機器學習模型,模型迭代和除錯工作將會更簡單,解決方案會偵測資料飄移,使得模型能夠更快地適用變化,同時,新版本還改進了試用日誌,允許在資料來源故障的情況方便地進行除錯。
Charmed Kubeflow 1.6另一個重要的更新是支援Population Based Training(PBT)技術,這將有助於改善機器學習模型訓練,達到生產就緒狀態的效率。Canonical提到,模型通常需要多達15次迭代才能進入生產,而且其中只有一半才有機會獲得這麼大的進展,借助PBT,需要大量資料的模型訓練會變得更有效率。
熱門新聞
2024-10-14
2024-10-13
2024-10-13
2024-10-14
2024-10-11
2024-10-11