Canonical改進MLOps平臺Charmed Kubeflow資料處理與模型追蹤功能釋出最新1.6版本

Canonical發布最新的端到端MLOps平臺Charmed Kubeflow 1.6，這個版本的更新重點在於改進資料處理，透過整合Charms來處理來自各種來源的資料，以及追蹤功能也獲得強化，能夠更有效地量測機器學習模型，另外，Charmed Kubeflow 1.6還開始支援PBT訓練技術，提高模型訓練效率。

Kubeflow是可用於訓練複雜模型的端到端MLOps平臺，針對Kubernetes提供可移植和可擴展的機器學習解決方案，簡化使用深度學習函式庫TensorFlow和PyTorch的分散式訓練工作，而Charmed Kubeflow則是Kubeflow的企業級版本，其特點在於具備自動執行任務的能力，透過引入自動維護和安全運作的Kubernetes Operator元件charm，加速工作負載部署，使資料科學團隊能夠更有效率地將模型推向市場。

官方引用Kubeflow在2022年的社群調查，調查提到資料處理和轉換是企業面臨的一大挑戰，除了該工作本身就非常耗時之外，資料通常來自各種來源，而每個來源都有特定的程序和相依關係，使得資料處理工作變得繁瑣複雜。

Charmed Kubeflow 1.6的更新使資料處理體驗更流暢，進而加速模型概念驗證階段，縮短模型轉換到生產的時間，而現在Canonical改進Charmed Kubeflow 1.6資料處理能力，透過使用charm來整合和處理各種來源的資料。

新版Charmed Kubeflow也擁有較好的追蹤功能，用戶能夠更有效率的量測機器學習模型，模型迭代和除錯工作將會更簡單，解決方案會偵測資料飄移，使得模型能夠更快地適用變化，同時，新版本還改進了試用日誌，允許在資料來源故障的情況方便地進行除錯。

Charmed Kubeflow 1.6另一個重要的更新是支援Population Based Training（PBT）技術，這將有助於改善機器學習模型訓練，達到生產就緒狀態的效率。Canonical提到，模型通常需要多達15次迭代才能進入生產，而且其中只有一半才有機會獲得這麼大的進展，借助PBT，需要大量資料的模型訓練會變得更有效率。