IBM開源能夠大幅提升機器學習模型訓練效率的機器學習應用程式框架CodeFlare,可以簡化工作管線配置工作,讓用戶將心力放在應用本身,官方提到,當用戶使用該框架來分析和最佳化1萬個用於訓練機器學習模型的工作管線時,每一個工作管線的執行時間,將會從4小時縮短到15分鐘。
資料分析和機器學習技術,被廣泛地用於各個產業,隨著處理的工作越來越複雜,用到的系統和資料集也相對龐大,這使得研究人員需要花費更多時間,來配置這些工作流程,而非把精力花在資料科學應用上。
IBM開源了CodeFlare框架,來簡化將大量資料和人工智慧工作流程,擴展到混合雲上的工作。CodeFlare建立在Ray之上,Ray是用於機器學習應用程式的新興開源分散式運算框架,IBM擴展了Ray的功能,新添加一些元素和功能成為CodeFlare。
官方提到,要創建機器學習模型,開發人員必須要先訓練和最佳化模型,而這個過程包括了資料清理、特徵擷取和模型最佳化,CodeFlare利用Python介面的工作管線,簡化整合、平行化和共享資料,以簡化這個過程。新框架目標是要一統多平臺的工作管線流程,讓資料科學家不需要學習新的工作流程語言。
用戶已經可以在IBM無伺服器平臺IBM Cloud Code Engine和Red Hat OpenShift上,執行CodeFlare工作管線,並供用戶在任意平臺部署工作流程,拓展無伺服器服務的好處。IBM解釋,透過事件觸發轉接器,CodeFlare可從任何來源載入和分割資料,也能與其他雲端原生生態系整合,取用物件儲存、資料湖和分散式檔案系統等服務。
CodeFlare的優點在於,開發人員不需要一直重複相同的工作,也不需要理解工作管線的配置,可以使用豐富的工具和API,一致地進行操作,將更多精力放在研究上,而不必費心於配置和部署複雜工作。該框架可以節省部署到混合雲工作管線的時間和精力,IBM舉例,CodeFlare最佳化1萬個用於訓練機器學習模型的工作管線,可將執行每個工作管線的時間,從原本的4小時,縮減到15分鐘。
IBM將CodeFlare用於自家人工智慧研究上,並承諾會繼續發展CodeFlare,以支援更加複雜的工作管線,計畫強化容錯性和一致性,並改進外部來源的整合和資料管理,同時增加工作管線的視覺化功能。
熱門新聞
2024-12-03
2024-12-02
2024-11-29
2024-12-02
2024-12-03
2024-11-30