國產AI新創專攻一站式AI部署軟體，新增GCP雲端AI環境代管功能

國產AI新創軟體公司InfuseAI去年6月推出了一站式AI部署平臺軟體PrimeHub，提供企業快速自建多種AI框架的執行環境，最近更新增GCP雲端代管版本，可讓租用雲端資源的企業在公有雲上部署專用的AI環境。

InfuseAI是由兩位臺灣開源社群長輩級開發者g0v共同發起人高嘉良和KKTIX創辦人薛良斌共同創立，主要產品是AI部署平臺軟體PrimeHub。

PrimeHub目標是提供一套企業級AI平臺部署和管理軟體，利用Kubernetes容器技術，來快速建立與管理多種AI執行環境，不僅可支援TenorFlow、PyTorch、Caffe等主流深度學習框架，也提供企業級帳號和資源控管機制，例如單一帳號登入多種AI環境的SSO、容量和運算資源的群組管理機制，內部稽核工具等。目前，台灣人工智慧學校、中研院、玉山銀行採用。

 「PrimeHub要讓企業在導入AI的時候，從想要做、到真的可以做。」擔任InfuseAI營運長的薛良斌表示，工程師在開發AI演算法前，可能需要花兩三個禮拜來建置開發環境，包括串接資料、分配運算資源、安裝軟體套件等，反而無法專心訓練模型來解決問題。因此，PrimeHub平臺提供企業建置AI環境的服務，要讓AI落地更容易。

目前，PrimeHub平臺以管理私有雲的AI開發環境為主，底層的叢集運算是透過Kubernetes容器技術來管理；而數據庫的管理，則會運用Ceph的分散式檔案系統，隨時保持同一份資料自動寫入三臺伺服器中；此外，PrimeHub平臺也整合各種AI開發工具，包括Jupyter Notebook互動式開發環境以及主流深度學習框架，並以Docker Image方式打包，可以提供一鍵快速部署和執行。

企業在內部機房部署時，管理者可以透過PrimeHub平臺，配合使用者權限管理，依據不同專案的需求來設定各群組可使用的運算資源上限，也能進一步設定群組內各成員的用量。「PrimeHub平臺中，用戶能直接看到最近誰使用了哪些伺服器、這個用戶隸屬哪些群組、整個叢集有多少CPU與記憶體，每一臺機器的附載狀況。」薛良斌說明。

例如台灣人工智慧學校的北中南三個分校，共有數十台伺服器、數百張顯示卡，可能有數百位用戶同時執行運算，為了讓各個模型都能有效率的運行，資源的分配就很重要；同時，用戶也能從平臺監控資源用量，再依據運算的效能回頭調整運算資源的分配。然而，薛良斌也表示，目前平臺無法自動依據模型所需的算力來分配資源，還是需要人為設定上限。

PrimeHub讓用戶可以有效分配運算資源給不同模型，也能監看使用情形。

PrimeHub平臺擴大支援到GCP，讓用戶可即時監測、分配運算資源

除了可供企業內部自建之用，InfuseAI也與GCP合作，推出雲端代管服務。雖然許多公有雲也有雲端代管的解決方案，但薛良斌表示，PrimeHub能提供的服務更多元。例如客戶租用GCP的基礎設施時，雖然可以管理各專案的運算資源，但無法規範至個人；此外，Cloud AutoML雖然能讓用戶能在雲端快速部署ML模型，但用戶過一段時間要重啟模型時，常遇到舊版Tensorflow與新版不相容的問題，就必須修改程式碼，導致無法重現當時的開發環境、甚至影響模型表現。

除了管理雲端運算資源，PrimeHub雲端代管服務也可以管理不同專案的開發環境，從版本管理、資料維護，到用來訓練模型的伺服器規格等紀錄將都會完整保留，供用戶往後可以在相同的環境中重啟模型來訓練。

這項雲端代管服務雖已上線，但尚未有企業導入，PrimeHub也還無法部署在其他兩家雲端大廠AWS、Azure之上。

數據管理與開發環境的整合也是PrimeHub另一特色

薛良斌表示，PrimeHub資料管理功能採用了Ceph分散式檔案系統，隨時保持同一份資料自動寫入三臺伺服器中，分散資料毀損的風險。企業運用資料時，除了串接公私有雲的資料來使用，也能在平臺上建立不同的資料集，透過授權讓用戶個別管理。

另外，PrimeHub平臺也積極整合資料科學家的開發環境，可提供Jupyter Notebook互動式開發環境，可支援Python、Julia、R語言，也能提供用戶分層操作資料、log成圖表。

從PrimeHub平臺中，用戶能從介面看到目前的模型使用哪些資料庫、使用的深度學習框架版本、以及部署在哪些伺服器上，未來若想要回頭用新資料來訓練模型，也能快速復原當時的環境來開發。薛良斌也表示，未來希望能讓用戶更進一步在平臺中管理模型，舉例來說，訓練模型的過程會因參數的不同、產出不同結果，目前使用者仍需自行記錄、管理不同版本的模型，平臺尚未提供這類服務。

PrimeHub平臺提供用戶Jupyter Notebook互動式開發環境以及主流深度學習框架。

有別於AI專案型服務多是建置單一環境後就結案，薛良斌表示，「我們主要提供軟體產品服務。」PrimeHub的收費採年訂閱制，將持續優化平臺環境，也能彈性針對不同客戶提供客製化服務，此外，平臺目前也提供三種版本，供使用者依據需求選用。