隨著越來越多用戶在Kubernetes上訓練機器學習模型,用戶需要一種能夠簡單從物件儲存存取訓練資料檔案的方法。Google因而推出了專用於GKE機器學習用例的Cloud Storage FUSE CSI(Container Storage Interface)驅動程式,供應用程式將Cloud Storage儲存桶中的物件,當作本地檔案系統般存取,支援那些需要檔案系統操作的應用程式。
Cloud Storage FUSE的主要應用場景,是在GKE上支援使用Pytorch和Tensorflow的機器學習訓練,不只可以從Cloud Storage讀取資料,存取檢查點儲存模型,也能使用機器學習模型對Cloud Storage上的資料進行推理運算。此外,機器學習應用也能利用動態資料串流,加速啟動時間。
在GKE上,Cloud Storage FUSE容器儲存介面(Container Storage Interface,CSI)驅動程式,使得Kubernetes應用程式能夠將Cloud Storage儲存桶視為本地檔案系統。該功能的好處包括增加應用程式的可移植性,藉由支援使用標準檔案系統的方式存取Cloud Storage儲存桶,機器學習應用程式便能具有更高的可移植性,消除因重構所產生的成本。
而且使用者無需將資料複製到本地檔案系統,可以直接從Cloud Storage串流資料,快速啟動訓練作業,這代表著應用程式不必等待資料下載完成就能開始工作。CSI驅動程式還支援大規模運作,無論是訓練、推理還是在檢查點階段,用戶都可直接運用Cloud Storage效能優勢,大規模執行機器學習工作負載。
過去用戶要使用Cloud Storage FUSE,用戶必須要自己創建解決方案,這也代表著在GKE上使用Cloud Storage FUSE需要特權存取,而Cloud Storage FUSE CSI驅動程式不需要特權存取,因此能夠帶來更好的安全性。
CSI驅動程式會在幕後部署Cloud Storage FUSE,自動支援GKE Standard和Autopilot兩種類型叢集的運作,用戶不需要額外手動安裝或是管理。另外,Cloud Storage FUSE CSI還支援GKE上所有加速器,包括GPU和TPU都可以使用。
官方提到,因為Cloud Storage FUSE及其CSI驅動程式,並不是Filestore這類全託管檔案系統的替代解決方案,因此不提供像是對同一檔案多重寫入的並行控制,也不完全符合POSIX標準,且不支援NFS、CIFS和SMB檔案系統,因此當應用程式需要支援多寫入者同時寫入同一檔案的情境,便需要使用具多重共享功能的Filestore。
熱門新聞
2024-12-24
2024-12-22
2024-08-14
2024-12-20
2024-12-23