AWS發布Amazon EMR on EKS更新,支援自定義映像檔,用戶不必再等待EMR on EKS耗時地重新建構映像檔,可以直接在EKS叢集上,使用自家持續整合工作管線所生成的映像檔。

Amazon EMR on EKS是AWS才在re:Invent大會上發布的新服務,AWS大資料服務Amazon EMR,能夠部署到Kubernetes服務Amazon EKS(Elastic Kubernetes Service),如此,用戶就可以將EMR應用程式,部署到其他執行應用程式的EKS叢集上,以簡化操作和管理工作,並且能夠共享資源降低執行成本。

同時也能讓原本在Kubernetes上執行Apache Spark的用戶,簡單地搬遷到Amazon EMR on EKS,不僅能使用經效能最佳化的Runtime,還可以獲得使用Apache Airflow和AWS Step Functions整合執行工作管線,以及使用Spark UI進行除錯等好處。

在用戶提交工作時,EMR便會使用大資料框架,自動打包應用程式到容器中,並且提供預建置的連接器,和其他AWS服務整合,接著由EMR在EKS叢集上部署應用程式,並管理工作執行、日誌記錄和監控。也就是說,目前EMR on EKS會在工作提交時,才動態新增外部儲存的應用程式相依項目。

不過這個過程過於耗時,AWS現在讓用戶可以使用自定義映像檔,直接將服務指向現有映像檔並且開始執行,藉此提高執行效能。透過自定義映像檔,用戶可以使用自己的持續整合工作管線,以最佳化的EMR Spark Runtime為基礎,創建包含應用程式和相依項目的容器映像檔,這將能減少建構映像檔的時間,並且預測本地開發或是測試容器啟動的時間。

用戶可以創建基礎映像檔,新增企業專屬的標準函式庫,然後將其儲存在註冊表服務Amazon ECR(Elastic Container Registry)中,自定義映像檔能夠包含特殊的應用程式相依項目,並且部署到測試和生產環境中,用戶只要將EMR on EKS指向自定義映像檔,就可以開始執行應用程式。

這個新功能支援自動化流程,因此用戶可以使用現有持續整合工作管線,添加相依項目到映像檔中,並且使用Amazon EMR漏洞掃描功能,或是使用EMR驗證工具來檢查檔案結構和Runtime版本。EMR on EKS的API也整合到了諸如AWS Step Functions和MWAA(AWS Managed Workflows for Apache Airflow)調度服務,供用戶以自動化的方式,在工作流程中生成映像檔。

熱門新聞

Advertisement