Amazon EMR on EKS現可使用自定義映像檔加速應用程式部署

AWS發布Amazon EMR on EKS更新，支援自定義映像檔，用戶不必再等待EMR on EKS耗時地重新建構映像檔，可以直接在EKS叢集上，使用自家持續整合工作管線所生成的映像檔。

Amazon EMR on EKS是AWS才在re:Invent大會上發布的新服務，AWS大資料服務Amazon EMR，能夠部署到Kubernetes服務Amazon EKS（Elastic Kubernetes Service），如此，用戶就可以將EMR應用程式，部署到其他執行應用程式的EKS叢集上，以簡化操作和管理工作，並且能夠共享資源降低執行成本。

同時也能讓原本在Kubernetes上執行Apache Spark的用戶，簡單地搬遷到Amazon EMR on EKS，不僅能使用經效能最佳化的Runtime，還可以獲得使用Apache Airflow和AWS Step Functions整合執行工作管線，以及使用Spark UI進行除錯等好處。

在用戶提交工作時，EMR便會使用大資料框架，自動打包應用程式到容器中，並且提供預建置的連接器，和其他AWS服務整合，接著由EMR在EKS叢集上部署應用程式，並管理工作執行、日誌記錄和監控。也就是說，目前EMR on EKS會在工作提交時，才動態新增外部儲存的應用程式相依項目。

不過這個過程過於耗時，AWS現在讓用戶可以使用自定義映像檔，直接將服務指向現有映像檔並且開始執行，藉此提高執行效能。透過自定義映像檔，用戶可以使用自己的持續整合工作管線，以最佳化的EMR Spark Runtime為基礎，創建包含應用程式和相依項目的容器映像檔，這將能減少建構映像檔的時間，並且預測本地開發或是測試容器啟動的時間。

用戶可以創建基礎映像檔，新增企業專屬的標準函式庫，然後將其儲存在註冊表服務Amazon ECR（Elastic Container Registry）中，自定義映像檔能夠包含特殊的應用程式相依項目，並且部署到測試和生產環境中，用戶只要將EMR on EKS指向自定義映像檔，就可以開始執行應用程式。

這個新功能支援自動化流程，因此用戶可以使用現有持續整合工作管線，添加相依項目到映像檔中，並且使用Amazon EMR漏洞掃描功能，或是使用EMR驗證工具來檢查檔案結構和Runtime版本。EMR on EKS的API也整合到了諸如AWS Step Functions和MWAA（AWS Managed Workflows for Apache Airflow）調度服務，供用戶以自動化的方式，在工作流程中生成映像檔。