資料工程平臺Astronomer 0.2.0企業版釋出，結合Airflow在私雲Kubernetes環境監控資料流

想要執行大數據分析應用的企業，往往需要一套資料處理流程管理機制（data pipeline），來串接從資料處理到分析，甚至是整合到機器學習框架上訓練。資料流程管理又多了一個新選擇，資料工程新創公司Astronomer近日釋出資料工程平臺Astronomer企業0.2.0版，今年初該公司就已經推出了代管AirFlow服務及SaaS解決方案，而0.2.0平臺版本主打可在私有Kubernetes環境上執行Airflow，來安排、監控應用程式工作流程 ，包括批次處理及即時串流分析。

Astronomer執行長Ry Walker表示，在這次所釋出的新版本中，功能面總共有3個新特色。首先是支援Kubernetes Helm Charts，讓系統組態設定更為自動化。Ry Walker舉例，開發者過去建置Grafana、Flower或是自家API平臺Houston時，都得要分別進行，而現在新版釋出，在單一部署中，就可以一次設定多種元件的部署組態，加快工作速度。

第二是加強了命令程式列的功能，除了可以直接進行系統認證程序，讓組態設定過程更為流暢，也能同時部署多個Airflow應用。該公司表示，此平臺也強調開發者優先，與其採用僵硬、令人混亂的GUI操作，「我們決定滿足開源開發者的需求，提供輕量化工具、豐富的API及命令程式列。」

最後，該公司也更新了API平臺功能，現在系統可直接列出部署任務清單、自行更換部署名稱，還可以布建客製化Airflow映像檔，「在部署過程中，開發者可以更加掌握映像檔的系統相依性。」
 

新推的企業Astronomer 0.2.0版，在企業內部的Kubernetes環境中，也整合了許多開發者愛用的資料監控、分析平臺Grafana。部署於容器叢集中的Airflow容器的運作狀況，也能一目瞭然。而該平臺也有提供相異系統維度的監控方法，例如，全局的系統面為切入點，觀察CPU、記憶體及網路流量等數據。或者，也能觀察個別Kubernetes Worker節點，確保該節點的CPU、記憶體使用量都正常無虞。 圖片來源：Astronomer