【re:Invent2018】AWS推出代管Kafka服務，簡化雲端Kafka叢集維運

公有雲龍頭AWS所提供的服務越來越多元，在近期的2018 re:Invent大會上，該公司也宣布開始推出Kafka代管串流服務（MSK），目前已經釋出公開預覽版本。此產品也擴大AWS公有雲的即時串流服務，讓企業用戶除AWS Kinesis Streams，亦有其他選擇。

AWS表示，Kafka叢集維運工作是個挑戰，從一開始的準備伺服器、設定Kafka組態設定，到了進入正式環境後，還得面對系統可用性、版本更新等問題。在此代管服務中，透過統一的管理中心，如在AWS環境建置EC2實例、Kubernetes叢集，維運人員可以直接建置Kafka叢集，而背後的維運任務，如叢集監控、替換健康度不高的叢集等工作，自動交由MSK執行。

針對軟體相容性之問題，AWS表示，該代管服務與開源版維持相容性。因此既有開源社群打造的工具，也能直接搬遷至該環境執行。而企業級產品必須達標的可用性、安全性，該服務也支援異地同步備份（Multi-AZ），在叢集運作失效時，系統會自動重啟、替換。同時，此Kafka代管服務也能支援網路隔離、虛擬私有雲、身份目錄存取服務，以及加密功能。

在維運人員建置Kafka叢集後，便是要建立、設定負責發布訊息的Producer，以及使用Kafka訊息的Consumer，將這兩角色與Kafka代管服務連接後，就可開始執行串流分析任務。圖片來源：AWS