AWS正式推出託管Kafka串流服務MSK

AWS在re:Invent 2018大會上首先釋出託管Apache Kafka串流服務（Amazon Managed Streaming for Apache Kafka，MSK）的消息，現在已經脫離預覽階段推出正式服務。

Apache Kafka是一個分散式的串流平臺，其使用發布以及訂閱的架構，將產生串流資料的應用程式與利用串流資料的角色分離。Apache Kafka讓使用者可以捕捉像是串流事件、交易、物聯網事件，或是應用程式與日誌等串流資料，還能即時進行分析，連續不間斷地轉換資料，並再將收到的資料經過處理後，分散到其他的資料湖和資料庫中。

AWS提到，使用者在生產環境中要配置Apache Kafka，需要克服一些障礙，特別是在後續的管理以及規模擴展工作上，而現在AWS正式推出的MSK服務，則由AWS負責管理任務，讓使用者可以簡單地配置使用，而且由於近幾個版本的Kafka，都需要與節點協調程式Zookeeper共同使用，因此MSK服務也只要簡單地設定，就能讓Kafka與ZooKeeper一同運作。

使用MSK服務，用戶可以在幾分鐘內創建叢集，並使用AWS身分管理與存取控制IAM管理叢集操作，也能透過ACM（AWS Certificate Manager）完全託管的TLS私密憑證頒發機構授權客戶端，以TLS加密資料，並使用KMS（AWS Key Management Service）中的金鑰加密其他資料。當伺服器發生故障時，MSK還會替換故障機器，自動執行修補工作，用戶可以從Amazon CloudWatch中，監控服務的狀態指標。

AWS表示，MSK與Kafka 1.1.1和2.1.0版本完全相容，因此用戶可以在AWS直接執行原本的Kafka應用程式以及工具，而不需要修改任何的程式碼，用戶能使用開源工具MirrorMaker，將資料從現有的Kafka叢集直接搬移到MSK上。

MSK的計價方式是以Kafka Broker以及配置儲存每小時計價，MSK的資料傳輸費率與原本的AWS資料傳輸相同，而叢集所使用的Zookeeper節點，還有區域叢集的Broker和Zookeeper節點互傳資料是不額外收費的。現在用戶已經可以在大部分的AWS區域使用到MSK服務，包括北美、亞洲與歐洲。