企業級Kafka平臺Confluent釋出5.0版

在2011年被LinkedIn開源釋出的分散式串流分析平臺Kafka，而在2014年，LinkedIn離職員工另起爐灶，創辦提供企業級Kafka串流服務的Confluent。在近日，該公司釋出了Confluent Platform 5.0版，讓用戶可以更快整理分散各處資料源，彙整至單一來源。Confluent表示，這次釋出新版本有許多重要功能，像是提高基礎架構的安全性、可靠度，以及加強應用程式串流分析的能力。

第一重點加強層面是提升該平臺的安全、可靠度。Confluent表示，這次版本利用新LDAP authorizer套件，設定Kafka的存取權限，而管理員可以連結使用群組及LDAP伺服器，進行權限控管。而LDAP authorizer套件與其他安全協定結合後，管理員亦能用個人或者群組為單位，進行存取控制。同時，Confluent也加強控制中心的功能，包含Schemas、KSQL、Topic等內容，都可以利用存取控制機制加強安全。

至於串流平臺的穩定性，此平臺也搭配了Confluent Replicator，縮短災難復原的時間，協助維運人員，將災難復原的每個步驟自動化。當企業IT環境故障，客戶端應用程式要轉移至次叢集運作時，Replicator利用Kafka內建容錯機制Consumer group，讓應用程式搬遷至新叢集運作時，可以從延續既有節點的工作進度，Confluent表示：「不僅縮短重新處理Consumer需求的時間，也不會遺失新收到的訊息。」為了避免故障轉移時，系統重複複製訊息，在Replicator的設計機制中，系統會確保從甲地複製，傳送至乙地的訊息，不會重新拷貝一份至甲地，反之亦然。

再者，Confluent控制中心的監控、管理功能也有加強。以監控功能為例，系統管理員在選單中，可以觀察多個Kafka叢集中個別Kafka伺服器組態設定，確保每個Kafka Broker都配有正確組態設定，避免出現資安問題。

同時，系統管理員在控制中心也能即時觀看個別應用程式的效能表現，並且設定觸發警報條件，加強平臺穩定度。在此版當中推出的新功能Consumer lag，使用者可以觀察Consumer端的效能表現，提前準備確保平臺維持高效運轉。

除了加強平臺安全、降低維運工作，第二個重要特色就是加強平臺串流分析的能力。而Confluent總共從兩個層面，強化平臺運算力。

首先讓開發者透過控制中心，能更加了解串流資料的特性。在數據收集被歸類到Topics後，使用者可以檢視每一筆訊息中的標頭檔、Key等資訊。再者，現在Confluent開發的Schema儲存庫（Schema Registry ）已經和控制中心整合，使用者可以直接瀏覽Topics內資料的鍵值資訊。同時，在控制中心的管理選單中，該平臺也提供開發者，比對新舊Schema的設計。第二個層面則是加強整合KSQL。Confluent表示，在4.1版時就推出Web介面實驗功能，讓開發者可以在網頁介面執行KSQL。現在控制中心已經整合了KSQL，開發者能直接利用Kafka Topics，建立資料流（Stream）及資料表（Table）。

現在Confluent也開始加強布局物聯網應用，該公司表示，Confluent推出了MQTT Proxy，能相容標準的MQTT 3.1.1版協定，讓企業用戶可以更快整合物聯網應用，藉由原生的MQTT Proxy，用戶可以淘汰第三方廠商的MQTT Broker。該公司表示，自家原生的MQTT Proxy也支援了TLS協定，加強連網設備的安全。

系統管理員在選單中，可以觀察多個Kafka叢集中個別Kafka伺服器組態設定，確保每個Kafka Broker都配有正確組態設定，避免出現資安問題。圖片來源：Confluent

系統管理員在控制中心也能即時觀看個別應用程式的效能表現，並且設定觸發警報條件，加強平臺穩定度。在此版當中推出的新功能Consumer lag，使用者可以觀察Consumer端的效能表現，提前準備確保平臺維持高效運轉。圖片來源：Confluent

 開發者透過控制中心，能更加了解串流資料的特性。在數據收集被歸類到Topics後，使用者可以檢視每一筆訊息中的標頭檔、Key等資訊。圖片來源：Confluent

開發者可以比對新舊Schema的設計，比對後，Confluent會自動列出前後版本差異的地方。圖片來源：Confluent

現在控制中心已經整合了KSQL，開發者能利用Kafka Topics，建立資料流（Stream）及資料表（Table） 。圖片來源：Confluent