每秒處理百萬筆事件，ArcSight資料平臺整合多種開原碼軟體

在企業級安全事件管理系統（SIEM）類型的產品當中，在2018年8月，我們曾介紹ArcSight Enterprise Security Manager（ESM），在4月RSA大會期間發布7.0新版，而在當中負責事件記錄收集工作的部分，也是一套產品，稱為ArcSight Data Platform（ADP），而那時ESM搭配的ADP是2017年發布的2.2版，而2018年ADP的最新版本是7月推出的2.31。 

作為匯聚大量資料，以便後續進行安全分析的平臺，ADP在2016年發布的2.0版當中，首度整合了Event Broker的元件，是由一套封裝好的開放原始碼軟體Apache Kafka所構成，而能支撐每秒處理1百萬筆事件的需求，無論是從任何來源獲取資料，以及接下來要將這些資料傳遞到任何地方，例如，ArcSight ESM安全事件管理系統，或是Hadoop這類資料分析平臺，都能提供良好的效能──相較於ADP 1.0，ADP 2.0在資料搜尋速度上，可加快50％。

Event Broker在ArcSight Data Platform（ADP）扮演很重要的角色。ADP 推出2.0版之後，新增了基於開放原始碼軟體Kafka的事件處理元件，稱為Event Broker，而在Event Broker之後的2.20改版，開始提供Docker container形式的套件部署方法，當中利用了Kubernetes、容器化的Kafka與Zookeeper、Kafka管理程式，一起支援相關功能。
從圖中的架構，我們還可以看到ADP在接取資料的管道，最主要是透過通用事件格式（CEF）。根據Micro Focus的說法，ADP提供的連接器已經超過400種。

一般而言，事件彙整平臺採取的資料傳輸架構，大多採用左圖的N:1架構，來因應持續增加的資料來源與大量資料，但隨著安全維運服務規模的成長，可能越來越難以負荷即時分析與歸檔封存的需求。
而ADP整合了Event Broker，透過基於Kafka的訊息匯流排架構，能夠提供N:M的架構，可從所有來源擷取資料，又能協調這些資料的去處，使其能夠順利傳到不同位置。同時，這樣的作法也能提供一個開放的安全環境，便於運用來自既有資料湖、分析工具的數據。

而在整體架構的搭配上，ADP本身還包含了多種元件，像是：管理中心ArcMC（ArcSight Management Center）、事件管理系統Logger、資料來源連接器SmartConnectors，以及針對連接器負載狀態提供負載平衡的Load Balancer。

以產品組成的方式來看，ADP包含了ArcSight Management Center（ARMC）、Event Broker、Logger、Connector，而就延伸應用的範圍而言，底層能接取各種資料來源，涵蓋使用者、雲端服務、應用程式、網路、設備，上層能搭配ArcSight ESM、ArcSight UBA、ArcSight Investigate，提供監控與行為分析，以及調查等功能。

上面這兩張圖是ADP的集中管理平臺ArcSight Management Center，能以簡易的操作介面，提供安全政策的設定、部署、維護與監控等功能，例如，透過圖形化的儀表板，呈現不同元件的執行數量，以及這些環節的運作狀態是否正常；也能以拓樸架構的方式，顯示這些元件之間的關聯與狀態。

ADP Logger的特色，在於吞吐資料效能、長期保存、快速分析，管理者若要檢視目前所需處理的事件記錄， 可透過網頁介面的儀表板，察看整體概況（上圖），也能輸入關鍵字，執行資料的搜尋與統計（下圖）。

隔年（2017）4月、10月、12月，ADP陸續發布2.1版、2.2版、2.21版，內含的Event Broker也隨之推進到2.0版、2.1版、2.11版，而在資料存取的連接上，強制採用TLS 1.2的安全連線。

到了2018年4月和7月，ADP推出 2.30版和2.31版，Smart Connector支援的系統平臺數量大幅增長，從原本的350種以上，一舉提升到400種以上。

而在ADP搭配的Event Broker，也跟著升級到2.20版和2.21版，以前者而言，開始提供專用的連接器Connector in Event Broker（CEB），而能提升資料處理的速度、規模與可靠度──系統會將資料收集與連接之後的剖析與正規化處理，搬移到基於Kubernetes環境的Event Broker叢集來處理。

此外，Event Broker 2.21版也能整合另一套開放原始碼軟體Apache MirrorMaker，透過這套跨Kafka/ Event Broker叢集複製資料的工具，而能部署多個叢集的Event Broker執行環境，支援更大規模的處理負載與資料流的發送彈性，也能在資料的處理與儲存，獲得額外的高可用性與災難復原能力。

這是ArcSight Event Broker的兩種部署方式，顯然都是基於Kubernetes的架構，分為單一主控節點（Master Node）的叢集，以及3個主控節點的叢集。

ArcSight Event Broker雖然是基於開放原始碼的Kafka而成，借助其強大的訊息匯流排處理技術，但ArcSight研發團隊後續也增加了許多特色和功能。

產品資訊

ArcSight Data Platform 2.31
●原廠：Micro Focus(02)2376-0036
●建議售價：廠商未提供
●組成元件： Management Center、Logger、Event Broker、SmartConnectors、SmartConnector Load Balancer
●資料來源連接器：400種以上
●採用開放原始碼軟體：Apache Kafka
●資料傳輸防護：TLS

【註：規格與價格由廠商提供，因時有異動，正確資訊請洽廠商】