Apache頂級專案再添一套大資料串流和批次分析引擎Apex，連奇異公司都在用

Apache軟體基金會（Apache Software Foundation，ASF）日前宣布，又有一套通用型的大資料串流和批次處理平臺Apex晉升為頂級專案（Top-Level Project，TLP），這表示Apex專案的社群和產品已經有良好的治理原則且發展成熟，連大廠商如奇異公司（GE）、美國智慧電網供應商銀泉電網公司（Silver Spring Networks）和行銷自動化軟體廠商PubMatic等都採用Apex的大資料分析技術。

Apex一開始是由大資料軟體廠商DataTorrent在2012年所打造的大資料即時串流分析軟體，在2015年8月時，DataTorrent貢獻Apex給Apache育成中心（Apache Incubator），成為開源專案。

根據ASF基金會，Apex是大規模、高吞吐量、低延遲，且具備容錯能力的大資料串流和批次處理通用平臺，可以用來做資料提取、即時分析、ETL（Extract-Transform-Load）、資料遷移、批次分析、發出警示通知、即時反應等。

而Apex是Hadoop原生YARN架構，以及預設HDFS（Hadoop Distributed File System）為檔案系統，讓Hadoop平臺能夠處理串流資料分析，且Apex的管線化（Pipeline）處理架構讓Apex可以進行即時和批次的資料處理。

另外，Apex具備連接器（Connector）和Malhar函式庫，其中連接器是用來整合其他外部系統，包括了訊息匯流排（Message Bus）、資料庫、檔案系統和社群媒體動態消息，例如，Apache開源資料庫Cassandra、Apache HBase、Apache Kafka、JDBC等。而Malhar函式庫則支援多種檔案傳輸協定、資料庫和訊息佇列，例如，檔案傳輸協定FTP、NFS、Java訊息服務JMS、訊息管理服務RabbitMQ、NoSQL資料庫等。

除此之外，Apex也簡化了Hadoop應用程式的開發和產品化，允許開發者可以編寫或重複使用通用的Java程式碼，以降低使用Apex的進入障礙，而這也增加開發者的生產力，加速商業邏輯的開發，讓產品可以更快上市。