巨量資料解決方案廠商Splunk新增兩大功能模組，包括Splunk Hadoop Connect以及Splunk App for HadoopOps。其中Splunk Hadoop Connect是針對Hadoop平臺所提供的連接器，讓企業可以雙向整合Splunk與Hadoop平臺的資料，在Splunk平臺存取與分析Hadoop平臺的資料；Splunk App for HadoopOps則是能即時監控與分析Hadoop的系統效能。
Splunk資深技術顧問陳哲閎表示，由於Hadoop平臺採批次作業方式，來進行資料運算並產生分析報表，當企業有即時分析需求時，往往會想看到當下的分析結果，這樣的情況下，就可以透過連接器取得Hadoop的資料，在Splunk的平臺立即分析，然後再把分析結果匯出到Hadoop儲存。
陳哲閎表示，企業只需把要分析的資料，制定出資料分析的流程，而不再需要自行開發應用程式，就能透過連接器來做結構資料與非結構資料處理。
目前Splunk Hadoop Connect連接器有3大模組功能，包括讀取Hadoop資料檔案、分析與運算Hadoop資料檔案以及視需要將分析結果儲存到Hadoop平臺。
陳哲閎表示，Splunk的連接器，完全依照Apache Hadoop標準來開發，因此，只要符合Apache Hadoop標準的系統環境，例如Cloudera CDH以及Hortonworks HDP兩大Hadoop商業版本的使用者，只須安裝Splunk的連接器，就能進行跨平臺的非結構資料分析。而若Hadoop平臺是企業自己所部署，也許有調整過Hadoop的參數，連接器的參數設定也要配合調整後才能使用。
此外，新推出的系統監控工具Splunk App for HadoopOps，讓企業可以在單一介面下，即時掌握Hadoop叢集架構的效能，包括Hadoop架構下的點對點監控、分析、除錯。
陳哲閎表示，目前Hadoop系統監控工具，大多只能監控Hadoop單層資訊，也就是MapReduce的運算效能，但是Splunk App for HadoopOps可以監控的範圍，除了MapReduce的運算效能之外，還包括網路、交換器、作業系統以及資料庫等。文⊙楊惠芬
熱門新聞
2025-03-10
2025-03-10
2025-03-10
2025-03-10
