新世代大資料平臺「閃電快」──Spark
Spark這個源自分散式叢集平臺的副產品,卻變成了新一代的大資料分析技術,不只打敗了十年老牌大資料分析平臺Hadoop的MapReduce運算引擎,奪下資料排序新世界冠軍,也是新一代串流分析的主流技術,更是矽谷目前最夯新一代大資料分析SMACK的核心關鍵,不只Hadoop廠商如Cloudera和Hortonworks都力推,連Google、微軟都大力支援,IBM更誇口要訓練百萬Spark人才來搶攻大資料分析需求
SMACK架構成為大資料技術迎戰Fast Data新關鍵
近幾年的API化、行動化和IoT化風潮,為大資料領域帶來了不一樣的新挑戰,資料分析的挑戰不只是大量,還要快速。以新一代大資料分析技術Spark為核心的大資料分析新架構SMACK也因應而生
文 /|2016-01-24
大資料技術新秀Spark如何通吃批次和串流資料分析能力
比Hadoop晚4年誕生的Spark,採取了和Hadoop不一樣的架構,能讓擅長大資料分析的社群來協助開發各種大資料分析模組,又可以讓擅長叢集運算和底層架構的專家來優化底層資源管理,因此吸引了大批開發者參與
文 /|2016-01-24
【觀察】大資料技術邁入成熟期,流動大資料分析時代來了
大資料技術在近2年開始產生根本性的改變,不僅成為眾多技術的底層,更從靜止轉成流動型態,不僅資料更新頻率大增,資料分析速度也從批次處理進一步縮短到毫秒等級的微批次處理
文 /|2016-01-23
【觀察】臺灣企業大資料應用現況
負責大資料導入顧問的臺灣IBM軟體事業處高級資訊工程師蘇友信表示,臺灣真正導入大資料平臺的企業,還是停留在蒐集資料為主,分析資料為輔的階段,大多是為了先建立一個有能力儲存大量資料的平臺,為下一階段資料分析預做準備
文 /|2016-01-23
趨勢科技用Spark打造大資料分析架構,克服單日GB級APT資料分析挑戰
趨勢科技透過Spark平臺建立雙資料流的大資料分析架構,不只不需要儲存每天暴增的Log資料,還能將同一支程式運用在即時處理和批次處理兩種不同的資料處理模式上
文 /|2016-01-24
按讚加入iThome粉絲團追蹤