富士通新技術加快巨量資料即時處理速度

日本富士通週一（11/19）發表新的巨量資料處理技術，可對應已儲存的大量資料以及即時資料，是一項能加快巨量資料處理速度的串流統計技術。

處理巨量資料不外乎兩種方式，一是以「批量處理」整理定期收集的大量資料，二是「串流資料處理」，則是用於股票交易這類有許多即時數據變動的資料。由於兩者資料統計頻率與更新頻率完全不同，因此目前均採用兩種不同的技術加以應對。

批量處理以數週到數月為單位進行統計，除了要處理大量資料，每次處理時還得全部從頭做起，因此運算時間通常會拉得很長；串流資料處理則是以數分至數秒為單位，每次過程中無需從頭做起，但為了得到正確的演算結果需視情形在複合事件中存取所有相關資料，牽扯的內容越多演算時間越長，回應也越慢。

針對上述問題，富士通研發出可精準取出串流資料中必要資料的技術，以及能夠直接導出演算結果，無需從頭計算的技術，提升抓取資料的準確度並導入新式演算法，再將兩種技術整合即為此次發表的串流統計技術。

在相同條件下實驗50萬份巨量資料加以比較，證明新技術處理速度比目前常用的複合事件處理（Complex Event Processing，CEP）方式快約100倍，而且處理50萬筆資料的回應時間與0～499,999份巨量資料相比幾乎相同。

富士通表示，此技術已提供日本國土交通省進行雨量檢測實驗，針對日本關西共50萬個區域統計雨量數據，每5分鐘約需處理1億筆資料，現已驗證1小時與3小時長期雨量資料統計結果所費時間相同，如此就能運用較長的資料統計週期繪製更精細的雨區移動範圍推算圖，導出更精確的累積雨量與瞬間雨量數據，提升即時預測集中豪雨或土石流警戒區域的準確度。另外，一般製造生產業也能將此技術與現有系統結合，若能更即時、快速地完成銷售資料統計工作，生產與庫存管理自然就更有效率。（編譯/張嵐霆）