富士通巨量資料分散處理技術大幅降低網路通訊量

日本富士通研究所週二（3/13）發表巨量資料（big data）分散處理技術，宣稱可大幅減少網路通訊量至現有技術的1/100。

富士通研究所表示，隨著各類資料都不斷被收集到雲端，雲端服務內容也不斷擴大，伴隨而來的就是日益增加的龐大通訊量，以持續感測4萬人規模的雲端服務為例，業者必須隨時保持300Mbps網路流量，每月積累的資料量將近100TB，因此降低通訊成本勢必是今後相關業界矚目的焦點。

新技術主要概念是透過最佳化的演算程式，讓部分原本須在雲端處理的資料能以高效率分工至最靠近資訊源的通訊閘先行處理。多數情形中，感測器或機器所產生的資料都不會直接被使用，而是經過統計與分析後才使用，因此只要將具有一定處理能力的通訊閘設置於最接近資料產生的位置，事先對資料進行過濾與統計分析，就能減少上傳至雲端的多餘資料量，僅汲取有用的分析結果與數據資訊。

套用新技術後，網路管理員須定義資料收集程式、過濾功能、最小處理單位等工作流程，以及標示機器、通訊閘、雲端通訊路徑的網路原則，接著就讓程式依據這兩類定義以及目前通訊量最低的條件自行分析哪個通訊閘有能力處理此類資料。若網路結構改變，只要重新定義相關資訊即可重新計算出最佳分散處理模式。

另外，新技術也在工作流程中替每個資料加上分類標籤，程式分析流程中的最小處理單位與各類標籤後即可得知資料收集路徑、來源機器，甚至能夠得知是某公司某處理人員的ID所輸入的資料，進一步計算出數個有能力先行處理或收集資料的通訊閘供網路管理員選用。

富士通研究所表示此項巨量資料分散處理技術預定於2013年中商用化，今後將持續進行相關分散處理管理技術之研發。（編譯/張嵐霆）