大資料處理的挑戰悄然來襲，企業須以新思維全面因應

商場就是戰場，指揮官最重要能力，就是綜合各種可用的情報，進而取得早一步決策的先機。而在網際網路普及，企業業務流程高度IT化的今日，網路上的言論、回饋、企業內的生產、銷售資料，就是企業決策的主要情報來源。另一方面，雖然大資料（Big Data）的應用在臺灣仍在萌芽階段，但是，包括廠區機臺的生產資料、各分店的銷售情形、社群網站中的言論等，都越來越具備大資料的3V特性：大量（Volume）、速度（Velocity）、以及多樣性（Variety），企業已越來越不能自外於大資料的艱難挑戰。

舉例來說，證交所就在今年7月，將個股交易的撮合方式，從原本的20秒，改為15秒撮合一次，更計畫在未來進步到即時撮合。面對這樣嚴峻的要求，各家證券商必須改進自己的交易處理系統，例如元富證券利用記憶體式資料庫，來加速交易訂單的處理速度，雖然目前只是運用在小範圍的證券交易員和貴賓大戶，仍然替未來對即時資料處理的要求，跨進了新的一步。

而以金屬模具、吊重鏈條業務為主的振鋒公司，也面臨了必須在短時間內處理大量報表資料的挑戰。從前，業務員每調用1次產銷報表，就要花上1分鐘的等待時間，這在面對客戶或競爭對手的場合下，往往會讓他們錯失先機。因此振鋒決定導入In-Memory技術來加速企業的資料處理，讓前線業務員在調用報表的速度上，增進了30倍，從前需要1分鐘的等待時間，現在只需要2秒時間，甚至，對於更大量的資料處理，速度的增加可能比30倍更高。

面對大資料浪潮，企業如果能正視自己要面對的資料特性，並從各項技術間選擇未來可能的發展方向，就有機會在大資料浪潮下，乘風而起。

振鋒利用In-Memory技術，提高業務員反應能力

業務員對於企業生產、銷售的掌握程度，是決定企業是否能爭取到客戶的關鍵要素之一。但是，越來越龐大的資料量，也在企業的即時資料處理上，帶來了最直接的挑戰。振鋒企業資訊部經理黃立品就表示，從前業務員在面對客戶時，要調出產銷資料供查詢時，往往必須等待1分鐘之久，而在交叉查詢，或者是多次查詢的使用情境下，時間往往會拖得更長，然而在與客戶洽商的場合，時間就是籌碼，等待的每分每秒都必須付出成本，有時1、2分鐘的效率落後，最嚴重的後果可能造成訂單流失。

資料膨脹導致的另一個問題是，從前的後端報表資料是每個小時更新1次，業務員在洽商場合，往往不能取得最即時的產銷狀況，而必須等待下1次更新週期過後，才能獲得最新的數據，這同樣也拖緩了業務員的反應速度。

黃立品表示，將常用資料暫存於快取記憶體內的In-Memory技術，恰巧解決了這個問題。藉由快取常用的報表資料，業務人員調出訂單的速度可以從1分鐘縮短為2秒，而後端的報表資料，也從1個小時1次的更新，變為即時更新，這意味著前線業務員可以取得零時差的產銷資料，提升談判的籌碼與競爭力。

元富證券利用記憶體式資料庫，增加交易速度

證交所已在今年7月，將個股交易的撮合方式從原本的20秒，改為15秒撮合一次，證交所更計畫在明年底，將個股交易改成即時逐筆撮合。面對這樣的要求，元富證券就導入了記憶體式資料庫，來加速交易訂單資料處理。每日的股市交易都牽涉了龐大的歷史資料、即時資料的綜合處理與判斷，若是以傳統的資料庫來做資料處理，因為其I/O瓶頸過高，往往會有所延遲，而比起一般企業應用，證券交易往往要求更高的即時性。對此，元富證券資訊部專案副總經理李俊德表示，元富證券導入了記憶體式資料庫，擺脫了過去硬碟I/O的瓶頸，讓系統能更快速地處理訂單交易。

不過李俊德提醒，記憶體式資料庫也有其缺陷，主因是資料都是儲存在記憶體中，一旦面臨斷電，未儲存進硬碟的資料將難以復原。然而若要額外建置備援機制，則會影響到資料處理的效率，這個兩難問題，也是資料處理技術上的一大挑戰。

具備大資料處理新思維，有助於因應未來資料處理的潛在需求

雖然，許多企業沒有立即處理大量資料的問題，對於資料處理即時性的要求也不高，然而，企業仍能現在就從大資料帶來的技術變革，以及新的資料處理觀念出發，來重新思考企業在未來可能面對的資料類型，以及未來潛在的業務需求。

舉例來說，工廠的許多機臺每日產生許多的系統資料、社群網站每天也產生許多類型的資料，很多人認為，大量收集、分析這些資料可以用來改善生產、或用來更精準地投放廣告，卻忽略了這些資料從進入資料庫系統的那一刻、其傳輸、儲存、運算、甚至刪除，都需要花費系統資源。因此收集資料不是越多越好，更重要的是，必須仔細評估企業到底需要哪種類型的資料。

此外，資料量的爆炸性膨脹，與即時處理要求的增加，在許多的情況下，也讓以往要在資料群中找出「最好」解的要求，變得不那麼容易達成。例如Facebook的推薦朋友、Amazon的推薦商品機制，其背後都牽涉了大量資料間，彼此關聯的交互運算，若要求出一個最佳解，則必須要花費為時數天的運算時間，而在推薦系統上，用「效率」換取決對的「品質」的想法，就變得更加重要了。

大資料處理面對許多挑戰，至今仍亟待解決

雖然現行的軟硬體技術、演算法設計、資料處理的思維等，都因為大資料趨勢的衝擊，而有了程度不同的進展，然而，在大資料處理上仍存在著極大的瓶頸。

例如，硬碟與網路的I/O速度的不足，就是資料處理的嚴峻挑戰之一。國家高速網路與計算中心副主任周立德，就藉由一個例子，說明了網路傳輸在資料處理的環節中造成的瓶頸。他說國網中心在跟外部機構合作時，常需要傳輸高達TB級的大量資料，通過網路傳輸得花上好幾天，對於網速過慢的因應辦法，周立德說，他們往往得依賴「UPS」解決，乍聽之下，以為是某種新的資料傳輸技術，後來聽他解釋，才知道是「UPS聯合包裹服務」：直接將硬碟裡的資料快遞到目的地。周立德指出，網路傳輸速度與CPU的運算速度間的鴻溝不斷擴大，是未來資料處理的一大隱憂。

另外，新型資料處理技術人才的不足，也間接導致了這些技術無法普及。華碩雲端公司總經理吳漢章認為，像是In-Memory技術、GPU運算技術等，其程式語言的撰寫邏輯，有別於傳統的程式語言，因此，即使對傳統程式語言嫻熟者，也必須重新花時間學習，另一方面，學校也缺乏系統化的教學策略，導致真正掌握新技術的人才供不應求。

而對企業而言，人才的不足也會造成技術普及的障礙，企業即使有了新的軟硬體系統建置，但在缺乏相對應的開發、維護人才的情形下，仍然無法發揮技術的最大效能。