日本即時通訊軟體Line註冊人數今年超過4億人，在臺灣也有1,700萬人註冊，如何傳遞這些使用者每天傳送的1百億筆訊息和18億張貼圖，是開發團隊最大的挑戰。任職於Line公司開發2室，負責開發團對服務維運工作的田籠聡即將於9月初來臺，參加Hadoop臺灣使用者年度社群聚會，揭露打造Line服務背後的關鍵技術之──Hadoop大資料運算平臺新的Lambda架構。
臺灣Hadoop社群發起人王耀聰表示，這是一個運用Hadoop平臺同時處理串流即時訊息和大資料批次分析的新架構，因為λ這個希臘字母的形狀就像是一道資料流分成兩股分支，所以以此為名，象徵了資料流進入Hadoop平臺後，複製成兩份資料流，一份進行即時分析，另一份則儲存到批次處理的平臺中。
田籠聡是今年Hadoop社群年會主要講者之一，Google雲端平臺架構師也用了田籠聡寫的開源工具，因而也向王耀聰推薦這位講者來臺分享。另一位主要講者也來自日本，是大資料服務公司Treasure Data資深軟體工程師Masahiro Nakagawa。
Treasure Data被Gartner選為大資料年度「酷」（Cool）公司，利用AWS服務來提供Hadoop串流分析和BI服務，無印良品即是用Treasure Data服務來分析430萬網站會員的瀏覽行為，來發送折價券或促銷活動，吸引這些線上顧客到店消費。Masahiro Nakagawa正是要介紹一家雲端服務供應商如何在Hadoop平臺運用傳統IT人最熟悉的SQL語法提供分析服務。
王耀聰表示，這兩位講者都會提到熱門的大資料串流分析，這也是今年全球Hadoop社群的熱門技術話題，另外因為台積電開始帶頭推廣大資料技術，今年也將興起製造業的大資料應用也將起飛，所以，他也找來亦思科技HareDB系統開發處長江孟峰介紹臺灣半導體製造業的大資料應用。
而壓軸演講則是宏碁工程師李佳修來分享如何花了半年時間取得Hadoop企業版發行公司Cloudera公司所發的資料科學家認證，這是近期才出現的新興認證，也是成為認證資料科學家的一個途徑。
Hadoop臺灣使用者社群成立邁入第6年，王耀聰表示，去年年會有4百多人參加，不只是學生或技術人，還吸引了多位高階主管如總經理級、集團資訊長或技術長來參加。今年則計畫提供500張門票。目前Hadoop年會正開放第二波報名優惠，名額只有150人。
熱門新聞
2024-04-17
2024-04-17
2024-04-15
2024-04-15
2024-04-15
2024-04-15