臺灣資料工程協會即將成立，大數據平臺Hadoop之父也來站臺

臺灣資料工程協會（Taiwan Data Engineering Association，TDEA）剛於7月11日獲內政部核准設立，也將於這週三7月12日正式對外宣布成立事宜，協會也找來大數據平臺Hadoop之父Doug Cutting來臺訪問，Doug Cutting將揭露他對未來10年Hadoop大數據平臺發展的看法和計畫。

10年前，Doug Cutting參考了兩篇Google自家大數據分析的論文，打造出了Hadoop，後來成為了全球所有大數據分析的主流關鍵基礎平臺，許多企業都用Hadoop來打造自家大數據平臺，甚至發展成了以Hadoop為核心的大數據產業生態系。而Doug Cuttinga目前也正是大數據平臺業者Cloudera首席架構師，深入業界開發商用大數據平臺產品。在大數據技術當道，AI新興科技崛起，兩者如何結合，是Hadoop下一個十年的挑戰，Doug Cutting也將揭露他對未來10年Hadoop發展的藍圖和觀點。

而臺灣也早從2008年時，就由當時於國家高速網路中心任職的王耀聰，發起了臺灣Hadoop使用者社群，目前已有近1,5000名註冊會員，也連續8年舉辦臺灣最大規模的HadoopCon技術研討會，今年第9屆大會更進一步擴大為DataCon 2017資料科技研討會，將和JCConf臺灣Java開發者年會合辦，於9月29、30日一連舉辦兩天活動。

王耀聰也是臺灣資料工程協會共同發起人之一，他表示，臺灣雖然已經有了一個以培養資料科學家、資料分析人才為主的資料科學協會，但是大數據分析不只需要資料科學家或資料分析師，實務上，國外常見還需要資料工程師和資料架構師的角色，培養這兩類人才正是臺灣資料工程協會的成立目的。

就像大餐廳廚房一樣，除了設計菜色、決定調味的主廚、二廚之外，備料的廚工和助手們也是很重要的一環，沒有充足的事前準備、切菜、洗菜、熬湯、煮醬，就算是再厲害的大廚師也很難一手從洗菜包辦到底。甚至，事前準備才是餐廳能夠服務大量顧客的關鍵。就像資料分析不只得先蒐集各式各樣的資料（買菜），還得先完成資料梳理（洗菜、備料、熬湯），才有辦法進行不同的大數據分析（煮菜）。「資料工程的任務就是準備資料科學家需要的資料，就像廚師也需要有助手備料一樣，兩者缺一不可。」

臺灣資料工程協會將串連原有臺灣大數據技術社群，包括了Hadoop.TW, Spark.TW, Flink.TW, Fluentd.TW共同推動相關大數據活動，也計畫參與Cloudera BASE計畫 (Big Analytics Skills Enablement) 大數據分析技能訓練計畫，來培養臺灣業界資料工程人力。

不只聚焦大數據，會將擴大推動臺灣參與全球開源社群，臺灣資料工程協會今年計畫舉辦第一屆臺灣開源貢獻者育成賽，找來6位現任的Apache專案Committer（專案程式碼管理者），來培養臺灣更多有能力參與開源專案程式碼計畫的貢獻者或甚至是管理專案原始碼的Committer。

這6位Apache Committer包括了Spark串流大數據平臺專案Commiter蔡東邦、BigTop專案主席葉祐欣、Hadoop專案Committer莊偉赳、Flink專案 Committer戴資力、HBase Committer蔡嘉平、Mesos Committer陳恩平。其中包括了葉祐欣、莊偉赳和戴資力這三位Committer也是臺灣資料工程協會的發起成員，更是TDEA和全球大數據開源社群交流的窗口。進一步TDEA活動消息可參考臺灣Hadoop社群粉絲團。