樂天整合Hadoop與既有資料倉儲，積極以機器學習發展下世代電商應用

「女性排卵時程竟然是用股市預測分析技術算出來的，你相信嗎？」樂天技術研究所全球負責人森正彌來臺參加iThome雲端與資料中心研討會時，透露了旗下研究員這項特別的研究成果，推出後已有4萬多名婦女使用這個服務所打造的App。「機器學習非常重要，可以展現威力的地方甚至讓人難以想像」他說。樂天利用機器學習技術，結合雲端架構的分析平臺，來分析大量資料，發展了不少商務大資料的分析應用，例如用來預測產品定價。

不只樂天來臺揭露雲端大資應用，DHL IT服務資料中心維運負責人Ctibor Lesa則分享10多年維運資料中心的經驗，他認為，資料中心的問題有50％都是人為錯誤，而這50％的錯誤是可以制定程序控制並且避免的。百度資深架構師許立強則以百度建構20多項超過億人使用規模服務的經驗，分享從企業內部共用函式庫、提供內部服務到私有雲的變化。清華大學台積電卓越製造中心主持人簡禎富也是主題演講者之一，他認為，臺灣在推動工業4.0前，應該強化既有的優勢發展工業3.5，以避免被其他腳步較快的國家取代臺灣現有位置。

森正彌說，樂天集團旗下有許多類型的事業群，包括最大區塊的電子商務，還有媒體、金融、電信甚至是旅行社業務，因此樂天所能蒐集且加以利用資料非常龐大。再加上行動裝置快速的普及，使用者開始習慣透過手機觸及購物、生活、休閒以及金流等領域。樂天多元的商品、服務以及多類型的裝置媒介，造就大量又多元的資料。

因此樂天之前將交易、查詢Log、檢閱和商品等各種內外部的資料，放進與Teradata共同開發名為Rakuten Super DB的資料倉儲中，分析使用者的行為等各種特型，在以各式應用程式進行個人化、推薦等實際應用。但是隨著2013、2014年資訊量級爆炸，他們意識到是時候調整資料儲存的架構了。

森正彌表示，他們開始在採用Hadoop來處理龐大且非結構性的資料，儲存像是Log以及查詢類型的資料，並把Hadoop加進原本的系統架構中，與Rakuten Super DB分別掌管非結構化與結構化的資料。

另外，樂天也整合了Hadoop、Hive、Cassandra、Redis等其他NoSQL產品，打造全球事件分析平臺（GEAP， Global Event Analysis Platform）與樂天分析追蹤器（RAT，Rakuten Analytics Tracker）等跨服務分析工具。整合了集團內的資料，對於樂天市場的行銷有很大的幫助，像是他們發現關鍵字父親節與、男過膝半短褲被搜尋的高峰日期相同，因此很明顯的，在父親節的促銷活動，必需販售大量這類型的褲子。

另外，森正彌認為，機器學習將成為未來3年的發展重點，也將顛覆整個電商戰場，他以被eBay併購的Decide.com公司為例，這是一個告訴消費者是否當下該購買某項電子產品或是該等等的服務，Decide.com用機器學習每天分析30GB來自網路上各家電商、製造商以及媒體等商品資訊，並給出電子商品價格變化的精準預測。而樂天也開始積極將機器學習應用在自家服務上，例如預測商品需求或是市場經濟走向，用來決定商品銷售的方式。