IBM加入Apache Spark社群，打算培育百萬名資料科學家：可能是未來十年最重要的開放源碼計畫

IBM宣佈加入Apache Spark社群，以及多項與Spark專案相關的計畫，包括以Spark作為其分析及商務平台的核心，並在IBM Cloud雲端平台提供Spark服務。IBM的機器學習技術SystemML也將捐給Spark開放源碼生態圈。IBM把這次的宣布稱為「可能是未來10年最重要的開放源碼新計畫」，IBM並計畫培育超過一百萬名資料科學家。

Spark為2009年由加州柏克萊大學AMPLab研究人員所創，在2010年以開放源碼專案釋出，而IBM則是AMP Lab四個創始成員公司之一。它的發明人後來成立Databricks。Spark在大資料處理上的能力優於Hadoop的MapReduce，近年來，獲得愈來愈多組織的青睞。IBM指出，從一般知名應用程式到物聯網，隨著資料和分析能力已漸漸成為企業及社會運作的一部份，Spark一方面大幅提升仰賴資料處理的應用效能，另一方面也簡化了開發智慧型應用的流程。

為加速壯大Spark專案，IBM將利用Spark作為該公司分析及商務軟體平台的核心，IBM Watson Health Cloud也將以Spark作為分析平台的底層架構，以加速醫療服務供應商及研究人員分析人口健康資料的速度。IBM也將把自己的SystemML機器學習技術以開放源碼釋出，並與Databricks合作共同推進Spark機器學習的能力。此外，IBM的Bluemix Paas將提供Spark as a Cloud，讓開發人員可建立資料分析應用，執行預測式分析。

IBM強調，Spark既靈巧、迅速又容易使用。而且因為是開放源碼軟體之故，能藉全球社群力量持續精進。過去幾個月來IBM的科學家及工程師已經和Apache Spark社群合作，以加速進階機器學習能力的交換，及智慧商業應用的開發。有了SystemML的投入，將可協助資料科學家解決多變的企業需求，讓開發者能夠運用深度人工智慧於各項事物。

未來IBM全球十多個實驗室將有超過3500名研究人員及開發人員投入Spark相關專案，並將在舊金山成立Spark技術中心，以促進智慧型應用的開發。IBM並將與多家學術教育單位合作，包括AMPLab、DataCamp、MetiStream、Galvanize及MOOC的Big Data University，培育超過100萬名資料科學家及資料工程師。

IBM指出，該公司將協助客戶運用Spark提升其資料策略，以促進企業轉型與競爭力區隔化。IBM並宣佈多家採用Spark及IBM產品的客戶，包括即時運輸規劃軟體供應商Optibus、資料分析顧問Findability Sciences、保險公司Blue Cross、美國太空總署（NASA）及SETI研究院等。（編譯/林妍溱）