Google和音樂串流服務供應商Spoify於2月23日共同宣布,將使用Google雲端平臺(Cloud Platform)來提供音樂串流服務,也就是Spotify將採用Google的大資料基礎建設和工具,來做為音樂串流服務的後端系統,而Spotify會移轉後端資料和技術服務至Google雲端平臺上,預計在未來數個月後完成。
Spotify工程和基礎建設副總裁Nicholas Harteau在官方網站表示,Spotify服務的傳統作法是購買或租用資料中心的空間、伺服器硬體和網路等,且有一群工程師負責維運和管理資料中心的運作,但是現在雲端服務供應商所提供的儲存、運算和網路服務可以達到高品質、高效能和低成本,和傳統做法的效果相同,因此,Spotify決定採用Google雲端平臺,且Google的基礎建設除了幫助Spotify執行服務外,也讓團隊更具效能和效率。
Spotify在全球有7,500萬名免費會員及2,000萬名付費會員,且有龐大又複雜的後端系統,Spotify將遷移至Cloud Platform的大工程分為2個部分,分別是服務和資料。
在服務方面,Spotify的服務是建立在眾多微小的微服務(Microservice)上,其中一些微服務正從內部資料中心遷移至Google雲端儲存(Cloud Storage)、運算引擎(Compute Engine)等產品。
而在資料方面,Spotify則採用新的資料推疊技術,從Hadoop、MapReduce、Hive和自建的儀表板工具到改用Google的資料處理工具,包含雲端應用即時訊息服務Cloud Pub/Sub、大資料分析雲端平臺Dataflow、雲端資料即時分析服務BigQuery和大資料服務雲端管理平臺Cloud Dataproc。
Google Cloud Platform首席銷售工程師Guillaume Leygues在官方部落格表示,Spotify已經開始建置Google NoSQL資料庫服務Cloud Datastore和雲端資料庫Cloud Bigtable,來執行大資料的工作,另外,也正在部署Google的雲端網路(Cloud Networking)服務,如Direct Peering、Cloud VPN和Cloud Router等,來移轉PB級的資料到Google雲端平臺。
此外,Google也宣稱,使用BigQuery和Cloud Dataproc,Spotify資料團隊將可以在1~2分鐘內執行複雜的查詢並得到結果,比起過去要費時幾個小時,將節省很多資料查詢時間。而Spotify正在使用的Cloud Pub/Sub服務可在每秒處理成千上萬筆訊息,另外,Spotify正在部署的Dataflow資料處理服務,則用來強化資料ETL的工作。
熱門新聞
2024-12-10
2024-12-10
2024-12-08
2024-12-10
2024-12-11
2024-11-29