
百倍爆量挑戰!Uber超大數據省錢術
Uber大數據資料量4年來暴增100倍,從數PB,增加到數百PB,Uber一年軟硬體IT支出高達12億美元,資料暴增百倍,若採用同樣技術架構,恐怕需要10倍,甚至是數十倍的軟硬體投資才能負擔
Uber大數據資料量4年來暴增100倍,從數PB,增加到數百PB,Uber一年軟硬體IT支出高達12億美元,資料暴增百倍,若採用同樣技術架構,恐怕需要10倍,甚至是數十倍的軟硬體投資才能負擔
Uber服務快速擴張到全球,呈現爆炸式成長,但也帶來了另一個甜蜜的負擔,他們手上的資料呈現指數型成長,從數PB,4年暴增到數百PB,大數據平臺成了最燒錢的負擔
儲存和運算設備的成本是Uber大數據平臺最大的成本來源,省錢術的第一步,就是先從大數據平臺供應端著手
Uber大數據平臺需求端省錢術的一大關鍵,就是先清楚劃分資源所有權角色,就像是先找出債主,再建立用量追蹤工具,來掌握使用者用量,接下來才能依此自動調度資源
Uber大數據省錢術第3支箭瞄準平臺效率,透過檔案格式優化、改善YARN排程策略、叢集聯邦等方法來提高效率,後來還發起HydroElectricity專案,就像蓄水發電般,善用後臺工作節省前臺CPU耗能