地理分析平臺Descartes Labs使用AWS EC2雲端服務,執行High-Performance LINPACK(HPL)基準,達到每秒接近10 PFLOPS,在2021年6月的TOP500超級電腦排名中進入第41名。這項試驗證明了按需取得的虛擬超級電腦,已經可以應付超大規模的密集運算任務,而且能在使用完畢,立刻釋出所有運算資源。
Descartes Labs使用HPC和機器學習技術,處理來自全世界的感測器資料,並以接近即時的速度,計算、分析和儲存這些資料,提供全球農業、礦業、國防情報和消費市場重要的產業分析報告。
Descartes Labs提到,對全球範圍的地理空間分析能力,像是環境監測、惡劣天氣追蹤和預測,或是多模式資料融合以及氣候變化分析等,逐漸變得重要,面對極端氣候,他們必須更加頻繁地處理像是大範圍野火事件。最近Descartes Labs就處理了6 PB的Sentinel-1雷達資料,以追蹤大陸森林砍伐、野火發生高風險區域,並且監控再生農業的實踐。
這類型高效能運算工作負載,需要用到超級電腦大量的計算能力,而當前要建立超級計算機,必須由政府或是財力雄厚的研究機構和企業,投資數千萬美元建構而成,這個過程除了需要專業知識外,還需要經多年規畫和實踐,且一旦超級電腦建構完成,便必須要保持使用率,藉由使用者排隊輪流使用超級電腦,以確保投資的有效性。
Descartes Labs在2019年的時候,嘗試在AWS上建構超級電腦,其首次執行的結果為1.93 PFLOPS,同年6月,他們在C5執行個體叢集上執行,總共使用41,472核心,這次在TOP500列表推進排名到達136名,Descartes Labs提到,透過使用AWS美東US-East 1地區的1組節點,大概花費5,000美元,在不需要等待以及付出建置硬體成本的狀況下,快速獲取超級電腦的運算資源。
於雲端建構虛擬超級電腦的好處,除了不需要投入大量資金,只要在需要的時候配置資源,完成運算後,還能立刻釋放資源,用戶可以按照需要規畫使用的資源,不必為了提高利用率而增加運算工作,而且因為不需要購買硬體,能夠隨時在新興技術可用時,租用包括GPU或是機器學習專用硬體等資源。
在今年,Descartes Labs團隊決定再進行一次更大規模的測試,他們使用了4,096個EC2執行個體,包括C5、C5d、R5、R5d、M5和M5d,總共使用172,692個核心,實現最高效能9.95 PFLOPS,在TOP500排名進到了41名,從2019年到2021兩年間,效能提升了417%,是傳統系統的效能提升速度的10倍。結束歷時9小時的計算,Descartes Labs在24分鐘內關閉叢集,停止所有執行個體運作,展示了按需超級電腦的彈性。
熱門新聞
2024-12-10
2024-12-10
2024-12-08
2024-12-10
2024-11-29
2024-12-11
2024-12-10