Cerebras Systems發布具有1,350萬核心的AI超級電腦Andromeda

人工智慧晶片新創公司Cerebras Systems，開發擁有1,350萬核心的人工智慧超級電腦Andromeda，Andromeda針對大型語言模型最佳化，能擁有接近完美的線性縮放效能，提供超過1 Exaflop的人工智慧運算和120 Petaflops的密集運算，是目前最大的人工智慧超級電腦。

Andromeda由16個Cerebras CS-2系統叢集構成，並且使用了Cerebras MemoryX和SwarmX技術，是唯一一臺只仰賴簡單的資料平行化，就達到幾乎完美線性擴展的人工智慧超級電腦，擁有1,350萬經人工智慧最佳化的計算核心，使用18,176第三代AMD EPYC處理器，其核心數是目前最大超級電腦Frontier 870萬核心的1.6倍。

Andromeda與GPU叢集不同，Andromeda只靠簡單的資料平行性，就可跨GPT大型語言模型，包括GPT-3、GPT-J和GPT-NeoX達到接近完美的線性擴展。官方解釋，接近完美的線性縮放意味只要使用額外的CS-2，訓練時間就會以接近完美的比例減少，而這是目前GPU系統的弱點，因為GPU記憶體和記憶體頻寬的限制，使得GPU目前無法達到相同的成果。

Cerebras Wafer Scale Engine（WSE-2）處理器是CS-2的核心，其記憶體頻寬是GPU的1,000倍，同時也是目前最大的處理器（下圖），每個WSE-2晶片擁有2.6億個電晶體。而Cerebras的MemoryX技術，讓單個CS-2可支援數兆參數模型，而SwarmX技術則可以將MemoryX連結到CS-2叢集，使Cerebras的大型叢集可避免平行化程式開發的複雜性，以及分散式運算效能下降這兩個人工智慧傳統叢集會遭遇的問題。

官方提到，Andromeda能夠同時獲得結構化和非結構化稀疏性，還有靜態和動態稀疏性，這是其他硬體加速器無法做到的，因此Andromeda可以訓練超過90％稀疏性的模型，達到目前最先進的準確度。

用戶可以使用Jupyter Notebook簡單地向Andromeda交付人工智慧工作，只需要簡單操作就可切換模型，並且自由選擇要使用的CS-2數量。Andromeda能同時服務多個用戶，也就是說，Andromeda中的16個CS-2超級電腦叢集，可以共同被用以執行單一工作，或是被分為16個單獨的CS-2系統，服務16個不同的使用者執行16種不同的工作。