美實驗室用750個樹莓派打造運算叢集，更要挑戰成為全球前百大Peta級超級電腦

國網中心耗資3.629億元打造的Peta級超級電腦，終於助臺灣重返全球百大超級電腦排名。不過除了砸大錢蓋超級電腦之外，美國國家實驗室則是選澤了更節省成本的方式，來打造超級電腦，利用750片樹莓派開發板組成的運算叢集，成功打造出一臺更省錢的超級電腦，未來更要擴大至1萬個節點擴充，挑戰擠進全球百大Peta級超級電腦排名。目前這套HPC系統已經實際展開測試，未來也將用於科學研究之用。這臺樹莓派超級電腦本周也在美國丹佛舉行的2017超級電腦展上公開展出 。

其實利用樹莓派來打造超級電腦，早已不是新鮮事。火柴盒大小外型的樹莓派，因為具備有迷你電腦的功能，2012年一推出就十分受到歡迎，甚至還掀起了一股自造者（Maker）風潮。一臺千元有找的樹莓派開發板，因為價格便宜，不只成為許多新創公司開發及驗證產品的首選，這股DIY熱潮甚至也蔓延到科學界，開始有人將它用在科學研究，例如，2012年就有美國樹城州立大學博士生Joshua Kiepert用32個樹莓派組成運算叢集，成本不到2,000美元。

後來，更有英國南安普敦大學一名電腦工程師，使用64個樹莓派和樂高積木，來打造出超級電腦Iridis-Pi，成本只花不到臺幣13萬元。這次由美國能源部兩大國家實驗室之一的洛斯阿拉莫斯國家實驗室（ Los Alamos National Laboratory）自建的樹莓派超級電腦，使用的樹莓派更是當時數量的10倍，多達成750片樹莓派開發板組成的運算叢集。

用750片樹莓派打造世界級的超級電腦

洛斯阿拉莫斯國家實驗室自建的超級電腦，主要採用BitScope提供的模組式刀鋒機櫃來搭建，因為全採用樹莓派開發板來設計超級電腦，所以成本上也比一般超級電腦還便宜，甚至使用上也更省電，每個運算節點平均耗電只有2到3瓦而已。

根據洛斯阿拉莫斯國家實驗室高效能運算部門負責人Gary Grider表示，這套樹莓派超級電腦系統內，總共內建750個CPU計算節點（採用 1.2 GHz Quad Core ARMv8處理器），擁有高達3,000顆核心可供計算使用，已經具備有等同超級電腦的計算能力。該實驗室未來還要擴大規模挑戰1萬個，甚至最多5萬個節點擴充，單以運算效能來看，理論上，跟自家的Grizzly超級電腦系統（全球排名85，運算效能達到1.5 PFLOPS）相比，將毫不遜色，甚至可能比臺灣國網中心自行研發排行全球95名的Peta超級電腦（運算效能有1.325 PFLOPS）都還快。

不只目標要擠進前百大，這臺樹莓派超級電腦的建置成本，跟一般超級電腦相比也更加的便宜，雖然Gary Grider並未透露實際的建置成本，但若以他們使用的Raspberry Pi3 Model B（售價35美元）來計算的話，750個樹莓派加總成本差不多2萬6千美元（約臺幣78萬元），即使在加上其他的基礎建置費用，還是遠比一般動輒上億美元的超級電腦建置成本低許多。

Gary Grider表示，開發人員可以利用樹莓派的模組及軟體，在超級電腦上來編寫應用，而不需要花費數億美元購買高成本的軟硬體，來搭建HPC測試平臺，而且更耗電，需要數百萬瓦（MW）的電力才可供系統正常運作。Gary Grider也透露，他們自建的樹莓派超級電腦，每個運算節點平均耗電只有2到3瓦，即使是將750個節點全部加總起來，耗電量也遠低於目前許多的超級電腦，不只省錢也省電，而且系統還可以依需求彈性擴充。

樹莓派超級電腦的機箱共有5個刀鋒模組組成，每個模組可以裝下150片樹莓派開發板，上圖為其中一個刀峰模組，並經由乙太網路連接，來建立運算叢集，機箱內也整合交換器，還配備一組48伏特的電源供應器設備來供電。

然而，要用數千到數萬臺樹莓派組出一臺Peta級的超級電腦，並不是件容易的事，因為隨著運算叢集規模變大，不同運算節點和節點之間連接和傳輸也將變得更加複雜，而容易造成存取延遲與傳輸頻寬不足的問題，而影響了系統的效能，這也是系統擴充不得不面對的挑戰。即使是洛斯阿拉莫斯國家實驗室一開始，也只能擴充到最多40個運算節點，後來，他們找來了HPC廠商BitScope及SICORP共同合作，重新設計機箱和進行系統整合，來解決系統擴充的難題，才從原來最多40個節點，增加到144個，到現在的750個節點，未來還要挑戰數千到數萬個節點的擴充。

根據SICORP網站的介紹，樹莓派超級電腦是採用BitScope提供的模組式刀鋒機櫃來搭建，機箱內由5個刀鋒模組組成，每個模組一次最多可以裝入150片樹莓派開發板，這些運算模組可以經由乙太網路連接，來建立運算叢集，機箱內也整合網路交換器，還配備一組48伏特的電源供應器設備供電。

不過，Gary Grider也強調，這臺樹莓派超級電腦並非用來取代其他超級電腦，而是希望提供給開發人員及研究者，當作是另一個可用於研究測試及驗證的全新HPC運算平臺，不只具備高效能計算能力，而且更便宜。他也表示，未來除了會持續增加節點數量，來提高運算效能外，也將建立新的網路架構，並且結合引入（ bootstrap）、管理及災難復原的演算法，以及聚焦系統與分散式儲存研究等。

2017/11/18更正說明：原文提及利用750個樹莓派組成的超級電腦，實測運算效能達1.5PFLOPS敘述有誤，正確應為洛斯阿拉莫斯國家實驗室目前旗下Grizzly超級電腦的運算效能。(內文已更正)