雲端龍頭AWS這周舉辦年度大會re:Invent,我們記者王若樸也飛到美國現場,不到24小時,就發出4篇直擊報導。我也看了AWS公用運算部門資深副總裁Peter DeSantis周一的晚間秀直播,不少值得介紹的亮點。其中,最讓我覺得有意思的是,一項小小的光纖插頭的改良。
在LLM大型語言模型的訓練中,需要將大量資料送到數萬,甚至十萬顆GPU上來進行計算,因此,需要一套具有龐大傳輸能力的網路架構,AWS發展了一套稱為10p10u的AI專用網路架構,可以在上千臺伺服器之間,提供數十PB網路傳輸能力,而且延遲時間不到10微秒,相當驚人。
要達到這樣的頻寬和速度,當然得靠光纖,但就算如此,也需要超級複雜的光纖網路線的密集配線,單一個機櫃就要用到數百條光纖來串聯,要部署上千臺伺服器來訓練模型,密集光纖網路的配置更是曠日費時。AWS將16條獨立的光纖整合成一把預製的光纖組件(Fiber optical trunk cable),直接在工廠先組裝,不只減少了6成的連結器數量,也大幅減少接錯線的情況,可以縮短近一半的部署時間。
不只如此,他們還重新設計了客製化的專用光纖插頭(Firefly Optic Plug),這個小小的橘色插頭,可以在工廠事先進行迴路測試,提前驗證網路連線情況,還有防塵密封設計,避免小灰塵跑進光纖接頭中,影響了傳輸品質。「即使是一顆小灰塵,也會影響網路效能。光是改良這樣簡單的裝置,就能提高整體網路的效能。」Peter DeSantis強調。
連一顆小灰塵都不能放過(放進光纖),這種極度講究的態度,讓我敬佩,不惜自己重新改良看似簡單的光纖插頭。一點一滴的改良累加起來,才能創造出數十PB等級傳輸能力的AI專用網路架構。
1211期封面故事「直擊Momo南臺智慧物流核心」,同樣也談到了用IT創造效率的課題。
我們另一位同事郭又華,11月下旬,南下參訪Momo剛啟用的南區智慧物流中心。這棟6層樓建築,單日可進出16萬件商品,一年吞吐量能達到5,800萬件貨品。他在現場,親自走一趟,從進貨、揀貨、包貨、理貨到出貨的作業流程,再以圖解方式,一一說明Momo南部短鏈物流關鍵基地的運作關鍵。
Momo南區這座物流中心,直接複製了北區物流中心的自動化設備和作業流程,但是不一樣的是,他們這次特別要招募IT、AI、自動化技術、雲端運算的人才到這座中心的團隊,Momo透露招募這批人才的目的,就是為了不斷優化軟體和流程設計,來降低缺貨率,改善從訂單到出貨流程間的迴轉率,甚至希望能確保揀貨和送貨的準確率。換句話說,就是要用IT來優化智慧物流、倉儲的效率。
對於效率的追求,是IT最基本,也是永遠的課題,雖然不見得每一家企業,都有足夠的規模和資源,可以如AWS這樣設計自己的網路架構、設備、甚至是網路線插頭,或能像Momo大砸30億元、籌組500人團隊,來打造智慧物流中心。但是,不論是AWS或是Momo,他們用IT追求更高效率的態度,值得尊敬,更值得仿效。
專欄作者
熱門新聞
2024-12-10
2024-12-10
2024-12-08
2024-12-11
2024-12-10
2024-11-29