以出產智慧型手機晶片著稱的高通（Qualcomm），在2019年跨足AI運算晶片領域，該公司在這年4月舉行的AI Day大會，宣布推出名為Cloud AI 100的產品，因應雲端服務領域的AI推論處理需求，這款晶片將運用他們既有的兩大技術優勢：先進訊號處理、能源使用效率，希望橫跨雲端服務到個人端邊緣，促成分散式智慧處理能力的提供，當時預估下半年即可提供樣品。
搶攻AI應用市場，2021年出現開始與其搭配的產品
2020年9月，高通宣布Cloud AI 100開始提供全球特定客戶，預計在2021年上半推出商業化產品。而對於適合導入這款晶片的應用環境類型，他們也提出更具體的描繪，例如，可支援資料中心、雲端邊緣、邊緣應用設備，以及5G基礎架構。
在軟硬體配置上，高通也公布更多Cloud AI 100的規格。例如，提供PCIe介面卡、雙M.2（Dual M.2，DM.2）、雙M.2 Edge（Dual M.2 Edge，DM.2e）等3種外形選擇，整數運算效能可達到400 TOPS，耗電量介於15瓦到75瓦之間；
而在搭配的軟體開發環境上，支援Tensorflow、PyTorch、Caffe等常見框架，以及GLOW and ONNX等執行時期元件，當中包含：應用程式軟體開發套件Qualcomm Cloud AI 100 Applications SDK，內建編譯器與模擬器，以及平臺軟體開發套件Platform SDK，內建執行時期元件、核心驅動程式與相關工具──透過上述軟體環境的提供，協助用戶進行Cloud AI 100應用程式的開發、測試、部署，使其能夠深入大量生產環境。
到了2021年上半，高通接續發出更多Qualcomm Cloud AI 100相關消息。像是3月，他們宣布技嘉的2U尺寸AMD平臺GPU伺服器G292-Z43，能與其搭配使用，單臺設備可安裝16張Qualcomm Cloud AI 100推論加速卡，若以單張加速卡的整數運算效能為400 TOPS為基準，整臺伺服器搭配16張加速卡之後，最大可提供 6.4 Peta OPS。
一個月之後，適逢MLCommons聯盟公布MLPerf Inference v1.0效能測試評比結果，當中也列到Qualcomm Cloud AI 100的成效，高通也在5月開始主打這款產品的優勢，例如，關於AI推論處理的每瓦效能，可大幅超越Nvidia資料中心GPU產品A100；而在最低能源耗用量，亦即邊緣運算的應用上，若以Qualcomm Cloud AI 100的兩種外形：雙M.2與雙M.2 Edge，進行效能評測，在單一圖片串流的處理上，也能提供較低的存取延遲。
到了9月，MLPerf Inference v1.1發布，當中列出更多Qualcomm Cloud AI 100相關效能測試數據。以技嘉G292-Z43搭配8張Qualcomm Cloud AI 100而言，在每瓦圖片分類推論效能上，達到197個單位，領先其他GPU加速卡；以搭配16張Qualcomm Cloud AI 100而言，在離線狀態下，每秒推論數量為342011個單位，而在伺服器狀態下，每秒推論數量為310064個單位，此時的系統耗電量為1840瓦。
關於技嘉科技伺服器搭配Qualcomm Cloud AI 100，今年1月我們向其詢問這項合作，他們表示，2021年上半與高通共同發布消息之際，僅取得工程樣品供內部測試，尚未量產，到了12月，這張加速卡才開始有量產品能夠出貨搭售，經過測試驗證，他們確認G292-Z43可支援Qualcomm Cloud AI 100，但技嘉伺服器並未與其綁定一起販售，用戶可尋找代理商購買。
結合高通旗下處理器、通訊晶片，組成邊緣運算開發套件
在2020年9月，高通也宣布基於這款晶片的邊緣運算開發套件，名為Qualcomm Cloud AI 100 Edge Development Kit，希望透過提供完整的系統解決方案，提供高效能的AI推論、視訊處理，以及5G連網，加速邊緣應用程式的採用。
此平臺包含3個元件，首先是加速卡Cloud AI 100，負責提供低功耗與高效能AI推論處理；其次，是模組化平臺Snapdragon 865 Modular Platform，負責應用程式與視訊處理；最後是系統模組Snapdragon X55 ModemRF System Module，透過預先認證模組，來提供全球電信業均支援的5G網路連接能力。
一個月後（2020年10月），Qualcomm Cloud AI 100 Edge Development Kit（AEDK）開始出貨，高通也公開這套平臺的詳細規格。
例如，提供有天線與無天線的硬體強固設備，鎖定5G智慧型邊緣運算應用設備的市場，搭配雙M.2外形的Qualcomm Cloud AI 100的加速卡；網路介面的部分，提供基於乙太網路的區域網路與廣域廣路，以及無線寬頻網路──M.2外形的Snapdragon X55 5G數據機模組；至於主系統的部分，則是Snapdragon 865 Modular Platform，當中採用Qualcomm Kryo 585處理器、12 GB LPDDR5記憶體，可同時處理24個FHD畫質、30fps的視訊串流。
到了2021年，在4月的MLPerf 1.0效能評估結果當中，高通也送測了AI運算開發套件，當中分別搭配DM.2與DM.2e等兩種形態Cloud AI 100，成為當中最低耗電、最低存取延遲的產品。
在9月的MLPerf 1.1，高通送測的產品是AEDK，同樣有DM.2與DM.2e型態的Cloud AI 100，在每瓦圖片分類推論效能測試項目上，可達到240個單位。
關於產品採用的部分，在2021年7月，高通與富士康工業網際網路公司（Foxconn Industrial Internet，工業富聯）聯合發表一款設備，名為Gloria AI Edge Box，當中就搭配了Qualcomm Cloud AI 100，預計2021年稍晚將提供樣品，2022年第二季上市。目前高通的網站已公布此款產品的資訊，例如，設備型號為EA5165N，所用的品牌為鴻佰科技（Ingrasys）。
今年3月在臺舉行的智慧城市展期間，高通也在遠傳電信展出的5G專網彈性製造解決方案當中，介紹他們與英業達共同打造的智慧邊緣運算盒5G AI Edge Box，這款設備搭配Qualcomm Cloud AI 100加速器。
產品資訊
Qualcomm Cloud AI 100
●原廠：Qualcomm
●建議售價：廠商未提供
●I/O介面：PCIe 4.0 x8
●外形：半高半長PCIe介面卡、雙M.2、雙M.2（Edge）
●運算核心：16顆AI核心
●核心之間頻寬：186 GB/s
●晶片製程：7奈米
●搭配記憶體：裸晶內建144 MB（每顆AI核心搭配9 MB），介面卡搭配32 GB與4個64Kb的LPDDR4x
●記憶體頻寬：136 GB/s
●可處理資料型別：FP16、INT8、INT16、FP32
●運算效能：INT8為400 TOPS，FP16為200 TFLOPS
●耗電量：PCIe 4.0介面卡為75瓦，雙M.2為25瓦，雙M.2 Edge為15瓦
【註：規格與價格由廠商提供，因時有異動，正確資訊請洽廠商】
熱門新聞
2024-08-14
2024-12-20
2024-12-22
2024-12-22
