| 關鍵IT新趨勢 | WebAssembly | AI推論 | wasm | 雲原生 | GAI | 模型封裝 | LlamaEdge | 冷啟動

【關鍵IT新趨勢3】AI推論需求爆發，帶動雲原生新趨勢Wasm加速普及

WebAssembly封裝的AI代理程式檔案超小，更容易落地部署、快速啟動。這項雲原生新技術，在2025年將成為企業IT開發GAI應用的新主流

2024-12-27

| 雲原生 | wasm | 容器 | VM | AI推論 | CUDA

為何Wasm檔案超小執行速度極快？虛擬機器、容器、Wasm三大雲原生技術大比較

AI推論程式碼、CUDA runtime、PyTorch框架和10GB的LLM基礎模型，用Wasm編譯後的Bytecod檔，可以大幅縮小到數MB，比同樣功能的容器或VM映像檔，足足少了1千倍，這正是Wasm冷啟動速度可以超級快的原因。

2024-11-29

| Ampere | 高通 | Altra CPU | Qualcomm | AI晶片 | AI推論

Ampere、高通合作AI晶片，主打無GPU運算環境

Ampere將透過整合其Altra CPU及高通的Cloud AI 100 Ultra AI加速器，開發專為處理大型語言模型推論作業設計的資料中心伺服器晶片，以創造無GPU的AI推論

2024-05-20

| AI耗電量 | 電力 | 用電量 | AI推論 | 能源 | google | AI搜尋 | Nvidia | AI伺服器 | ChatGPT

科學家預估AI到2027年的用電量堪比荷蘭

數位經濟平臺Digiconomist、比特幣耗電量指數的創辦人Alex De Vries預估到了2027年，AI的用電量可能等同於荷蘭一年的電力使用

2023-10-12

| GPU加速卡 | AI推論 | Turing架構

導入GPU新架構，Nvidia AI推論加速卡提升多精度運算效能

今年9月，Nvidia推出新一代AI推論加速卡Tesla T4，導入最新發表的GPU架構Turing，強化多精度的運算效能

2018-11-29