AI趨勢周報第235期：Mamba架構橫空出世，克服Transformer運算效率缺陷還具5倍吞吐量

重點新聞(1201～1207)

 Mamba     Transformer     運算資源  

Mamba橫空出世引起AI社群關注，克服Transformer運算缺陷還具5倍吞吐量

自2017年Google釋出Transformer架構以來，它就成為大模型的主流架構，不只是BERT、T5，就連GPT系列模型、Gemini等大型語言模型（LLM）都以Transformer為基礎。但最近，來自卡內基美隆（CMU）大學和Together AI的專家Albert Gu和Tri Dao共同打造Mamba架構，克服了Transformer的運算效率缺陷，挑戰Transformer的霸權地位。

這是因為，Transformer模型中的自我注意力機制，其運算資源會隨上下文長度增加而呈平方倍增長，比如上下文增加20倍，所需的運算資源就會達到400倍，非常龐大。也因此，Tri Dao表示，Transformer的注意力機制難以擴展到長序列任務。為克服這個問題，至今有不少專家提出高效能注意力機制改善方法，但通常伴隨模型表現不如原本的代價。

而Mamba採用結構化狀態空間模型（SSM），所需運算量可隨序列增加而呈線性增長，可處理數百萬個Token的長序列上下文運算，解決Transformer的運算效率低下問題，還能實現5倍吞吐量。Mamba可作為通用序列模型的骨幹模型，團隊測試，Mamba在語言、音訊和基因組學等多種任務中達到高階（SOTA）性能，特別是在語言建模部分，Mamba-3B模型表現不只比同參數量的Transformer好，還與2倍規模的Transformer相當。（詳全文）

  Gemini     Google     GPT-4V  

GPT-4V最強對手來了，Google多模態Gemini模型登場

Google正式推出原生的多模態大型語言模型Gemini，可同時支援文字、圖片和聲音的輸入。在32項AI測試中，有30項的評分超越了OpenAI的GPT-4V。Google預計推出3種Gemini版本，包括模型最大的Ultra版、通用性最廣的Pro版，以及可在手機裝置上運作的Nano版。

Google展示一段實測影片，來呈現Gemini多模態的回答能力。他們讓Gemini一邊看影片，一邊解讀畫面內容，包括展示人員即時手繪，Gemini能給出每一個動作所對應的意義，如這是隻鴨子，現在在水上游泳，有藍色外觀。當展示人員拿出實體玩具鴨子按壓發生聲音時，AI甚至打趣的說，真的拿出了呱呱叫的鴨子，AI還能糾正展示人員對於「鴨子」中文發音的重音位置錯誤。

不只能同時分辨和理解文字、圖片和聲音，Gemini還能分辨、解釋幾種熱門開發語言，包括Python、Java、C++和Go語言。Google也用Gemini打造了新版的程式碼生成系統AlphaCode 2，比2年前的第一代進步許多，可解決兩倍的問題。（詳全文）

  Meta    AI聯盟      開源  

Meta、IBM等巨頭合組開源AI聯盟

Meta聯手IBM，在12月5日宣布與英特爾、AMD、Linux基金會等組織跨界合組AI聯盟，推動AI開源碼技術的開發和共享，來推動負責任AI的發展。這個組織創始成員除了Meta、IBM，還有50多個組織成員，包括英特爾、AMD、Dell、Stability AI、Hugging Face、甲骨文、Red Hat、Sony、ServiceNow、Linux基金會等業者，美國航太總署（NASA）、歐洲核子研究組織（CERN）、醫學中心Cleveland Clinic，以及哈佛大學、耶魯大學、洛桑聯邦理工學院、加州大學柏克萊分校、東京大學等，但Google、微軟、OpenAI和AWS等並未加入。

AI聯盟的目的是，藉由公開和分享，來避免如ChatGPT這類封閉式AI引發的偏見、假資訊、幻覺和漏洞等風險。該聯盟的開發計畫包括打造安全工具與標準，像是建立AI安全與信任的工具型錄，並協助將這些工具推廣到廠商，再來是打造解決氣候、教育等問題的多模態、多語言的科學模型，此外還要建置強大的AI硬體加速器，並協助全球性的AI技術養成。另外也要開發AI教育、規範內容，並推動負責任AI開發的宣導活動。（詳全文）

  TPU     超級電腦架構     資源管理  

Google發表新一代TPU和超級電腦架構

12月7日，Google發表了最新張量處理器Cloud TPU v5p、超級電腦架構AI Hypercomputer以及資源管理工具Dynamic Workload Scheduler，來加速AI任務的執行和處理。進一步來說，今年11月，Google才推出Cloud TPU v5e，最近發表Cloud TPU v5p，前者強調成本效益，後者則號稱是目前最強大的TPU。每個TPU v5p pod具備8,960個晶片，晶片間的互連速度達4,800 Gbps，相較於上一代的TPU v4，提供了2倍的FLOPS和3倍的高頻寬記憶體（HBM）。

至於AI Hypercomputer架構，整合了最佳化效能的硬體、開源軟體、主流機器學習框架，比如JAX、TensorFlow、PyTorch等開源機器學習框架，或Multislice Training、Multihost Inferencing等軟體，且還整合GKE與Google Compute Engine。就資源管理工具Dynamic Workload Scheduler來說，它支援Cloud TPU與Nvidia GPU，可同時調度所需的加速器，其中的Flex Start還能用來微調模型、實驗、較短的訓練任務、蒸餾、離線推理和批次任務，並在準備執行請求GPU與TPU容量，是一種相對經濟的選擇。（詳全文）

  蘋果     MLX     Apple Silicon  

蘋果公布Apple Silicon平臺專用AI框架MLX

在微軟和英特爾等業者大肆宣傳AI PC概念的同時，向來較沈默的蘋果也公布了AI框架MLX，可在Apple Silicon平臺上執行。MLX類似Python常用框架NumPy的陣列框架，能提高在Apple Silicon平臺上執行ML任務的效率和彈性。

蘋果指出，MLX的設計靈感來自PyTorch、Jax和ArrayFire等框架，MLX陣列位於共享記憶體中，因此可執行在任何支援的裝置上，如GPU和CPU，無需複製資料。MLX有功能完整的C++ API，且有3大特點，如在自動微分、自動矢量化和運算圖表優化部分，具有可組合函式轉換，再來是MLX的運算為惰性求值，第3個特點是多裝置支援，可在支援的CPU、GPU上執行運算。目前，開發者可從GitHub網頁下載MLX。（詳全文）

  思科     防火牆     規則管理  

思科推AI助理，簡化防火牆規則管理

思科最近推出資安AI助理（Cisco AI Assistant for Security），能提供自動化規則配置、協助用戶分析和決策，來強化企業防火牆管理。企業防火牆的用意是保護網路免受惡意流量侵害，但防火牆規則卻不好管理，比如普通防火牆就有數千條規則和處理流量，其中許多規則過時、冗餘甚至矛盾。於是Cisco打造LLM防火牆規則管理助理，用戶可以自然語言管理防火牆，如排除故障和配置設定、找出可疑活動等。思科這款助理具多種功能，主要能在Cisco雲端防火牆管理中心與Cisco Defense Orchestrator（CDO）發揮作用，解決設定和維護複雜政策和防火牆規則的挑戰。

此外，Cisco還推出適用於所有防火牆模型的AI加密能見度引擎，經數十億個樣本訓練而成，不需解密流量，就能判斷流量是由哪一個作業系統以及客戶端應用程式產生，直接從加密流量找出惡意軟體傳輸。（詳全文）

  AWS     生成式AI     IDE  

AWS新推擴充套件，用AI簡化雲端程式架構設計流程

AWS正式推出Application Composer整合開發環境的擴充套件，可讓開發者直接在IDE使用Application Composer功能，以視覺化操作方法，更有效地設計和部署雲端應用程式，還簡化開發流程。

AWS在2022年推出視覺化工具Application Composer，讓開發者透過拖放操作，連接和分組AWS服務，更簡單地設計和開發應用程式架構。這次新推出的擴充套件，則能讓開發者在熟悉的IDE工具中，運用相同的視覺化拖放操作體驗，快速建立想法原型。而且，新擴充套件還能和IDE中的各種工具整合，提供即時生成的程式碼模板，以及AWS無伺服器應用模型整合，方便管理和部署無伺服器應用程式。Application Composer擴充套件還整合生成式AI，能即時生成程式碼建議，來加速開發工作。（詳全文）

  JetBrains     IDE     程式開發  

JetBrains新AI程式開發助理整合自家IDE

擁有IntelliJ IDEA、PyCharm等多款旗下IDE產品的JetBrains，最近推出程式開發AI助理，要提高開發者軟體開發的效率和品質。JetBrains AI助理能解釋程式碼、回答程式碼相關問題，也能生成文件或轉換程式語言等工作。

JetBrains透過將AI助理融入使用者工作流程，善用IDE對開發者程式碼的理解，掌握整體開發上下文和專案結構，來對AI助理底層語言模型提供詳細資訊。而且，開發者能以開放式聊天介面和AI助理對話，查詢特定函式功能，或編寫、除錯程式碼。此外，AI助理也能在重構任務幫上忙，雖然JetBrains IDE本身也有重構功能，但AI助理能進一步提供潛在程式碼的重構建議，並解釋原因。目前，該AI助理為訂閱服務，可在IntelliJ IDEA、PyCharm、PhpStorm、ReSharper、Fleet等JetBrains IDE中使用。（詳全文）

圖片來源／Albert Gu和Tri Dao、Google、思科、AWS、GetBrains

  AI近期新聞 

1. 微軟Copilot升級至DALL-E 3與GPT-4 Turbo

2. 群創用AI改造智能超市，導入智慧購物車、即時分群廣告推播及互動式酒促客服體驗

3. Meta強化Meta AI、推出AI圖片生成網頁版、研發浮水印

資料來源：iThome整理，2023年12月