AI趨勢周報第254期：如何知道RAG能耐？Meta推CRAG測試基準

重點新聞(0531～0606)

LLM     RAG     Meta  

如何知道RAG能耐？Meta推CRAG測試基準

自大型語言模型（LLM）應用興起以來，檢索增強生成（RAG）一直是降低LLM產生幻覺和胡言亂語的主流方法。但如何衡量RAG效力，又是另一門課題。最近，Meta AI團隊就推出一款名為CRAG的測試基準，可用來測試RAG系統的表現，也就是LLM結合外部知識進行問答的能力。

CRAG包含4,409個問答組，測試範圍橫跨5大領域，如金融、運動、音樂、電影和百科，另外包含8種問題類型，像是條件式簡單問題、比較型問題、加總型問題等。CRAG可測試2種RAG能力，包括網路搜尋和API串接形式，讓使用者了解自家系統在動態和靜態事實下的檢索、合成與生成能力。

Meta團隊也用CRAG來評估LLM，發現最先進的語言模型準確率只有34%，透過RAG加持可提升到44%。而且，即便是業界先進的系統，在處理動態和複雜查詢時，也只能回答63%的問題且不產生幻覺。Meta希望透過CRAG，來推動問答系統的創新和進步，克服語言模型的幻覺和知識差距。與此同時，CRAG也是Meta今年3月展開的KDD Cup 2024挑戰賽基準，全球已有數千名參賽者來測試、精進自家RAG系統，Meta團隊也會持續擴充CRAG，來推進RAG技術發展。（詳全文）

 AI機房     日月光     水冷  

日月光年底要啟用首座水冷AI機房

日月光半導體日前在Computex大會中揭露，將於今年底啟用其位於高雄的首座水冷散熱資料中心。該機房不只是全新AI運算設備基地，更是一座節能標竿機房，目標PUE（能源使用效率）值低於1.2。這個機房是要滿足每年增長1.2倍的AI運算需求，來因應未來兩年AI應用和大型語言模型（LLM）快速發展趨勢。

這座AI機房採用Supermicro的水冷式散熱技術，並由中華系統整合佈建。機房內的伺服器將搭載最新水冷機制，通過冷水直接帶走主機板熱能，取代傳統氣冷的冷熱通道方式。這種設計的機房能耗，比氣冷方式減少了20%以上，有助於達成日月光ESG永續發展目標。該AI機房也將配置多臺AI伺服器機櫃系統，據Supermicro提供的硬體規格，每臺AI伺服器主機內搭載2個32核Intel CPU與8個Nvidia H100 GPU。日月光計畫用這座AI機房加速智慧製造，並在產品生產、工程研發及營運上開發新的AI應用。（詳全文）

  音效生成     ElevenLabs     AI  

ElevenLabs新AI工具可細緻地生成音效

AI新創ElevenLabs專攻語音和聲音技術研究，去年先是推出AI平臺Text to Speech，可讓用戶根據文字設定，合成不同性別、年齡、口音和風格的語音。今年2月，ElevenLabs預告與OpenAI合作，要用其影片生成模型Sora，來打造可為影片配音的AI模型，最近正式公開這款音效生成工具Text to Sound Effects。

Text to Sound Effects可讓使用者調整音效，例如「腳步聲」可細分為高跟鞋、靴子或球鞋的聲音，甚至還能模擬不同環境的音效，如沙地、雪地或葉子上的腳步聲。ElevenLabs也與Shutterstock合作，利用其高品質的合法音訊資料庫微調AI模型，確保生成音效的多樣性和真實性。該工具提供免費及付費版本，免費版用戶需在生成的音效中標註來自ElevenLabs，而付費版本則無需此限制。（詳全文）

  Nvidia    AI晶片      RTX  

Nvidia揭AI晶片計畫，另推RTX新技術和Chatbot專案

Nvidia創辦人暨執行長黃仁勳日前在臺大演講中，透露Nvidia AI晶片新計畫，包括加速AI晶片的更新周期、每年推出一款新晶片，尤其是明年將推出的Blackwell Ultra和後年的Rubin，來因應他強調的新工業革命AI浪潮。在日前的Computex大會上，Nvidia發表也最新RTX技術，包括光線追蹤、AI視覺運算、光柵化及模擬等，另推出用來實現相關技術的Nvidia RTX AI Toolkit，集結各種支援Windows平臺的工具和SDK，供開發者客製化AI模型、跨雲端及RTX個人電腦部署。

此外，Nvidia也新推聊天機器人Project G-Assist，這款RTX技術加持的AI助理可用於遊戲，能接收玩家的文字、語音和遊戲視窗快照，並回答遊戲中遇到的問題，如任務指引、物品建議和怪物資訊等。同時，Nvidia也與微軟合作，要助開發者將生成式AI功能整合到Windows原生網頁程式，也能使用API存取GPU加速的小型語言模型（SLM），來更輕鬆部署AI應用。這款API將在今年以開發者預覽版釋出。（詳全文）

  AI套件     樹莓派     電腦視覺  

樹莓派推出70美元AI套件，強化視覺應用

樹莓派（Raspberry Pi）日前推出支援Raspberry Pi 5單板電腦的AI套件，售價70美元。該套件是樹莓派與以色列AI公司Hailo Technologies合作開發，目的是要提高AI視覺應用的建置效率。進一步來說，這個AI套件結合了樹莓派的M.2 HAT+擴充板和Hailo-8L AI加速模組，具即時執行、低延遲和低功耗等特性。也因此，Raspberry Pi 5能高效率運行複雜的AI視覺應用，如物體偵測、語義分割、姿勢估計和臉部特徵識別等。

該套件可執行每秒13兆次操作（TOPS）的推論，單通道PCIe 3.0連結傳輸速度為8Gbps，無縫整合Raspberry Pi的作業系統和軟體，也兼容多種相機。此外，它也能在單個或多個相機鏡頭上同時執行多個神經網路。

另一方面，Hailo也建立一個模型資料庫，包含各種預訓練神經網路模型，方便用戶快速部署或優化。為簡化相機與AI應用整合，其專屬rpicam-apps套件現在擁有後處理模板，可將神經網路推論整合至相機工作流程中即時執行，並預裝了Hailo Tappas後處理函式庫，讓用戶只需幾百行C++程式碼便能建置AI應用，這個整合，很快也會擴展到Picamera2框架。（詳全文）

  音效     Stability AI     Stable Audio Open  

Stability AI釋出文字生成音效模型Stable Audio Open

Stability AI近日釋出文字生成聲音模型的開源版本Stable Audio Open，使用者輸入文字描述後，就能生成長達47秒的音檔。這個模型是Stability AI以48萬多個音檔訓練而成，其中超過9成來自Freesound，另有少數來自「免費音樂檔案」（FMA），所有音訊都取得免費的共享許可，並使用預訓練T5文字模型來處理、生成文本。

Stability AI表示，Stable Audio Open很適合用來建立鼓點、音樂即興片段、環境音效、模擬錄音或其它與音樂和聲音有關的樣本。開源版本的好處是，使用者可用自己的聲音來調整模型，例如鼓手可加入自己的錄音樣本，來生成新的節奏。（詳全文）

  Lunar Lake     英特爾     AI PC  

英特爾發表新一代AI PC處理器Lunar Lake

英特爾在今年度Computex大會揭露新一代筆電處理器Lunar Lake，是Core Ultra系列第二代產品。該處理器每秒可處理48兆次（TOPS），是前一代的3.5倍，耗電量則低了40%。

進一步來說，上個月底微軟發表AI系列筆電Copilot+ PC，首批筆電與高通合作，採高通Snapdragon系列處理器，但Snapdragon的PC產品在市場上份量相對小，下一波預計搭載英特爾和AMD處理器的Copilot+ PC，才會觸及更多主流PC市場。而Lunar Lake就會出現在這批PC中，其搭載的CPU、GPU、NPU算力共有120 TOPS，包含CPU的5 TOPS、GPU的67 TOPS，以及NPU的48 TOPS算力，可更快速執行AI應用。Lunar Lake預計第三季上市，至於搭載Lunar Lake的Copilot+ PC何時會推出，英特爾沒有進一步揭露更多細節。（詳全文）

  Google     異常偵測     半監督  

資料不足也能有效偵測，Google開源半監督式框架SPADE

Google開源一款SPADE半監督式異常偵測框架，能克服其他半監督異常偵測方法，只需少量已標記和大量未標記資料，就能高效率偵測異常。異常偵測應用範圍很廣，涵蓋API安全、金融詐欺、製造缺陷等領域，而Google開發的SPADE使用一組單類分類器（OCCs），作為虛擬標籤器和監督分類器，特別適合用來處理少量已標記資料和大量為標記樣本的資料集。

這是因為，要建立大規模標記資料集不僅耗時且成本昂貴，SPADE利用半監督學習方法，可降低這個成本。在運作方式上，SPADE先使用多個單類分類器來學習資料中的正常樣本特徵，接著，這些分類器分別對未標記的資料進行預測，生成虛擬標籤，猜測異常與正常的資料，但只有當所有分類器一致認為特定樣本為異常時，才會真正將其標記為異常。再來用虛擬標籤和原始標記資料，來訓練監督異常模型，完成後，模型就能用來偵測新資料中的異常。（詳全文）

圖片來源／Meta AI、樹莓派、英特爾

攝影／余至浩

  AI近期新聞 

1. AMD發表第3代Ryzen AI筆電處理器，NPU效能達50TOPS、用低能耗帶來新AI體驗

2. Databricks買下Tabular，要改善資料相容性

3. 阿里巴巴發表新款語言模型Qwen2，支援128K Token、多數表現勝過Llama 3

資料來源：iThome整理，2024年6月