Meta AI團隊推出一款檢索增強生成(RAG)技術測試基準CRAG,涵蓋5大領域、8種問題類型和4,000多組問答,可用來測試RAG即時網路搜尋和API串接搜尋的能力。

圖片來源: 

Meta AI

重點新聞(0531~0606)

LLM     RAG     Meta  

如何知道RAG能耐?Meta推CRAG測試基準

自大型語言模型(LLM)應用興起以來,檢索增強生成(RAG)一直是降低LLM產生幻覺和胡言亂語的主流方法。但如何衡量RAG效力,又是另一門課題。最近,Meta AI團隊就推出一款名為CRAG的測試基準,可用來測試RAG系統的表現,也就是LLM結合外部知識進行問答的能力。

CRAG包含4,409個問答組,測試範圍橫跨5大領域,如金融、運動、音樂、電影和百科,另外包含8種問題類型,像是條件式簡單問題、比較型問題、加總型問題等。CRAG可測試2種RAG能力,包括網路搜尋和API串接形式,讓使用者了解自家系統在動態和靜態事實下的檢索、合成與生成能力。

Meta團隊也用CRAG來評估LLM,發現最先進的語言模型準確率只有34%,透過RAG加持可提升到44%。而且,即便是業界先進的系統,在處理動態和複雜查詢時,也只能回答63%的問題且不產生幻覺。Meta希望透過CRAG,來推動問答系統的創新和進步,克服語言模型的幻覺和知識差距。與此同時,CRAG也是Meta今年3月展開的KDD Cup 2024挑戰賽基準,全球已有數千名參賽者來測試、精進自家RAG系統,Meta團隊也會持續擴充CRAG,來推進RAG技術發展。(詳全文)

 AI機房     日月光     水冷  

日月光年底要啟用首座水冷AI機房

日月光半導體日前在Computex大會中揭露,將於今年底啟用其位於高雄的首座水冷散熱資料中心。該機房不只是全新AI運算設備基地,更是一座節能標竿機房,目標PUE(能源使用效率)值低於1.2。這個機房是要滿足每年增長1.2倍的AI運算需求,來因應未來兩年AI應用和大型語言模型(LLM)快速發展趨勢。

這座AI機房採用Supermicro的水冷式散熱技術,並由中華系統整合佈建。機房內的伺服器將搭載最新水冷機制,通過冷水直接帶走主機板熱能,取代傳統氣冷的冷熱通道方式。這種設計的機房能耗,比氣冷方式減少了20%以上,有助於達成日月光ESG永續發展目標。該AI機房也將配置多臺AI伺服器機櫃系統,據Supermicro提供的硬體規格,每臺AI伺服器主機內搭載2個32核Intel CPU與8個Nvidia H100 GPU。日月光計畫用這座AI機房加速智慧製造,並在產品生產、工程研發及營運上開發新的AI應用。(詳全文)

  音效生成     ElevenLabs     AI  

ElevenLabs新AI工具可細緻地生成音效

AI新創ElevenLabs專攻語音和聲音技術研究,去年先是推出AI平臺Text to Speech,可讓用戶根據文字設定,合成不同性別、年齡、口音和風格的語音。今年2月,ElevenLabs預告與OpenAI合作,要用其影片生成模型Sora,來打造可為影片配音的AI模型,最近正式公開這款音效生成工具Text to Sound Effects。

Text to Sound Effects可讓使用者調整音效,例如「腳步聲」可細分為高跟鞋、靴子或球鞋的聲音,甚至還能模擬不同環境的音效,如沙地、雪地或葉子上的腳步聲。ElevenLabs也與Shutterstock合作,利用其高品質的合法音訊資料庫微調AI模型,確保生成音效的多樣性和真實性。該工具提供免費及付費版本,免費版用戶需在生成的音效中標註來自ElevenLabs,而付費版本則無需此限制。(詳全文)

  Nvidia    AI晶片      RTX  

Nvidia揭AI晶片計畫,另推RTX新技術和Chatbot專案

Nvidia創辦人暨執行長黃仁勳日前在臺大演講中,透露Nvidia AI晶片新計畫,包括加速AI晶片的更新周期、每年推出一款新晶片,尤其是明年將推出的Blackwell Ultra和後年的Rubin,來因應他強調的新工業革命AI浪潮。在日前的Computex大會上,Nvidia發表也最新RTX技術,包括光線追蹤、AI視覺運算、光柵化及模擬等,另推出用來實現相關技術的Nvidia RTX AI Toolkit,集結各種支援Windows平臺的工具和SDK,供開發者客製化AI模型、跨雲端及RTX個人電腦部署。

此外,Nvidia也新推聊天機器人Project G-Assist,這款RTX技術加持的AI助理可用於遊戲,能接收玩家的文字、語音和遊戲視窗快照,並回答遊戲中遇到的問題,如任務指引、物品建議和怪物資訊等。同時,Nvidia也與微軟合作,要助開發者將生成式AI功能整合到Windows原生網頁程式,也能使用API存取GPU加速的小型語言模型(SLM),來更輕鬆部署AI應用。這款API將在今年以開發者預覽版釋出。(詳全文)

  AI套件     樹莓派     電腦視覺  

樹莓派推出70美元AI套件,強化視覺應用

樹莓派(Raspberry Pi)日前推出支援Raspberry Pi 5單板電腦的AI套件,售價70美元。該套件是樹莓派與以色列AI公司Hailo Technologies合作開發,目的是要提高AI視覺應用的建置效率。進一步來說,這個AI套件結合了樹莓派的M.2 HAT+擴充板和Hailo-8L AI加速模組,具即時執行、低延遲和低功耗等特性。也因此,Raspberry Pi 5能高效率運行複雜的AI視覺應用,如物體偵測、語義分割、姿勢估計和臉部特徵識別等。

該套件可執行每秒13兆次操作(TOPS)的推論,單通道PCIe 3.0連結傳輸速度為8Gbps,無縫整合Raspberry Pi的作業系統和軟體,也兼容多種相機。此外,它也能在單個或多個相機鏡頭上同時執行多個神經網路。

另一方面,Hailo也建立一個模型資料庫,包含各種預訓練神經網路模型,方便用戶快速部署或優化。為簡化相機與AI應用整合,其專屬rpicam-apps套件現在擁有後處理模板,可將神經網路推論整合至相機工作流程中即時執行,並預裝了Hailo Tappas後處理函式庫,讓用戶只需幾百行C++程式碼便能建置AI應用,這個整合,很快也會擴展到Picamera2框架。(詳全文)

  音效     Stability AI     Stable Audio Open  

Stability AI釋出文字生成音效模型Stable Audio Open

Stability AI近日釋出文字生成聲音模型的開源版本Stable Audio Open,使用者輸入文字描述後,就能生成長達47秒的音檔。這個模型是Stability AI以48萬多個音檔訓練而成,其中超過9成來自Freesound,另有少數來自「免費音樂檔案」(FMA),所有音訊都取得免費的共享許可,並使用預訓練T5文字模型來處理、生成文本。

Stability AI表示,Stable Audio Open很適合用來建立鼓點、音樂即興片段、環境音效、模擬錄音或其它與音樂和聲音有關的樣本。開源版本的好處是,使用者可用自己的聲音來調整模型,例如鼓手可加入自己的錄音樣本,來生成新的節奏。(詳全文)

  Lunar Lake     英特爾     AI PC  

英特爾發表新一代AI PC處理器Lunar Lake

英特爾在今年度Computex大會揭露新一代筆電處理器Lunar Lake,是Core Ultra系列第二代產品。該處理器每秒可處理48兆次(TOPS),是前一代的3.5倍,耗電量則低了40%。

進一步來說,上個月底微軟發表AI系列筆電Copilot+ PC,首批筆電與高通合作,採高通Snapdragon系列處理器,但Snapdragon的PC產品在市場上份量相對小,下一波預計搭載英特爾和AMD處理器的Copilot+ PC,才會觸及更多主流PC市場。而Lunar Lake就會出現在這批PC中,其搭載的CPU、GPU、NPU算力共有120 TOPS,包含CPU的5 TOPS、GPU的67 TOPS,以及NPU的48 TOPS算力,可更快速執行AI應用。Lunar Lake預計第三季上市,至於搭載Lunar Lake的Copilot+ PC何時會推出,英特爾沒有進一步揭露更多細節。(詳全文)

  Google     異常偵測     半監督  

資料不足也能有效偵測,Google開源半監督式框架SPADE

Google開源一款SPADE半監督式異常偵測框架,能克服其他半監督異常偵測方法,只需少量已標記和大量未標記資料,就能高效率偵測異常。異常偵測應用範圍很廣,涵蓋API安全、金融詐欺、製造缺陷等領域,而Google開發的SPADE使用一組單類分類器(OCCs),作為虛擬標籤器和監督分類器,特別適合用來處理少量已標記資料和大量為標記樣本的資料集。

這是因為,要建立大規模標記資料集不僅耗時且成本昂貴,SPADE利用半監督學習方法,可降低這個成本。在運作方式上,SPADE先使用多個單類分類器來學習資料中的正常樣本特徵,接著,這些分類器分別對未標記的資料進行預測,生成虛擬標籤,猜測異常與正常的資料,但只有當所有分類器一致認為特定樣本為異常時,才會真正將其標記為異常。再來用虛擬標籤和原始標記資料,來訓練監督異常模型,完成後,模型就能用來偵測新資料中的異常。(詳全文)

圖片來源/Meta AI、樹莓派、英特爾

攝影/余至浩

  AI近期新聞 

1. AMD發表第3代Ryzen AI筆電處理器,NPU效能達50TOPS、用低能耗帶來新AI體驗

2. Databricks買下Tabular,要改善資料相容性

3. 阿里巴巴發表新款語言模型Qwen2,支援128K Token、多數表現勝過Llama 3

資料來源:iThome整理,2024年6月

熱門新聞

Advertisement