重點新聞(0110~0117)
Titans Google Transformer
比Transformer更好!Google新模型Titans更擅長長期記憶
最近,Google研究院團隊發表一款新模型Titans,整合了短期記憶、長期記憶與注意力機制,號稱比Transformer架構和線性RNN更擅長處理長期記憶資料,而且可處理的上下文長度高達200萬個Token。進一步來說,Transformer擅長短期任務,但要處理長期任務,就得耗費大量運算資源,而且時間一長,還會丟失重要細節。為此,團隊設計一款神經長期記憶模組,能在處理當下資訊的同時,也使用長期資訊。
他們將這個模組結合注意力機制,開發出Titans。這個設計,讓模型在不損失準確度的同時,還能處理大量資料,而且,藉由深層化與非線性化的記憶模組設計和遺忘機制等技術,Titans大幅提升記憶的管理效率。Google研究院還根據不同任務需求,開發出3種Titans版本,包括MAC、MAG和MAL。其中,MAC適合處理詳細歷史上下文的任務,MAG則擅長調整即時資料和歷史資訊的重要性比重,專注目前最相關的資訊。MAL效率較高,但整體表現可能略受限制。
經測試,Titans在語言建模、常識推論、時間序列分析和基因資料建模等領域,都遠超過現有基準模型表現,特別是在超長序列處理方面。無論是語言建模還是時間序列預測,Titans在準確性與效率都展現壓倒性優勢,甚至在部分場景中還超GPT-4等具有數十倍參數量的超大型生成式模型。(詳全文)
OpenAI AI代理 ChatGPT
OpenAI測試ChatGPT Tasks新功能,化身AI代理
OpenAI正在測試一款ChatGPT新功能,這個功能叫做Tasks,能將ChatGPT化身為任務自動化的AI代理,也就是說,使用者可用Tasks來讓ChatGPT自動執行排程任務。目前該功能已開放Beta測試版給Plus、Team和Pro方案用戶,預計正式推出後開放給更多人使用。
在Beta版本中,用戶已經可用ChatGPT提示,來讓ChatGPT自我排程並自動執行,例如讓ChatGPT每天下午匯整AI新聞簡報、每天和用戶練習法文、提醒母親3月13日生日,用戶可設定任何時間、一次性或重覆執行任務,不論用戶是否在線上,ChatGPT都會執行任務。完成後,系統也會傳送通知或電子郵件。值得注意的是,Tasks由GPT-4o模型驅動,因此ChatGPT方案的使用限制也會套用在Tasks上。雖然目前的Tasks版本不支援語音對話、檔案上傳,也不適用於客製化的GPTs,但支援ChatGPT Web、iOS和Android版本,今年第一季後也能支援Windows App。(詳全文)
微軟 材料設計 MatterGen
微軟MatterGen模型突破材料設計限制
最近,微軟揭露一款生成式AI模型MatterGen,可用來設計新無機材料。進一步來說,傳統的材料設計往往仰賴大量的試錯實驗,或計算、篩選既有材料資料庫,但這些方法需要篩選數百萬個候選材料,才能找到滿足需求的少數材料。MatterGen能解決這個問題,它採專為無機材料設計的擴散模型架構,能處理材料的周期性和三維幾何結構,模仿影像生成模型消除雜訊的過程,從隨機結構中,逐步生成穩定且符合特定要求的材料。
該模型用60萬筆穩定材料資料訓練而成,資料來自Materials Project與Alexandria等權威資料庫,其生成性能在穩定性、新穎性與多樣性方面都超越了其他現有方法。MatterGen的特點是依據材料設計需求,進行條件式生成;它能針對化學組成進行定向生成,例如指定元素或化學結構來生成特定材料,還能調整晶體的對稱性來滿足應用需求。此外,MatterGen也能對機械、電子或磁性等物理性質進行優化,支援多重約束條件的材料設計。微軟MatterGen研究團隊還實際與中國深圳先進技術研究院合作,成功合成新材料TaCr₂O₆。微軟表示,這個技術可望用於電池、磁性材料等領域,例如設計高效太陽能電池材料、成本更低的儲能電池等。(詳全文)
推理模型 NovaSky o1 Preview
媲美o1 Preview的推理模型來了
美國伯克萊大學NovaSky團隊日前開源自建的AI模型Sky-T1-32B-Preview,號稱在常見的理解和程式基準測試,表現都與OpenAI的o1-preview相當,且訓練成本才450美元(不計算硬體)。團隊打造這套模型的動機是,OpenAI o1、Gemini 2.0 Flash Thinking Mode這類模型雖很擅長解決複雜問題、能產生很長的思維鏈(CoT),但模型技術細節和權重都不開源,很難為學術及開源社群使用。
因此,研究團隊選定QwQ-32B-Preview模型來生成訓練資料,再透過拒絕採樣(rejection sampling)方法篩選,最終整理出約17,000筆資料的訓練資料集,包括APPs和TACO資料庫的5,000行程式碼,NuminaMATH資料集下的AIME、MATH和Olympiads子資料集,以及約1,000筆STILL-2生成的科學和解題資料。Sky-T1-32B-Preview是以QwQ-32B-Instruct為基礎模型,微調而成,並在8顆H100的平臺上用DeepSpeed Zero-3 offload優化技術,再以Llama-Factory花19小時完成訓練。這款模型在數學和程式基準測試中,表現不只與o1-preview相當,在所有測試中也優於Qwen-2.5-32B-Instruct。(詳全文)
生成式AI搜尋 MIT科技評論 小型語言模型
《MIT科技評論》揭露2025年十大科技趨勢預測
自1899年發行至今的《MIT科技評論》日前發布2025年十大科技趨勢預測,其中包括生成式AI搜尋、小型語言模型、無人計程車、生成式AI加速學習的機器人等。進一步來說,生成式AI搜尋靠多模態AI模型分析文字、影片、圖片、音訊等多種類型資料,能快速將資訊摘要給使用者,不再是單純列出連結、讓使用者自己判斷,改變了搜尋體驗。MIT科技評論點出,目前已有Google、微軟等搜尋龍頭和OpenAI在2024年推出生成式AI搜尋體驗,這種搜尋體驗也是目前可見的AI代理初階應用。
再來,輕量、便宜且耗能相對低的小型語言模型將崛起,這類小型模型在特定領域的表現將媲美昂貴的大型語言模型。而經過數年的測試,無人計程車現在在全球10幾個城市中正式供大眾使用,將在今年更加普及。另一方面,MIT科技評論認為,由於生成式AI快速發展,機器人學習新任務的速度比以往任何時候都快,這讓目前可自主決策的機器人,不再只會特定一招,而是具備更多技能—— 「我們正在接近通用機器人,這種機器人可以進入新環境,立即為我們處理各種任務,」MIT科技評論形容。
其他幾項科技趨勢預測,還包括今年即將上線、可觀測銀河與暗物質的薇拉.魯賓天文臺;治療牛群打嗝的有效方法將出現,因為牛群打嗝是農業溫室氣體的排放大宗;更乾淨的飛機燃料,如廢棄食用油、工業廢料合成的燃料;長效型愛滋病毒預防藥物;排放更少二氧化碳的綠色鋼鐵工廠;有效的幹細胞療法。(詳全文)
Nvidia 護欄 Guardrails
瞄準AI代理需求,Nvidia推AI護欄微服務、內容安全防範工具
Nvidia最近推出NIM AI護欄微服務,要來解決企業對AI代理資料安全和不遵從指令的疑慮。這款NIM AI護欄微服務是Nvidia NeMo Guardrails護欄工具集的一部分,都是以NIM微服務提供,包含內容安全、主題控管及越獄偵測。
新推出的內容安全微服務,可防止AI產出偏見或有害的回覆,主題控管微服務則能確保對話內容的主題在許可範圍內,避免離題或不適當內容。越獄偵測微服務則防範使用者越獄,以免AI遭到不當利用的攻擊。Nvidia指出,企業開發者可在開發AI代理時,使用這些輕量的微服務作為護欄,來控管特定的AI工作流程。而且這些模型輕巧,可高速執行、降低延遲,在遠端辦公或頻寬不足的地方也能執行。(詳全文)
國科會 科技發展 AI基本法草案
國科會揭2026年度科技發展布局、AI基本法草案進展及影響
國科會在14日揭露2026年度科技發展布局,規畫1,800億元科技預算來推動5大信賴產業和國家希望工程。其中,5大信賴產業是指半導體、AI、軍工、安控、次世代通訊,國家希望工程則指中小微型企業數位創新、創新創業雨林生態系、科技創新(如太空科技、量子、資安和生醫及精準健康等)、數位新社會等。這兩項國家工程涵蓋不少計畫,像是淨零科技方案、臺灣運動x科技行動計畫、晶創臺灣方案、大南方-新矽谷推動方案、臺灣AI行動計畫2.0、高齡科技方案,以及正在規畫的次世代通訊科技方案、智慧國家2.0方案。
在明年科技布局中,AI和晶片是一大發展重點。國科會提出5大方法來塑造臺灣主權AI,包括培養跨領域開創性的系統研發人才、補助中小型公司、打造供需媒合平臺、制定AI基本法草案,以及重新定位高等教育目標等,來實現3個目標:強化臺灣AI系統研發能力、形塑臺灣AI系統設計製造和應用的產業,以及養成人民運用AI工具和系統的文化。
國科會也揭露AI基本法草案進展,繼去年9月結束草案預告後,他們修改了部分草案內容,包括將原本的風險「分級」調整為風險「分類」,來接軌美國等促進創新的國家做法。國科會表示,後續將由數位部參考國際標準或規範,來制定風險分類框架,各目的事業主管機關再依這個框架,來訂定自己的主管業務風險分類和管理規範。最後則由行政院數位法制協調會議,來統籌、盤點各部會的AI作用法和配套措施。同時,國科會將持續發展臺灣大型語言模型,要精進既有的TAIDE模型計畫,比如持續蒐集臺灣本土特色資料集、結合國際最新開源模型,再加上國科會建置的算力資源,來優化TAIDE模型。(詳全文)
出口管制 GPU 模型
拜登政府祭AI出口管制法規
美國商務部工業和安全局日前發布《人工智慧擴散出口管制框架》(The Export Control Framework for AI Diffusion)暫行最終規則(IFR),限制美國進階AI技術和GPU的出口。簡單來說,美國政府會根據目的地敏感性、運算效能數量、AI模型效能和安全要求等加以審查出口與否,不過,該框架也明定了20個出口盟國,允許美國企業自由出口這些AI技術和產品,這些盟國包括主要西方國家、臺灣、南韓和日本等。
不在名單內的非盟國將面臨限制,例如以色列、新加坡、巴西、印度、印尼、馬來西亞和墨西哥等國,將受到出口上限限制,必須申請許可才能行,且完全禁止向美國對手出口。但供應鏈活動可以豁免,晶片可以移動到需要封裝或測試的地方。大學、醫療、研究機構採購一定總處理效能(TPP)的晶片則不需授權,也不計入國家採購晶片限額。不過,美國科技業者對此規範強烈反對,比如Nvidia就批評,世界各地的公司、新創和大學都在利用先進AI來推動醫療、農業、製造、教育和眾多領域的發展。甲骨文則指出,商務部的草案過於複雜且範圍太大,資訊科技及創新基金會也認為,監控國家出口的運算總量,既不切實際、也不公平。(詳全文)
圖片來源/Google研究院、OpenAI、微軟、伯克萊大學
AI近期新聞
1. M365 with Copilot將從臺灣等6國測試漲價,但可以關閉它
2. Mistral更新程式碼生成模型Codestral 25.01,刷新基準測試紀錄
3. Android Studio Ladybug功能更新,強化AI輔助
4. Snowflake開源可縮減LLM推論時間50%的SwiftKV模型
資料來源:iThome整理,2025年1月
熱門新聞
2025-01-20
2025-01-20
2025-01-20
2025-01-20
2025-01-20