| google | 生成式AI | Titans | Transformer
Google發表新Titans模型融合長短期記憶與注意力機制，突破200萬上下文Token限制
Google開源Titans模型架構研究，結合短期與長期記憶與注意力機制，支援超過200萬Token上下文，突破生成式人工智慧瓶頸，對長序列處理和語言建模帶來重大改進
2025-01-20
| IT周報 | Mamba | 程式碼生成 | Meta | Llama 3.1 | 蘋果 | Transformer | Nvidia
AI趨勢周報第257期： Mistral AI用Mamba架構打造程式碼生成模型
Mistral AI用Mamba 2架構打造程式碼生成模型，表現比同規模的Transformer模型好；Hugging Face釋出小又強健的語言模型SmolLM；Meta開源Llama 3.1 405B；有效加速Transformer生成時間，蘋果推LazyLLM；Nvidia推出企業級模型客製化平臺AI Foundry
2024-07-26
| IT周報 | Meta | Transformer | 局部性 | 核融合 | JAX | 蘋果 | WWDC | Apple Intelligence
AI趨勢周報第255期： Google DeepMind開源核融合裝置模擬器TORAX
Google DeepMind用Python-JAX打造托卡馬克核融合裝置模擬器並開源；Meta AI證實Transformer能處理單一像素而非16x16的區塊，效果還更好；健保署聯手Google要打造糖尿病風險預測AI；Nvidia開源HelpSteer2資料集，可低成本確保LLM與人類偏好一致；蘋果新推Apple Intelligence智慧功能
2024-06-16
| IT周報 | Transformer | xLSTM | LLM | 國科會 | TAIDE | Deepmind | 分子結構 | AI開發助理
AI趨勢周報第252期：取代Transformer？LSTM之父發表新LLM架構
LSTM之父Sepp Hochreiter提出一種新架構xLSTM，媲美Transformer；DeepMind發表可預測所有生命分子結構的AlphaFold 3模型；國科會揭TAIDE計畫最新成果；甲骨文也推出AI開發助理了；Red Hat推出AI平臺，內建IBM Granite模型；Stack Overflow聯手OpenAI，將優化Chatbot功能
2024-05-12
| IT周報 | Mamba | Transformer | google | Gemini | AWS | 思科 | AI助理 | AI聯盟
AI趨勢周報第235期：Mamba架構橫空出世，克服Transformer運算效率缺陷還具5倍吞吐量
Mamba引起AI社群關注，採狀態空間模型實現5倍吞吐量；GPT-4V最強對手來了，Google多模態Gemini模型登場；Meta、IBM等巨頭合組開源AI聯盟；Google發表新一代TPU和超級電腦架構；JetBrains新AI程式開發助理整合自家IDE
2023-12-10
| LLM | 串流 | 注意力機制 | Transformer | 語言模型串流應用
高效框架StreamingLLM可處理無限長度文本，解決LLM串流應用困境
研究人員開發出StreamingLLM框架，使語言模型能夠處理無限長度的文本，解決記憶體消耗與長序列泛化問題，提升在串流應用部署語言模型的可行性
2023-10-05
| PyTorch | Transformer | 機器學習
深度學習函式庫PyTorch 2.0正式發布，帶來高效能Transformer API與模型編譯器
PyTorch 2.0添加高效能Transformer API以及torch.compile編譯器，開發者可明顯感覺模型訓練與推理運算加速
2023-03-16
| IT周報 | google | Transformer | 機器人 | 導航 | 資料集 | 搜尋 | 大型主機
AI趨勢周報第210期：Google用Transformer模型即時導航機器人
Google成功用Transformer模型即時導航機器人，延遲僅8毫秒；司法院法庭中文語音辨識系統正式上線，準確率超過9成；Google搜尋再優化，新添資料集搜索引擎；Brave搜尋引擎自建生成式AI，幫摘要搜尋結果；IBM大型主機作業系統將擁抱AI
2023-03-09
| 微軟 | DirectML | PyTorch | Transformer
最新版DirectML PyTorch開始支援熱門Transformer模型
開發者現在可以使用DirectML PyTorch最新版本，利用GPU加速來訓練包括GPT2、BERT等熱門Transformer模型
2022-12-07
| Apache OpenNLP | ONNX Runtime | Transformer
Apache OpenNLP整合ONNX Runtime現可高效執行Transformer模型
Java NLP機器學習函式庫Apache OpenNLP藉由整合ONNX Runtime，開始能夠執行Transformer模型，使用戶獲得高效深度學習自然語言處理的能力
2022-09-23
| Nvidia | LLM | NeMo | Transformer
科學家可以藉由Nvidia BioNeMo服務，訓練和部署大型生物分子Transformer人工智慧模型，加速藥物探索研究
2022-09-21