| LLM | 串流 | 注意力機制 | Transformer | 語言模型串流應用
高效框架StreamingLLM可處理無限長度文本，解決LLM串流應用困境
研究人員開發出StreamingLLM框架，使語言模型能夠處理無限長度的文本，解決記憶體消耗與長序列泛化問題，提升在串流應用部署語言模型的可行性
2023-10-05
| Meta | Llama 2 | LLM | Llama 2 Long | 長文本
Meta新開源模型Llama 2 Long整體長文處理效能超越GPT-3.5 Turbo
Meta新的Llama 2 Long模型經過持續預訓練，能夠有效處理長文本，並在長、短上下文任務優於當前的開源模型，而且不需要人工註釋資料，整體長上下文表現可超越OpenAI的gpt-3.5-turbo-16k模型
2023-10-03
| Mistral AI | LLM | Llama 2
Mistral AI開源輕巧高效能語言模型Mistral 7B
Mistral AI推出的開源語言模型Mistral 7B，雖只有73億參數，但在各項基準測試上表現優於Llama 2 13B模型，提供開發者另一個高效且具可擴展性的選擇
2023-09-28
Google開發逐步蒸餾（Distilling Step-by-Step）技術，以較少資料訓練專用小模型，效能即可優於少樣本提示語言模型，解決龐大模型的部署挑戰，同時也使小模型效能可超越大型語言模型
2023-09-23
| 華碩 | 台智雲 | LLM | Llama 2 | 部署 | Code Llama
台智雲揭企業級LLM服務新進展，9月底將上線3種繁中優化的Llama 2模型
華碩子公司台智雲揭露新進展，要在企業級大型語言模型服務AFS中納入更多模型，包括以繁中資料強化的FFM-Llama 2 7B、13B和70B版本，預計9月底上線。
2023-09-21
近期公開於Hugging Face平臺的大型語言模型FLM-101B，強調具備1,010億個參數及0.31TB token，研究人員強調開發成本只花了10萬美元，且效能媲美GPT-3和GLM-130B等知名模型
2023-09-18
Code Intelligence推出可快速生成模糊測試的生成式AI服務CI Spark
Code Intelligence推出CI Spark服務，利用生成式人工智慧技術自動生成模糊測試程式碼，強化軟體安全，提升程式碼覆蓋率
2023-09-14
Nvidia開源TensorRT-LLM函式庫強化H100 GPU大型語言模型推論效能
Nvidia推出TensorRT-LLM模型最佳化函式庫，強化H100 GPU推論能力，協助開發者高效運行大型語言模型，結合動態批次處理技術，提高GPU使用效率
2023-09-12
Google AlloyDB資料庫服務新增嵌入支援可強化生成式AI應用
Google資料庫服務AlloyDB新增嵌入支援，能夠以簡單的SQL語法存取模型，對資料生成嵌入，供後續人工智慧應用程式使用
2023-08-30