| LLM | 串流 | 注意力機制 | Transformer | 語言模型串流應用

高效框架StreamingLLM可處理無限長度文本，解決LLM串流應用困境

研究人員開發出StreamingLLM框架，使語言模型能夠處理無限長度的文本，解決記憶體消耗與長序列泛化問題，提升在串流應用部署語言模型的可行性

2023-10-05