| 開源模型 | Mixtral 8x22B | Mistral AI | Mixtral

Mistral AI釋出開源模型Mixtral 8x22B

Mistral AI以Apache 2.0授權釋出Mixtral 8x22B模型,Mixtral 8x22B支援1,760億個參數,以及6.5萬個Token的脈絡長度,成為目前最大的開源模型之一

2024-04-11

| Mistral | LLM | Llama 2 | SMoE | GPT | Mistral AI | Mixtral

Mistral AI開源採用SMoE架構的Mixtral 8x7B模型,整體效能超越Llama 2 70B與GPT-3.5

Mistral AI開源最新模型Mixtral 8x7B,透過採用稀疏混合專家(SMoE)模型架構,在處理大量參數和資料的同時,也維持一定的計算效率,在多數基準測試上超越Llama 2 70B(700億參數)和GPT 3.5模型

2023-12-13