Amazon Bedrock將上架Mistral 7B和Mixtral 8x7B兩開源語言模型

AWS宣布將在雲端人工智慧模型平臺Bedrock提供Mistral AI的模型，分別是Mistral 7B和Mixtral 8x7B，而這將使Mistral AI成為繼AI21 Labs、Anthropic、Meta、Stability AI等廠商之後，第7個Bedrock基礎模型供應商，用戶將有更多的大型語言模型選擇，以滿足開發各種人工智慧應用的需求。

Mistral AI是法國的人工智慧公司，由之前在Meta與DeepMind任職的研究人員成立，開發用於各種任務的大型語言模型。在Bedrock將要上架的Mistral 7B和Mixtral 8x7B模型，特性不同適合不同用例，Mistral 7B是一個擁有73億參數的輕巧高效能語言模型，雖然相較於其他語言模型來說規模較小，但是卻在許多基準測試上，表現都優於規模更大的Llama 2 13B。

而Mixtral 8x7B則是Mistral AI在去年底才剛開源的大型語言模型，其特別之處在於採用稀疏混合專家（SMoE）模型架構，能夠處理32,000個Token上下文，但是在處理大量參數和資料的同時，也能維持一定的運算效率，在許多基準測試都超越擁有700億參數的Llama 2 70B，甚至是GPT 3.5模型。