Mistral公布邊緣運算AI模型Les Ministraux

法國AI新創業者Mistral AI本周公布Les Ministraux，讓開發商及使用者可在筆電或智慧型手機等邊緣裝置上執行AI任務。

兩款新模型各名為Ministral 3B與Ministral 8B，合稱Les Ministraux，是為裝置和邊緣應用場景開發的state-of-art模型。兩者支援128K脈絡長度（在vLLM框架上目前為32K），其中Ministral 8B還具有交錯滑動視窗（interleaved sliding-window）注意力模式，可支援更快、更省記憶體的推論作業。

該公司強調，二款新模型已在參數100億以下類別模型中，將知識、常識、函式呼叫及效率能力提升到新境界，可用於多種個人或企業應用，像是裝置上翻譯、頻寬不佳地區的智慧助理、本地端分析或自主機器人。而若結合較大語言模型如Mistral Large，les Ministraux也能扮演多階段代理式工作流程的函式呼叫中介者角色，經微調後能根據使用者需求，在多種情境中處理輸入解析（input parsing）、任務路由或呼叫API，提供低成本及低延遲性的效益。

這家新創業者也比較了和市場上參數量相仿的知名模型的比較，顯示在知識與常識、程式撰寫、數學解題、以及多語能力，Ministral 3B超越Meta Llama 3.2 3B及Google Gemma 2 2B，Ministral 8B則大部份超過Meta Llama 3.1 8B以及自家的Mistral 7B，只在程式撰寫任務上小輸Llama 3.1 8B。

Mistral AI已透過Hugging Face公開Ministral-8B-Instruct-2410供研究用途，支援中文等10種語言。使用者必須輸入基本聯絡資訊換取授權。二款模型不久後將提供給雲端合作夥伴。

由Mistral AI的la Platforme平臺存取模型的費用方面，Ministral 8B為輸入/輸出每百萬token 0.1美元，Ministral 3B為輸入/輸出每百萬token 0.04美元。Ministral 8B提供商用及研究授權，較小的Ministral 3B只提供商用授權。若企業開發商想自行部署可聯絡Mistral AI，業者會協助為特定應用場景無損縮減模型。