AI資料分析平臺Databricks上周宣布投資法國AI新創公司Mistral AI,也將其Mistral 7B及Mixtral 8x7B模型整合到其平臺。
Databricks已經加入了這家AI新創公司的A輪募資,同時也將Mistral AI的模型整合到Databricks AI分析平臺Data Intelligence Platform。現在Databricks用戶可以在AI模型市集Databricks Marketplace存取Mistral AI的模型,在AI圖像建立平臺Mosaic AI Playground中和模型互動(下圖),以AI部署與管理平臺Mosaic AI Model Serving作為模型端點使用模型,或是以自有資料來客製化這些模型。
Databricks表示,從今年初開始,該公司平臺上已經有將近1,000家企業使用Mistral的模型,並做了100萬次模型推論。因此該公司希望透過這次技術整合,企業用戶可以更方便為其AI應用存取Mistral AI的模型,而不用擔心損及Databricks平臺最核心的安全、資料隱私和治理。
Databricks引入Mitral AI的二個開放模型,包括Mistral 7B和Mixtral 8x7B。其中Mistral 7B以8K脈絡長度訓練,是70億參數的小模型,且使用分組查詢注意力(grouped query attention,GQA)及滑窗注意力(sliding window attention,SWA)的架構使其模型相當有效率。Mixtral 8x7B則是專家模型的稀疏混合(SMoE),支援32k脈絡長度,能處理英、法、德、義與西語。Mixtral 8x7B效能在多個標竿測試超越Llama 2 70B,且拜其SMoE架構之賜,推論時只啟動120億,而非450億個參數,使效能更加提升。
目前Databricks客戶已經有信用評分業者Experian使用Mixtral 8x7B分析資料,而AI分析軟體顧問業者Celebal Technologies也使用了Mistral支持檢索增強生成(Retrieval-Augmented Generation,RAG)AI助理答覆銀行用戶查詢。
Databricks是繼2月份的Amazon Bedrock後,最新一家使用Mistral AI相同2款模型的大型軟體平臺。
熱門新聞
2024-11-10
2024-11-10
2024-11-11
2024-11-10
2024-11-08
2024-11-08