微軟發布最新的輕量級語言模型Phi-4,這是一款擁有140億參數的小型語言模型,儘管參數規模較小,Phi-4除了展現語言處理能力外,還具備良好的數學推理能力,效能足以媲美如Llama等更大型的模型。Phi-4顯示輕量模型也能追求高效能的可能性。
小型語言模型優勢在於資源效率和應用靈活性,相較於需要龐大運算資源的大型語言模型,小型語言模型對硬體需求較低,使開發者能以更低成本進行部署,甚至適用於邊緣裝置或行動設備。此外,小型語言模型的運算速度快、延遲低,特別適用於需要即時回應的場景。
Phi-4是微軟Phi系列語言模型的新成員,專注於在有限參數下提升數學推理能力與語言處理精準度。根據微軟的資料顯示,Phi-4在數學競賽問題的表現,甚至超越了一些參數更大的模型,例如Llama 700億參數版本及其他知名的大型模型。。
微軟解釋,之所以Phi-4在基準測試中可以達成良好的效果,得益於資料集品質的提升,包括採用高品質合成資料以及精心收集的真實資料,再加上創新的後訓練技術,大幅提升了模型推理精準度。Phi-4目前已在微軟的Azure AI Foundry平臺上提供,並計畫在之後登陸Hugging Face,進一步擴大應用場景。
熱門新聞
2024-12-13
2024-12-16
2024-12-13
2024-12-13
2024-12-13
2024-12-13
2024-12-13
Advertisement