Hugging Face公布可在裝置上執行的小型多模態模型SmolVLM

在7月公布SmolLM輕量語言模型後，AI應用開發平臺Hugging Face本周公布輕量多模態模型SmolVLM，主打輕量、高效能，為其小型語言模型再添成員。

SmolVLM為參數量20億的小型多模態模型，號稱是同規模模型的State-of-the-Art（SOTA）。SmolVLM可接受以任意圖片和文字的組合作為輸入，但作為輕量模型，它只會生成文字輸出。SmolVLM能回答關於圖片的問題、描述圖片內容，根據多張圖片來說故事，也可以當成純語言模型使用。開發團隊表示，SmolVLM基於輕量架構，很適合在裝置上執行，且維持多模態任務的高效能。

SmolVLM的架構是以Hugging Face之前推出的視覺模型IDEFICS 3為基礎，連Transformer實作也相同。但是Hugging Face較IDEFICS有幾點不同。第一是將語言骨幹由Llama 3.1 8B換成了SmolLM2 1.7B。其次，SmolVLM採用更強大的圖片壓縮技術，使用了像素混合（pixel shuffle）策略，以及更大的patch來為視覺字詞編碼，這能提升它編碼效率、推論速度更快，但使用的記憶體更少。

Hugging Face強調SmolVLM的高效及記憶體效率，並公布和市面參數量相當的模型的測試數據。在多模態理解、推理、數學以及文字理解能力方面，SmolVLM超越InternVL2、PaliGemma、MM1.5、moondream、MiniCPM-V-2等模型，而以GPU RAM使用效率而言，也超越大多數模型。其中和阿里巴巴的Qwen2-V2相較，SmolVLM的預填充吞吐量快3.3到4.5倍，而生成吞吐量則是7.5到16倍大。

Hugging Face公布了SmolVLM家族三個模型，包括可供微調基礎模型SmolVLM-Base、以合成資料集微調成的SmolVLM-Synthetic、以及以指令微調的版本SmolVLM Instruct，後者能立即提供終端用戶互動使用。SmolVLM的所有模型檢查點、訓練資料集、訓練方法及工具，都以Apache 2.0授權開源。