xAI開源Grok所使用的大型語言模型Grok-1

由馬斯克（Elon Musk）去年成立的AI新創xAI，本周開源其聊天機器人Grok所使用的底層大型語言模型（LLM）Grok-1。

xAI是在去年10月利用基於JAX函式庫與Rust程式語言的客製化訓練堆疊，從頭開始訓練Grok-1，這是一個使用大量文字資料進行訓練，且沒有針對任何特定任務進行微調的基礎模型，此外，Grok-1也是個具備3,140億個參數的混合專家模型，任何Token的運算只使用25%的權重（參數）。

Grok-1在GSM8k、MMLU、HumanEval與MATH等基準評測上雖然尚未超越OpenAI的GPT-4，卻都勝過GPT-3.5。

不過，xAI也提醒企圖使用Grok-1的研究人員，由於此一模型的規模龐大，必須要配備足夠GPU的機器才能以樣本程式來測試該模型。Grok-1適用於Apache 2.0 授權，意味著它允許商業使用及修改，但無法註冊商標，也必須複製原始許可及版權說明，並陳述所作的變更。

xAI決定開源Grok-1可能是在向OpenAI示威，馬斯克日前控告OpenAI與Sam Altman，指控它們違反當初創立時的初衷，為了獲利而開發通用人工智慧（Artificial General Intelligence，AGI），而非當初所承諾的開源及替全人類謀福利。