圖片來源: 

GitHub

由馬斯克(Elon Musk)去年成立的AI新創xAI,本周開源其聊天機器人Grok所使用的底層大型語言模型(LLM)Grok-1。

xAI是在去年10月利用基於JAX函式庫與Rust程式語言的客製化訓練堆疊,從頭開始訓練Grok-1,這是一個使用大量文字資料進行訓練,且沒有針對任何特定任務進行微調的基礎模型,此外,Grok-1也是個具備3,140億個參數的混合專家模型,任何Token的運算只使用25%的權重(參數)。

Grok-1在GSM8k、MMLU、HumanEval與MATH等基準評測上雖然尚未超越OpenAI的GPT-4,卻都勝過GPT-3.5。

不過,xAI也提醒企圖使用Grok-1的研究人員,由於此一模型的規模龐大,必須要配備足夠GPU的機器才能以樣本程式來測試該模型。Grok-1適用於Apache 2.0 授權,意味著它允許商業使用及修改,但無法註冊商標,也必須複製原始許可及版權說明,並陳述所作的變更。

xAI決定開源Grok-1可能是在向OpenAI示威,馬斯克日前控告OpenAI與Sam Altman,指控它們違反當初創立時的初衷,為了獲利而開發通用人工智慧(Artificial General Intelligence,AGI),而非當初所承諾的開源及替全人類謀福利。

熱門新聞

Advertisement