馬斯克公開Grok源碼 參數量勝OpenAI - 20240319 - 經濟 - 每日明報 - 明報新聞網

經濟

國際金融

馬斯克公開Grok源碼 參數量勝OpenAI

【明報專訊】特斯拉(Tesla)(美:TSLA)行政總裁馬斯克經營的AI公司「xAI」 宣布開源其聊天機械人Grok所使用的大型語言模型(LLM)Grok-1。這是一個參數達3140億的混合專家模型(Mixture of Experts model,MoE),供開發者在現有基礎上進行開發,使Grok-1成為當前參數量最大的開源大型語言模型,相比下OpenAI GPT-3.5的參數量只有1750億。由於Grok-1規模巨大,須配備足夠GPU的器材,才能以程式碼樣本來測試該模型。

「xAI」透露,Grok-1 是由「xAI」 從頭開始訓練的AI模型,是屬於「預訓練階段」(pre-training phase)的原始基礎模型。該階段於去年10月結束,意味該模型沒有針對任何特定功能(例如對話)進行微調。相比下,在 X(原稱Twitter)可使用的Grok大語言模型,是經過微調的版本。

允許商業使用及修改

Grok-1是按Apache 2.0協議來開放模型權重和架構,意味它允許商業使用及修改。馬斯克此前在加州入稟法院,控告ChatGPT開發商OpenAI不夠Open,違反其設立目的。

(綜合報道)

[國際金融]

相關字詞﹕大型語言模型(LLM) 開源 馬斯克(Elon Musk)

上 / 下一篇新聞