馬斯克旗下的ai公司xAI開發(fā)的Grok-1大型語言模型，在經(jīng)歷幾個月的訓(xùn)練和準(zhǔn)備后，于2024年3月18日正式開源。Grok-1擁有高達(dá)3140億的參數(shù)，超過了OpenAI的GPT-3.5模型，成為迄今為止開源的參數(shù)量最大的大語言模型。這一動作遵照Apache 2.0協(xié)議進(jìn)行，意味著開發(fā)者可以自由地下載、使用、修改并分發(fā)Grok-1的模型權(quán)重和架構(gòu)。

Grok官網(wǎng)：https://grok.x.ai/

Grok開源GitHub源碼下載地址：https://github.com/xai-org/grok-1

Grok-1是基于大量文本數(shù)據(jù)訓(xùn)練的基礎(chǔ)模型，未針對特定任務(wù)進(jìn)行微調(diào)。它采用的是混合專家架構(gòu)（Mixture-of-Experts, MOE），這是一種機(jī)器學(xué)習(xí)方法，通過結(jié)合多個子模型（專家）的輸出，提高模型處理任務(wù)的效率。Grok-1的源權(quán)重數(shù)據(jù)大小約為300GB，并在GitHub上開源。

馬斯克Grok為什么開源？

馬斯克此舉是在與OpenAI的關(guān)系緊張和對后者提出法律訴訟的背景下進(jìn)行的，馬斯克與OpenAI的聯(lián)合創(chuàng)始人奧特曼之間存在著長期的矛盾。他公開批評OpenAI違背了其開源的初心，并將原本旨在對抗谷歌的機(jī)構(gòu)轉(zhuǎn)變?yōu)橐粋€與微軟合作的盈利性實體。因此，馬斯克決定通過開源Grok-1來展示其對AI領(lǐng)域開放共享的承諾。

另外，通過開源，馬斯克希望吸引更多的開發(fā)者和用戶，擴(kuò)大其影響力，同時也為xAI帶來更多的數(shù)據(jù)資源，幫助其不斷完善和優(yōu)化技術(shù)。

馬斯克Grok開源的意義

Grok-1的開源將直接推動AI技術(shù)的發(fā)展，促進(jìn)競爭與多樣性。它為AI領(lǐng)域提供了新的發(fā)展動力，并可能引發(fā)新的技術(shù)革命。同時，這也是對AI領(lǐng)域現(xiàn)有商業(yè)化策略的一次挑戰(zhàn)，馬斯克試圖通過開源來改變AI技術(shù)的走向，使之更符合他個人的愿景。