在熱火朝天的大模型市場(chǎng)，早已形成了「開(kāi)源派」和「閉源派」兩大門派。

開(kāi)源被視為技術(shù)共享和創(chuàng)新的一種重要方式。實(shí)際上，大模型開(kāi)源相比傳統(tǒng)軟件開(kāi)源，情況要更加復(fù)雜。

在開(kāi)源的定義、性質(zhì)、開(kāi)放內(nèi)容和開(kāi)源策略上都有不同的標(biāo)準(zhǔn)和內(nèi)容。

因此，「開(kāi)源派」的帽子并不是那么好戴的。

Meta發(fā)布了Llama系列生成AI模型的最新版本Llama 3 8B和Llama 3 70B并宣稱是完全開(kāi)源的，就引來(lái)了許多質(zhì)疑。

Llama 3模型并不是真正意義的開(kāi)源，至少不是按照最嚴(yán)格定義的開(kāi)源。

開(kāi)源意味著研究開(kāi)發(fā)人員可以自由選擇如何使用這些模型，不受限制。

但在Llama 3的一些案例中，Meta對(duì)于一些許可的授權(quán)進(jìn)行了限制。

例如，Llama模型不能用于訓(xùn)練其他模型；擁有超過(guò)7億月活躍用戶的應(yīng)用程序開(kāi)發(fā)人員則必須向Meta申請(qǐng)?zhí)厥庠S可證。

許多學(xué)者和研究機(jī)構(gòu)也注意到了對(duì)于「開(kāi)源」一詞的濫用情況，許多標(biāo)榜為「開(kāi)源」的大模型都存在重大限制，「真假開(kāi)源」存疑。

diss閉源卻「翻車」？

Meta掌門人Mark Zuckerberg在上周四發(fā)表的一篇訪談中談到了他對(duì)人工智能未來(lái)的看法，他深信「不會(huì)只有一種人工智能」。

Zuckerberg著重強(qiáng)調(diào)了開(kāi)源的價(jià)值，即把人工智能工具交到許多人手中。

他還不忘diss那些他認(rèn)為不夠開(kāi)放的競(jìng)爭(zhēng)對(duì)手，并補(bǔ)充說(shuō)他們似乎認(rèn)為自己在「創(chuàng)造上帝」。

小扎的采訪句句綿里藏針，原話也有許多值得細(xì)品的點(diǎn)。

「I find it a pretty big turnoff when people in the tech industry…talk about building this ‘one true AI,’ It’s almost as if they kind of think they’re creating God or something and…it’s just—that’s not what we’re doing, I don’t think that’s how this plays out.」

當(dāng)科技行業(yè)的人...談?wù)摯蛟臁肝ㄒ徽嬲娜斯ぶ悄堋箷r(shí)，我覺(jué)得這讓人非常反感。這幾乎就像是他們認(rèn)為自己在創(chuàng)造上帝之類的東西，而這根本不是我們正在做的事情，我也不認(rèn)為事情會(huì)這樣發(fā)展。

小扎認(rèn)為，打造唯一真正的AI聽(tīng)上去刺耳又令人反胃，暗含一種壟斷和控制的野心，你是「唯一真正的AI」，那其他AI都是歪門邪道？

其次，創(chuàng)造上帝是用來(lái)諷刺追求「唯一真正的AI」的人，狂妄地想要把握AI領(lǐng)域的絕對(duì)話語(yǔ)權(quán)。

最后，小扎趕緊和這些人劃清界限，不是一路人。

可見(jiàn)，小扎認(rèn)為AI世界應(yīng)該是百花齊放、百家爭(zhēng)鳴的，一家獨(dú)大絕不可取。

CEO的言論也代表了Meta的態(tài)度，Meta一直以來(lái)都宣傳秉持著開(kāi)放的態(tài)度，Zuckerberg更是開(kāi)源的堅(jiān)定支持者。

diss一出也會(huì)面臨各種評(píng)論「diss back」的挑戰(zhàn)，你說(shuō)你是開(kāi)源，真的嗎？

Meta的首席人工智能科學(xué)家Yann LeCun上個(gè)月在LinkedIn上發(fā)布了有關(guān) Meta公司免費(fèi)發(fā)布大型語(yǔ)言模型戰(zhàn)略的帖子。

一些評(píng)論者對(duì)其做法大加贊賞，稱其正在「重塑行業(yè)合作」。

也有人不同意LeCun將這一戰(zhàn)略描述為「開(kāi)源」。

一位評(píng)論者寫(xiě)道，「這絕對(duì)只能叫做開(kāi)放模式而非開(kāi)源，稱某些東西為開(kāi)源而實(shí)則并非開(kāi)源，實(shí)在是對(duì)開(kāi)源運(yùn)動(dòng)的曲解?！?/p>

另一位評(píng)論者說(shuō)，「很遺憾，在這種情況下，開(kāi)源只是數(shù)據(jù)洗錢的營(yíng)銷手段?！?/p>

第三位專家建議Meta將Llama模型稱為「開(kāi)放權(quán)重」，而不是「開(kāi)源」。因?yàn)樵摴竟蚕砟Ｐ蜋?quán)重，但不共享訓(xùn)練數(shù)據(jù)等信息。

這似乎是語(yǔ)義學(xué)上的爭(zhēng)論。但是，一些模型，包括Meta、法國(guó)Mistral和德國(guó)Aleph Alpha的模型，是否真正開(kāi)源，已經(jīng)成為人工智能工作者，尤其是學(xué)術(shù)研究人員之間反復(fù)爭(zhēng)論的問(wèn)題。

對(duì)于這個(gè)問(wèn)題的答案也會(huì)帶來(lái)相關(guān)政策的導(dǎo)向。

歐盟的《人工智能法》規(guī)定，開(kāi)源模型不受某些法條的限制。

如果歐盟認(rèn)為某個(gè)模型是開(kāi)源的，那么它可能會(huì)要求模型制作者必須公開(kāi)關(guān)于如何開(kāi)發(fā)模型的信息。

什么才算「開(kāi)源」？

這種爭(zhēng)論源于開(kāi)源人工智能缺乏一個(gè)明確的定義。

為開(kāi)源軟件制定標(biāo)準(zhǔn)的「開(kāi)源計(jì)劃」目前正在制定開(kāi)源人工智能的定義。

它對(duì)開(kāi)源軟件的定義有幾個(gè)標(biāo)準(zhǔn)，包括軟件必須允許自由再分發(fā)并包含源代碼。

除此之外，該非營(yíng)利組織和其他開(kāi)源軟件的支持者還強(qiáng)調(diào)技術(shù)的透明度和同行評(píng)審制度。

但一些開(kāi)源支持者表示，開(kāi)源軟件的傳統(tǒng)定義并不能很好地詮釋AI大模型開(kāi)源。

軟件開(kāi)源是指源代碼的開(kāi)源，拿到源代碼就能「知其然而知其所以然」，可以在源代碼的基礎(chǔ)上，進(jìn)行修改優(yōu)化或增加新功能。

然而，許多自稱開(kāi)源的大模型開(kāi)發(fā)者并不是真正的開(kāi)源，雖然這些大模型提供了部分代碼和訓(xùn)練好的權(quán)重，但在訓(xùn)練數(shù)據(jù)和具體訓(xùn)練過(guò)程透明度卻有所欠缺，或者很少分享他們的模型是如何訓(xùn)練和微調(diào)的。

例如，Meta的Llama3要求月活躍用戶超過(guò)7億的公司申請(qǐng)?jiān)S可證，而這些公司的申請(qǐng)后享有的權(quán)利可能比Llama3的一般協(xié)議還要少。

OSI尚未批準(zhǔn)Meta的許可證，這表明該組織認(rèn)為開(kāi)發(fā)者遵循了其開(kāi)放源碼軟件標(biāo)準(zhǔn)。

OSI執(zhí)行董事Stefano Maffulli在接受TechCrunch采訪時(shí)說(shuō)，「參與評(píng)審的其他人都完全同意，Llama本身不能被視為開(kāi)源。與我交談過(guò)的在Meta工作的人都知道，這有點(diǎn)牽強(qiáng)。」

在OSI為開(kāi)源人工智能下定義的同時(shí)，一些研究人員和學(xué)者也開(kāi)始自己動(dòng)手。

荷蘭拉德布德大學(xué)語(yǔ)言研究中心的教授們上個(gè)月提出了一個(gè)新的框架，用于評(píng)估一個(gè)模型是否開(kāi)源，該框架基于可用性、文檔和訪問(wèn)許可相關(guān)的14項(xiàng)標(biāo)準(zhǔn)。

該框架并不敲定一個(gè)模型的代碼是開(kāi)放的還是封閉的，而是為14項(xiàng)標(biāo)準(zhǔn)中的每一項(xiàng)劃定一個(gè)等級(jí):開(kāi)放、部分開(kāi)放或封閉。

圖片

因此，在這一框架下，Meta的Llama2被評(píng)為封閉代碼，而不是開(kāi)放代碼。

因?yàn)椤冈撃Ｐ偷脑创a都沒(méi)有公開(kāi)，而且只共享了運(yùn)行該模型的腳本」。

相比之下，研究小組BigScience Workshop的BloomZ模型在這一標(biāo)準(zhǔn)上被評(píng)為開(kāi)放，因?yàn)樗柑峁┝擞糜谟?xùn)練、微調(diào)和運(yùn)行模型的源代碼」。

論文作者、拉德布德大學(xué)語(yǔ)言技術(shù)助理教授Andreas Liesenfeld表示，「我們發(fā)現(xiàn)，模型制造商存在過(guò)度營(yíng)銷的問(wèn)題，他們將自己的產(chǎn)品宣傳得比他們所說(shuō)的更開(kāi)放。」

他補(bǔ)充說(shuō)，「如果不了解模型是如何訓(xùn)練的以及訓(xùn)練的內(nèi)容，就很難解決法律責(zé)任和公平性的問(wèn)題。」

與此類似，斯坦福大學(xué)基金會(huì)模型研究中心的研究人員去年10月推出了基金會(huì)模型透明度指數(shù)，根據(jù)100項(xiàng)指標(biāo)來(lái)衡量模型開(kāi)發(fā)商的透明度。

圖片

論文地址：https://hai.stanford.edu/news/introducing-foundation-model-transparency-indexhttps://crfm.stanford.edu/fmti/fmti.pdf

該指數(shù)給Meta在模型基礎(chǔ)知識(shí)、訪問(wèn)和能力方面的透明度打了高分，但在數(shù)據(jù)和勞動(dòng)力方面的透明度較低。

該指數(shù)的共同創(chuàng)建者、斯坦福大學(xué)計(jì)算機(jī)科學(xué)副教授Percy Liang說(shuō)，「擁有開(kāi)放權(quán)重或開(kāi)放源代碼的模型、訓(xùn)練數(shù)據(jù)和代碼，對(duì)于學(xué)術(shù)機(jī)構(gòu)、研究人員或只想了解科學(xué)的公司來(lái)說(shuō)，將是一個(gè)巨大的好處?！?/p>

大模型作為一個(gè)黑匣子，模型中可能存在各種不確定的東西，只有對(duì)模型所訓(xùn)練的數(shù)據(jù)有實(shí)際的保證，才能真正確保模型足夠「開(kāi)源」。

開(kāi)源內(nèi)容的局限性

一般開(kāi)放的內(nèi)容

在絕大多數(shù)宣稱自己是開(kāi)源模型的案例中，開(kāi)源大模型通常只開(kāi)放以下幾部分內(nèi)容。

代碼：實(shí)現(xiàn)大模型訓(xùn)練和推理所需的代碼，包括模型架構(gòu)、訓(xùn)練算法、模型推理等核心代碼。

這些代碼讓開(kāi)發(fā)者能夠理解模型的基本結(jié)構(gòu)和推理過(guò)程，但無(wú)法完全復(fù)現(xiàn)或改進(jìn)模型，增加功能等等。

權(quán)重：訓(xùn)練完成后得到的模型參數(shù)，這些參數(shù)是模型在推理過(guò)程中所需的核心要素。

權(quán)重?cái)?shù)據(jù)使得開(kāi)發(fā)者能夠在現(xiàn)有模型基礎(chǔ)上進(jìn)行相關(guān)推理，但對(duì)模型的核心訓(xùn)練細(xì)節(jié)，例如如何進(jìn)行模型訓(xùn)練卻一無(wú)所知。

例如，Meta的Llama系列模型只開(kāi)放了模型的權(quán)重和部分代碼，而對(duì)訓(xùn)練數(shù)據(jù)和具體訓(xùn)練過(guò)程的詳細(xì)信息卻守口如瓶。

這種有限的開(kāi)放使得開(kāi)發(fā)者只能使用現(xiàn)有模型進(jìn)行推理，依葫蘆畫(huà)瓢，而無(wú)法深入理解或改進(jìn)模型。

未開(kāi)放的關(guān)鍵內(nèi)容

然而，對(duì)于大模型來(lái)說(shuō)，真正決定其性能的關(guān)鍵在于這些通常保密的訓(xùn)練數(shù)據(jù)和訓(xùn)練過(guò)程。

訓(xùn)練數(shù)據(jù)：原始訓(xùn)練用的數(shù)據(jù)集和數(shù)據(jù)來(lái)源，以及在訓(xùn)練過(guò)程中進(jìn)行數(shù)據(jù)處理和預(yù)處理的細(xì)節(jié)。

這些數(shù)據(jù)通常包含大量的高質(zhì)量、有代表性的文本數(shù)據(jù)，對(duì)模型的性能至關(guān)重要。

然而，大部分開(kāi)源模型并未公開(kāi)這些訓(xùn)練數(shù)據(jù)。

例如，Llama系列模型雖然提供了訓(xùn)練好的權(quán)重，但并未公開(kāi)其訓(xùn)練所用的數(shù)據(jù)集及其詳細(xì)信息。

缺乏這些數(shù)據(jù)，開(kāi)發(fā)者就無(wú)法對(duì)模型進(jìn)行重新訓(xùn)練或在相似任務(wù)上進(jìn)行微調(diào)。

訓(xùn)練過(guò)程：具體的訓(xùn)練步驟、參數(shù)設(shè)置、優(yōu)化方法等。

這些細(xì)節(jié)決定了模型的訓(xùn)練效果和最終性能，但在所謂的「開(kāi)源」大模型中，這些信息往往是閉源的。

例如，盡管一些大模型提供了部分代碼和權(quán)重，但訓(xùn)練過(guò)程中使用的超參數(shù)、數(shù)據(jù)增強(qiáng)方法、訓(xùn)練策略等關(guān)鍵細(xì)節(jié)并未公開(kāi)。

這種不完全開(kāi)放的做法使得開(kāi)發(fā)者在復(fù)現(xiàn)模型時(shí)面臨諸多困難，無(wú)法真正掌握模型的核心技術(shù)，限制了他們對(duì)模型進(jìn)行優(yōu)化和改進(jìn)的能力。

實(shí)際上，它們提供的只是使用現(xiàn)有模型的使用便利，而不是完全的技術(shù)透明和開(kāi)發(fā)自由。  

參考資料：https://www.theinformation.com/articles/what-counts-as-open-source