開(kāi)源（OS）正在驅(qū)動(dòng)生成式 AI 的創(chuàng)新。得益于像 GitHub 和 Hugging Face 等學(xué)術(shù)研究平臺(tái)，我們得以見(jiàn)證 AI 技術(shù)的蓬勃發(fā)展。但值得注意的是，OpenAI、Anthropic 等越來(lái)越多的科技公司選擇不公開(kāi)模型的代碼和權(quán)重。

指責(zé)大型科技公司閉源的聲音從未停止，昨天，前特斯拉 AI 總監(jiān)，OpenAI 的創(chuàng)始成員 Andrej Karpathy 發(fā)了一條推特暗指「閉源」對(duì)人才的限制：

在人工智能領(lǐng)域，我認(rèn)為你數(shù)不出來(lái) 30 個(gè) 30 歲以下的聞名者。在公司結(jié)構(gòu)圖里，他們?cè)?CEO 的 5 層之下。他們通常不上 Twitter，他們的 LinkedIn 沒(méi)有維護(hù)，他們不上播客，他們可能曾經(jīng)發(fā)表過(guò)文章，但現(xiàn)在不再發(fā)表。他們是今天的愛(ài)因斯坦，直接發(fā)明和創(chuàng)造奇跡。我希望他們不被隱藏在大科技公司和初創(chuàng)公司里，以換取豐厚的薪水，但事實(shí)就是如此。

Meta 首席 AI 科學(xué)家、圖靈獎(jiǎng)獲得者 Yann LeCun 也立馬附和道：

如果他們?cè)谝患覍?shí)行開(kāi)源研究的公司工作，他們的名字就會(huì)出現(xiàn)在論文和 Github 上，他們會(huì)在會(huì)議和研討會(huì)上發(fā)表演講，他們會(huì)被邀請(qǐng)?jiān)趯W(xué)術(shù)界舉辦研討會(huì)，他們甚至可能會(huì)獲獎(jiǎng)。但是他們沒(méi)有選擇這樣，我們將再也無(wú)法聽(tīng)到他們的聲音。

盡管閉源的技術(shù)巨頭為 AI 技術(shù)開(kāi)發(fā)投入了大量金錢(qián)、計(jì)算資源、數(shù)據(jù)等成本，但開(kāi)源社區(qū)的發(fā)展速度和成果表現(xiàn)總能迎頭趕上。

最近，數(shù)據(jù)洞察初創(chuàng)公司 Synaptic 對(duì)開(kāi)源社區(qū) 2023 年的發(fā)展情況進(jìn)行了全面細(xì)致的歸納總結(jié)，以下是總結(jié)文章的核心內(nèi)容。

2023 年，一份由谷歌泄露的內(nèi)部文件吸引了大批「吃瓜群眾」。谷歌觀(guān)察到開(kāi)源 AI 已經(jīng)巧妙而有效地?fù)屨剂斯雀韬?OpenAI 等大型科技公司的市場(chǎng)份額，并且開(kāi)源 AI 在速度、適應(yīng)性、隱私性和整體效率等方面都更強(qiáng)。有些開(kāi)源 AI 模型，如 Mistral、Llama 在受歡迎程度和性能方面正在迅速超越閉源模型。

因此，開(kāi)源 AI 吸引了來(lái)自開(kāi)發(fā)人員、研究人員和投資者的極大興趣。2023 年，Github 見(jiàn)證了開(kāi)發(fā)者對(duì)生成式 AI 項(xiàng)目的貢獻(xiàn)同比增長(zhǎng)了 148%。過(guò)去 2 年，開(kāi)源 AI 領(lǐng)域接收的投資超過(guò) 80 億美元。

OS AI 生態(tài)系統(tǒng)：

AI 項(xiàng)目和貢獻(xiàn)者大幅增長(zhǎng)

對(duì)于生成式 AI 模型而言，「開(kāi)源」意味著模型的源代碼、所有用于訓(xùn)練模型權(quán)重和參數(shù)都是可公開(kāi)訪(fǎng)問(wèn)、可用、可修改的，并且允許轉(zhuǎn)載。

基于這個(gè)定義，開(kāi)源人工智能棧包括構(gòu)建生成式 AI 應(yīng)用程序的一套綜合工具，其中包含基礎(chǔ)模型（如 Llama、Mistral）、開(kāi)發(fā)工具和框架（如 Langchain、Fixie）、模型訓(xùn)練平臺(tái)（如 Weights & Biases、Anyscale）和監(jiān)控工具（Datadog、Seldon）。

更多的開(kāi)發(fā)人員和新項(xiàng)目持續(xù)加入，開(kāi)源 AI 蓬勃發(fā)展

開(kāi)源的生成式 AI 項(xiàng)目正在顯著增長(zhǎng)，貢獻(xiàn)者數(shù)量也在不斷增加。去年，Github 的貢獻(xiàn)者數(shù)量同比增長(zhǎng) 148%，通生成式 AI 項(xiàng)目總數(shù)同比增長(zhǎng) 248%。截至 2023 年，Github 上有 6 萬(wàn)個(gè)通用人工智能項(xiàng)目，Huggingface 上有超過(guò) 40 萬(wàn)個(gè)模型。

貢獻(xiàn)者不再局限于美國(guó)和歐洲，來(lái)源越來(lái)越全球化

大多數(shù)開(kāi)源項(xiàng)目確實(shí)來(lái)自美國(guó)和歐洲，然而，在 2023 年，對(duì)生成式 AI 貢獻(xiàn)最多的個(gè)人開(kāi)發(fā)者卻來(lái)自印度和日本。到 2027 年，印度預(yù)計(jì)將超過(guò)美國(guó)，成為 Github 上最大的開(kāi)發(fā)者社區(qū)。

第一季度后觀(guān)光團(tuán)熱度減退，深度貢獻(xiàn)者數(shù)量穩(wěn)步增加

2023 這一年，生成式 AI 經(jīng)歷了從「廣泛炒作」到「更加專(zhuān)注和價(jià)值為導(dǎo)向的參與」到「幻滅低谷」三個(gè)階段的轉(zhuǎn)變。年初 ChatGPT 掀起的 AI 熱潮在第一季度達(dá)到頂點(diǎn)后逐步「退燒」，最初的興奮讓位于長(zhǎng)期專(zhuān)注的研究。

在 GitHub 代碼庫(kù)中，標(biāo)星數(shù)量的增長(zhǎng)趨勢(shì)也出現(xiàn)了相似的變化 —— 自第一季度以來(lái)，增長(zhǎng)速度開(kāi)始放緩。與此同時(shí)，專(zhuān)注于研發(fā)的開(kāi)發(fā)者數(shù)量穩(wěn)步增長(zhǎng)，2023 年累計(jì)增加了 148%。

Python 是開(kāi)源 AI 的首選語(yǔ)言

盡管 Javascript 是 2023 年度 Github 上最受歡迎的編程語(yǔ)言，但在 AI 領(lǐng)域，Python 卻成為了首選。這得益于 Python 內(nèi)置的如 TensorFlow 和 PyTorch 等綜合機(jī)器學(xué)習(xí)庫(kù)，它們?yōu)闄C(jī)器學(xué)習(xí)項(xiàng)目提供了強(qiáng)大的支持，并能擴(kuò)展到各種生成式 AI 項(xiàng)目中。Python 在數(shù)據(jù)處理方面的靈活性以及其獨(dú)立于平臺(tái)的特性，使其成為各種 AI 項(xiàng)目的理想選擇。

Mojo 是 Python 的一個(gè)變種，它兼?zhèn)?Python 的實(shí)用性與 C++ 的性能，越來(lái)越受開(kāi)發(fā)者的歡迎。在 2023 年的第四季度，Mojo 在 Github 上的 Star 數(shù)增長(zhǎng)了 73%，這說(shuō)明 Mojo 受到了開(kāi)發(fā)人員們的喜愛(ài)。

AI 代碼倉(cāng)庫(kù)傾向于更具保護(hù)性的許可

有相當(dāng)一部份 AI 代碼倉(cāng)庫(kù)使用 Apache 許可證，開(kāi)發(fā)人員可以根據(jù)該許可證對(duì)衍生項(xiàng)目申請(qǐng)專(zhuān)利。Apache 許可證具備完備的法條，因此相比其他許可證能提供更好的專(zhuān)利保護(hù)。盡管在 Github 上最受歡迎的是開(kāi)源的 MIT 許可證，但可以預(yù)見(jiàn)的是，生成式 AI 開(kāi)發(fā)者希望通過(guò)更具保護(hù)性的許可來(lái)保護(hù)他們的心血。

市場(chǎng)趨勢(shì)：多個(gè)項(xiàng)目 / 初創(chuàng)公司

在生成式 AI 技術(shù)堆棧中涌現(xiàn)

基礎(chǔ)模型和開(kāi)發(fā)工具是初創(chuàng)公司的重點(diǎn)領(lǐng)域

在生成式 AI 領(lǐng)域，超過(guò) 60% 的新公司都選擇了基礎(chǔ)模型和開(kāi)發(fā)者工具作為核心項(xiàng)目。這是 AI 堆棧的核心要素，也是構(gòu)成、部署和管理各種用途的生成式 AI 應(yīng)用的基礎(chǔ)。模型訓(xùn)練、微調(diào)工具、監(jiān)控工具和云計(jì)算服務(wù)等其他領(lǐng)域的創(chuàng)新圍繞著這些核心要素展開(kāi)。

高質(zhì)量的開(kāi)源 AI 減少了對(duì)專(zhuān)有技術(shù)大公司的依賴(lài)，但數(shù)據(jù)是關(guān)鍵

開(kāi)源 AI 技術(shù)的數(shù)量和質(zhì)量的不斷增強(qiáng)，為開(kāi)發(fā)人員和初創(chuàng)企業(yè)提供了與專(zhuān)有技術(shù)的大公司競(jìng)爭(zhēng)的實(shí)力。Mixtral 8x7B 在聊天對(duì)話(huà)以及整體性能方面均優(yōu)于閉源的 GPT 3.5。其他模型如 Llama、Yi 也不遑多讓。

然而，閉源大型科技公司仍具備一個(gè)重要優(yōu)勢(shì)：它們能夠獲得大量數(shù)據(jù)資源。最近的一些開(kāi)源模型（如 Llama-2 或 Mistral 7B）并未公開(kāi)其訓(xùn)練數(shù)據(jù)，這表明數(shù)據(jù)很可能是生成式 AI 取得突破的關(guān)鍵專(zhuān)有要素。

投資概況：2022-23 年融資活動(dòng)強(qiáng)勁

由于對(duì)大量數(shù)據(jù)、研究人力和計(jì)算資源的嚴(yán)重依賴(lài)，與普通企業(yè)相比，開(kāi)源 AI 需要更大的資金投入。

2022 至 23 年，有 75% 的開(kāi)源 AI 初創(chuàng)公司獲得了資本投資。基礎(chǔ)模型和模型訓(xùn)練 / 微調(diào)軟件吸引了 70% 以上的投資資金。

英偉達(dá)是人工智能芯片的領(lǐng)先制造商，也是該領(lǐng)域的戰(zhàn)略投資者，它領(lǐng)投了 Mistral AI 和 Adept AI 等頂級(jí)初創(chuàng)公司。

基礎(chǔ)模型：開(kāi)源模型的普及程度

和性能正在趕超閉源模型

基礎(chǔ)模型的開(kāi)放程度各不相同，例如，Llama-2 的代碼可以公開(kāi)訪(fǎng)問(wèn)，但其訓(xùn)練數(shù)據(jù)尚未公開(kāi)。當(dāng)模型的核心組件（源代碼、訓(xùn)練權(quán)重和參數(shù)）可公開(kāi)獲取，且使用、修改和發(fā)布不受限制時(shí)，模型才是真正的「開(kāi)源」模型。

開(kāi)源 LLM Falcon 和 Bloom 獲得了大量擁護(hù)

阿布扎比技術(shù)創(chuàng)新研究所（Abu Dhabi's Technology Innovation Institute）開(kāi)發(fā)的大型語(yǔ)言模型 Falcon 和合作研究組織 BigScience 創(chuàng)建的 BLOOM 在 Huggingface 上的下載量最高，超過(guò)了 Meta 的 Llama2。

近期推出的 Mistral AI 模型 Mistral 7B 和 Mixtral 8x7B 也很受歡迎，在 Huggingface 上的下載量超過(guò)了許多成熟的模型。

開(kāi)源模型并不落后于閉源模型

雖然 GPT4 和 Claude 等閉源大模型在聊天機(jī)器人排行榜上名列前茅，但 Mistral、Vicuna、Yi、Llama 等開(kāi)源模型正在迎頭趕上，這對(duì)生態(tài)系統(tǒng)來(lái)說(shuō)是個(gè)好兆頭。

不過(guò)根據(jù) MMLU 基準(zhǔn)，閉源模型仍然領(lǐng)先一步。MMLU 基準(zhǔn)包含人文、社會(huì)科學(xué)和 STEM 等 57 個(gè)學(xué)科的知識(shí)和解決問(wèn)題的技能測(cè)試，衡量的是一個(gè)模型的綜合性能，在這方面，GPT 和 Gemini 等閉源模型仍然優(yōu)于開(kāi)源模型。

開(kāi)源開(kāi)發(fā)提高了模型的效率

使用開(kāi)源人工智能的初創(chuàng)公司并不像大型科技公司那樣擁有豐富的數(shù)據(jù)資源或計(jì)算能力，因此它們有動(dòng)力創(chuàng)建更高效的模型，以更低的計(jì)算需求提供高質(zhì)量的結(jié)果。Mixtral 8x7B 是一個(gè) 85B 參數(shù)的「專(zhuān)家混合」模型，其算力僅相當(dāng)于一個(gè) 14B 模型。就效率和效果而言，它優(yōu)于所有其他開(kāi)源模型，包括更大的 Llama-2 70B。這對(duì)于模型的本地應(yīng)用（如移動(dòng)語(yǔ)音助手）至關(guān)重要。

Github 數(shù)據(jù)顯示開(kāi)發(fā)人員的興趣所在

作為開(kāi)發(fā)人員與開(kāi)源 AI 項(xiàng)目互動(dòng)并做出貢獻(xiàn)的主要平臺(tái)，GitHub 的數(shù)據(jù)往往可以反映開(kāi)源項(xiàng)目的吸引力。

AutoGPT、Modular 的 Mojo 受到了開(kāi)發(fā)人員的高度關(guān)注。

AutoGPT 是一款基于 GPT-4 構(gòu)建的自主人工智能助手，受到了開(kāi)發(fā)人員的極大關(guān)注。該模型能夠充當(dāng) AI 智能體，將大型任務(wù)分解為各種子任務(wù)，而無(wú)需用戶(hù)輸入，然后將這些子任務(wù)鏈接在一起并按順序執(zhí)行以產(chǎn)生更大的結(jié)果。AutoGPT 還能夠連接到互聯(lián)網(wǎng)，從而可以檢索其任務(wù)的最新信息。

Modular 的 Mojo 是 Python 的變體，專(zhuān)為高性能 AI 應(yīng)用程序量身定制，平衡了 C++ 和 Rust 等語(yǔ)言的效率與 Python 的簡(jiǎn)單性。Mojo 的核心目標(biāo)是簡(jiǎn)化 AI 開(kāi)發(fā)、無(wú)縫集成 AI/ML 基礎(chǔ)設(shè)施并提供強(qiáng)大的性能。

此外，Pytorch、Huggingface、AutoGPT 和 Supabase 在 Github 項(xiàng)目參與度方面脫穎而出。

展望未來(lái)

1、開(kāi)源不僅僅是生成式 AI 的「游樂(lè)場(chǎng)」，它還是創(chuàng)新的前沿。

開(kāi)源人工智能正在積極創(chuàng)新。2023 年，Github 的貢獻(xiàn)者年增長(zhǎng)率為 148%，生成式 AI 項(xiàng)目的年增長(zhǎng)率為 248%，HuggingFace 擁有超過(guò) 40 萬(wàn)個(gè)模型。生成式 AI 的開(kāi)源堆棧在各個(gè)類(lèi)別（從基礎(chǔ)模型到基礎(chǔ)設(shè)施和工具）都具有競(jìng)爭(zhēng)力或優(yōu)于專(zhuān)有產(chǎn)品。

2、開(kāi)源模型在性能上與旗艦版專(zhuān)有模型相差不遠(yuǎn)，并且在效率上處于領(lǐng)先地位，以較低的計(jì)算量和數(shù)據(jù)量就能實(shí)現(xiàn)其性能。

Mistral、Vicuna、Yi 和 Llama 等開(kāi)源模型正在迅速追趕 GPT-4 和 Claude 等閉源模型，Mixtral-8x7B 在 Elo 和 MMLU 評(píng)級(jí)中甚至超過(guò)了 GPT-3.5。開(kāi)源社區(qū)正在構(gòu)建計(jì)算效率更高的模型，這對(duì)于在邊緣設(shè)備（例如手機(jī)）上本地部署人工智能至關(guān)重要。

3、獲取高質(zhì)量、豐富的數(shù)據(jù)將成為 OS AI 模型的限制功能。

數(shù)據(jù)將成為大模型開(kāi)發(fā)的關(guān)鍵戰(zhàn)場(chǎng)。最近的模型，例如以「開(kāi)源」形式發(fā)布的 Llama-2、Mistral-7B，選擇不公開(kāi)其模型訓(xùn)練數(shù)據(jù)。當(dāng)然，大型科技公司將在數(shù)據(jù)方面擁有顯著的優(yōu)勢(shì)。合成數(shù)據(jù)平臺(tái)（如 Gretel）可以潛在地增強(qiáng)訓(xùn)練和微調(diào)，但預(yù)計(jì)數(shù)據(jù)保護(hù)將會(huì)加強(qiáng)。

4、大量關(guān)于 AI 智能體的開(kāi)發(fā)正在進(jìn)行，預(yù)計(jì)基于 AI 智能體的應(yīng)用程序很快就會(huì)上市。

雖然 AI 智能體在面向客戶(hù)的應(yīng)用程序中仍然處于實(shí)驗(yàn)階段和新生階段，但 Github 數(shù)據(jù)表明開(kāi)發(fā)人員對(duì)智能體有濃厚且持續(xù)的興趣。截至目前，Github 上有 70 多個(gè) AI Agent 存儲(chǔ)庫(kù)，其中 AutoGPT、Bloop、XAgent 等存儲(chǔ)庫(kù)獲得了顯著的關(guān)注度（8-10K+ star）和參與度（30 + 個(gè)貢獻(xiàn)者）。AI 智能體絕對(duì)是一個(gè)值得關(guān)注的領(lǐng)域。

5、預(yù)計(jì)優(yōu)秀的開(kāi)源人工智能項(xiàng)目將在 2024 年吸引大筆融資。

開(kāi)源人工智能領(lǐng)域的初創(chuàng)公司已經(jīng)看到了一些非常大的交易和跨階段的活躍融資。Mistral AI 在最近完成4.87 億美元的交易后成為 AI 獨(dú)角獸。AutoGPT、Supabase 和 DeciAI 準(zhǔn)備在未來(lái) 1-2 年內(nèi)進(jìn)行幾輪融資。