本文經(jīng)AI新媒體量子位（公眾號(hào)ID:QbitAI）授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請(qǐng)聯(lián)系出處。

號(hào)稱(chēng)“史上最強(qiáng)的開(kāi)源大語(yǔ)言模型”出現(xiàn)了。

它叫Falcon（獵鷹），參數(shù)400億，在1萬(wàn)億高質(zhì)量token上進(jìn)行了訓(xùn)練。

最終性能超越650億的LLaMA，以及MPT、Redpajama等現(xiàn)有所有開(kāi)源模型。

一舉登頂HuggingFace OpenLLM全球榜單：

除了以上成績(jī)，F(xiàn)alcon還可以只用到GPT-3 75%的訓(xùn)練預(yù)算，性能就顯著超越GPT-3，且推理階段的計(jì)算也只需GPT-3的1/5。

據(jù)悉，這只半路殺出來(lái)的“獵鷹”來(lái)自阿聯(lián)酋阿布扎比技術(shù)創(chuàng)新研究所(TII)。

有意思的是，作為一個(gè)開(kāi)源模型，TII在Falcon上推出了一個(gè)相當(dāng)特別的授權(quán)許可證要求：

可以商業(yè)使用，但如果用它產(chǎn)生的收益超過(guò)了100萬(wàn)美元，就要被收取10%的授權(quán)費(fèi)。

一時(shí)之間，爭(zhēng)議滿滿。

史上最強(qiáng)開(kāi)源LLM

據(jù)介紹，F(xiàn)alcon屬于自回歸解碼器模型。

它使用自定義工具構(gòu)建，包含一個(gè)獨(dú)特的數(shù)據(jù)管道，該管道從公開(kāi)網(wǎng)絡(luò)中提取訓(xùn)練數(shù)據(jù)。

——Falcon宣稱(chēng)它“特別注重?cái)?shù)據(jù)質(zhì)量”，從公網(wǎng)上抓取內(nèi)容構(gòu)建好Falcon的初始預(yù)訓(xùn)練數(shù)據(jù)集后，再使用CommonCrawl轉(zhuǎn)儲(chǔ)，進(jìn)行大量過(guò)濾（包括刪除機(jī)器生成的文本和成人內(nèi)容）并消除重復(fù)數(shù)據(jù)，最終得到一個(gè)由近5萬(wàn)億個(gè)token組成的龐大預(yù)訓(xùn)練數(shù)據(jù)集。

為了擴(kuò)大Falcon的能力，該數(shù)據(jù)集隨后又加進(jìn)了很多精選語(yǔ)料，包括研究論文和社交媒體對(duì)話等內(nèi)容。

除了數(shù)據(jù)把關(guān)，作者還對(duì)Falcon的架構(gòu)進(jìn)行了優(yōu)化以提升性能，但細(xì)節(jié)沒(méi)有透露，相關(guān)論文將很快發(fā)布。

據(jù)悉，F(xiàn)alcon一共耗費(fèi)兩個(gè)月，在AWS的384個(gè)GPU上訓(xùn)練而成。

最終，F(xiàn)alcon一共包含4個(gè)版本：

• Falcon-40B：在1萬(wàn)億token上進(jìn)行訓(xùn)練，并使用精選語(yǔ)料庫(kù)進(jìn)行了增強(qiáng)；主要接受英語(yǔ)、德語(yǔ)、西班牙語(yǔ)、法語(yǔ)的訓(xùn)練，不會(huì)中文。
• Falcon-40B-Instruct：在Baize上進(jìn)行了微調(diào)，使用FlashAttention和多查詢對(duì)推理架構(gòu)進(jìn)行了優(yōu)化，是一個(gè)即用型聊天模型。
• Falcon-7B：參數(shù)70億，在1.5萬(wàn)億token上進(jìn)行了訓(xùn)練，作為一個(gè)原始的預(yù)訓(xùn)練模型，還需要用戶針對(duì)大多數(shù)用例進(jìn)一步微調(diào)。
• Falcon-RW-7B：參數(shù)70億，在3500億token上進(jìn)行訓(xùn)練，該模型旨在用作“研究神器”，單獨(dú)研究各種在網(wǎng)絡(luò)數(shù)據(jù)進(jìn)行訓(xùn)練的影響。

開(kāi)源許可證引爭(zhēng)議

Falcon作為開(kāi)源模型，已公開(kāi)源代碼和模型權(quán)重，可供研究和商業(yè)使用。

這對(duì)業(yè)界來(lái)說(shuō)是一個(gè)好消息，畢竟像Meta的羊駝家族都只能用于研究目的，且還得填表格申請(qǐng)才行，很是麻煩。

但Falcon還是引起了爭(zhēng)議。

這主要是因?yàn)樗恰俺^(guò)100萬(wàn)美元的任何商業(yè)應(yīng)用都要收10%的授權(quán)費(fèi)”的許可證要求。

據(jù)悉，該許可證部分基于Apache License 2.0協(xié)議，該協(xié)議對(duì)商業(yè)應(yīng)用友好，使用者修改代碼只需滿足相關(guān)需求即可將新作品作為開(kāi)源或商業(yè)產(chǎn)品發(fā)布或銷(xiāo)售。

有不少網(wǎng)友認(rèn)為，既然Falcon宣稱(chēng)開(kāi)源，還要收費(fèi)，就違背了Apache License Version 2.0的宗旨，不屬于真正的開(kāi)源。

并有人稱(chēng)這是一種“有損Apache軟件基金會(huì)來(lái)之不易的名譽(yù)”的做法。

有網(wǎng)友已經(jīng)跑到TII的官方賬號(hào)下“討要說(shuō)法”：

你自己能解釋一下這是如何符合“開(kāi)源”的定義嗎？

目前，官方并沒(méi)有回復(fù)。

你認(rèn)為這種做法究竟算不算開(kāi)源呢？