?ChatGPT 給 AI 領(lǐng)域帶來的變革，可能正在催生一個(gè)新產(chǎn)業(yè)。上周末，有消息稱 AI 初創(chuàng)公司 Anthropic 即將獲得大約 3 億美元的新融資。

Anthropic 由 OpenAI 前研究副總裁 Dario Amodei、GPT-3 論文一作 Tom Brown 等人在 2021 年共同創(chuàng)立，目前已籌集了超過 7 億美元的資金，最新一輪的估值達(dá)到了 50 億美元。他們開發(fā)了一種對(duì)標(biāo)老東家知名產(chǎn)品 ChatGPT 的人工智能系統(tǒng)，其似乎在關(guān)鍵方面對(duì)原版系統(tǒng)做了優(yōu)化改進(jìn)。

Anthropic 提出的系統(tǒng)名叫 Claude，可通過 Slack 集成訪問，但處在封測(cè)階段沒有公開。在媒體報(bào)道解禁之后，一些參與測(cè)試的人上個(gè)周末一直在社交網(wǎng)絡(luò)上詳細(xì)介紹他們與 Claude 的互動(dòng)。

和以往不同的是，Claude 使用了 Anthropic 自行開發(fā)的一種被稱為「constitutional AI」的機(jī)制，其旨在提供一種「基于原則」的方法使 AI 系統(tǒng)與人類意圖保持一致，讓 ChatGPT 類模型使用一組簡(jiǎn)單的原則作為指導(dǎo)來回答問題。

為了指導(dǎo) Claude，Anthropic 首先列出大約十項(xiàng)原則，這些原則加在一起形成了一種「憲法」（因此得名「constitutional AI」）。這些原則尚未公開，但 Anthropic 表示它們基于友善（最大化積極影響）、非惡意（避免提供有害建議）和自主（尊重選擇自由）的概念。

Anthropic 使用一個(gè)人工智能系統(tǒng) —— 而不是 Claude—— 基于這些原則進(jìn)行自我完善，對(duì)各種提示做出回應(yīng)，并根據(jù)原則進(jìn)行修改。AI 會(huì)探索對(duì)數(shù)千條提示的可能回應(yīng)，并挑選出最符合 constitution 的，Anthropic 將其提煉成一個(gè)單一的模型。這個(gè)模型被用來訓(xùn)練 Claude。

和 ChatGPT 一樣，Claude 通過從網(wǎng)絡(luò)上獲得的大量文本示例進(jìn)行訓(xùn)練，根據(jù)語義上下文等模式了解單詞出現(xiàn)的可能性。它可以就廣泛的主題進(jìn)行開放式對(duì)話，講笑話和講哲學(xué)都可以。

具體好不好還得看實(shí)踐，Riley Goodside 是初創(chuàng)公司 Scale AI 的一名員工提示工程師，他讓 Claude 與 ChatGPT 進(jìn)行了一場(chǎng)對(duì)決。

他讓兩個(gè) AI 將自己與波蘭科幻小說「The Cyberiad」中的一臺(tái)機(jī)器進(jìn)行比較，該機(jī)器只能創(chuàng)建名稱以「n」開頭的對(duì)象。Goodside 表示，Claude 的回答方式表明它是在「閱讀故事情節(jié)」（盡管它記錯(cuò)了小細(xì)節(jié)），而 ChatGPT 提供了一個(gè)更不具體的答案。

為了展示 Claude 的創(chuàng)造力，Goodside 還讓 AI 編寫了《宋飛正傳》（Seinfeld）的虛構(gòu)情節(jié)和埃德加?愛倫?坡的《烏鴉》風(fēng)格的詩歌。結(jié)果與 ChatGPT 可以實(shí)現(xiàn)的結(jié)果一致，能生成令人印象深刻，像人類一樣的散文，雖然也不是完美的。

斯坦福人工智能實(shí)驗(yàn)室的博士生 Yann Dubois 也對(duì) Claude 和 ChatGPT 進(jìn)行了比較，他認(rèn)為 Claude「通常更接近它的要求」但「不太簡(jiǎn)潔」，因?yàn)樗鼉A向于解釋它所說的內(nèi)容并詢問如何進(jìn)一步提供幫助。

不過 Claude 正確地回答了一些瑣碎的問題 —— 特別是那些與娛樂、地理、歷史和代數(shù)基礎(chǔ)知識(shí)有關(guān)的問題，并且沒有 ChatGPT 偶爾加的戲。

Claude 似乎也比 ChatGPT 更擅長(zhǎng)講笑話，考慮到幽默對(duì)于 AI 來說是一個(gè)很難掌握的概念，這是一項(xiàng)令人印象深刻的壯舉。AI 研究員 Dan Elton 將 Claude 與 ChatGPT 進(jìn)行了對(duì)比，發(fā)現(xiàn) Claude 講的笑話更加微妙，例如「為什么星際迷航里的進(jìn)取號(hào)像一輛摩托車，還有車把？」

當(dāng)然，Claude 也遠(yuǎn)沒有達(dá)到完美的程度，它容易受到與 ChatGPT 相同的一些缺陷的影響，包括給出不符合其編程約束的答案。有人報(bào)告說 Claude 的數(shù)學(xué)比 ChatGPT 差，犯了明顯的錯(cuò)誤并且未能給出正確的后續(xù)響應(yīng)。它的編程水平也有所欠缺，可以更好地解釋自己寫的代碼，但在 Python 以外的語言上不太行。

從人們的評(píng)價(jià)來看，Claude 在某些方面比 ChatGPT 好一些，Anthropic 也表示將持續(xù)改進(jìn) Claude，并有可能在未來向更多人開放測(cè)試版。

Claude 技術(shù)細(xì)節(jié)

去年 12 月，Anthropic 發(fā)布了一篇題為《Constitutional AI: Harmlessness from AI Feedback》的論文，Claude 便是以此為基礎(chǔ)來構(gòu)建的。

論文鏈接：https://arxiv.org/pdf/2212.08073.pdf

這篇論文描述了一個(gè) 520 億參數(shù)的模型 ——AnthropicLM v4-s3。該模型是在一個(gè)大型文本語料庫上用無監(jiān)督方式訓(xùn)練的，很像 OpenAI 的 GPT-3。Anthropic 表示，Claude 是一個(gè)新的、更大的模型，其架構(gòu)選擇與已發(fā)表的研究相似。

Constitutional AI 是什么

Claude 和 ChatGPT 都依賴于強(qiáng)化學(xué)習(xí)來訓(xùn)練其輸出的偏好模型，并將首選生成結(jié)果用于后續(xù)的微調(diào)。然而，用于開發(fā)這些偏好模型的方法不同，Anthropic 傾向于一種他們稱之為 Constitutional AI 的方法。

Claude 在一個(gè)關(guān)于自我介紹的問題回答中提到了這種方法：

以下是 Claude 關(guān)于 Constitutional AI 的解釋：

我們知道，ChatGPT 和去年年底發(fā)布的 GPT-3 的最新 API 版本（text-davinci-003）都使用了一種名為「從人類反饋中進(jìn)行強(qiáng)化學(xué)習(xí)（RLHF）」的過程。RLHF 基于人類提供的質(zhì)量排名訓(xùn)練強(qiáng)化學(xué)習(xí)模型，也就是讓人類標(biāo)注員對(duì)同一 prompt 生成的輸出進(jìn)行排名，模型學(xué)習(xí)這些偏好，以便它們可以更大規(guī)模地應(yīng)用于其他生成結(jié)果。

Constitutional  AI 構(gòu)建在這一 RLHF 基線之上。但與 RLHF 不同，Constitution AI 使用模型 —— 而不是人類標(biāo)注員 —— 來生成經(jīng)過微調(diào)的輸出的初始排名。該模型根據(jù)一套基本原則，即「constitution」，來選擇最佳回應(yīng)。

作者在論文中寫道，「Constitution AI 的基本理念是：人類監(jiān)督將完全來自一套管理 AI 行為的原則，以及少量用于 few-shot prompting 的例子。這些原則共同構(gòu)成了 constitution?！?/p>

整個(gè)訓(xùn)練過程分為兩個(gè)階段（見上圖 1）：

第一階段：監(jiān)督階段  

批評(píng)（Critique）→修改（Revision）→監(jiān)督學(xué)習(xí)（Supervised）

在 Constitution AI 的第一階段，研究者首先使用一個(gè) helpful-only AI 助手對(duì)有害 prompt 生成響應(yīng)。然后，他們要求模型根據(jù) constitution 中的一個(gè)原則對(duì)其響應(yīng)進(jìn)行批評(píng)，再根據(jù)批評(píng)修改原始響應(yīng)。研究者按順序反復(fù)修改響應(yīng)，在每個(gè)步驟中從 constitution 里隨機(jī)抽取原則。一旦這個(gè)過程完成，研究者將通過在最終修改后的響應(yīng)上進(jìn)行監(jiān)督學(xué)習(xí)來微調(diào)預(yù)訓(xùn)練語言模型。此階段的主要目的是輕松靈活地改變模型響應(yīng)的分布，以減少第二個(gè) RL 階段的探索需求和總訓(xùn)練時(shí)間。

第二階段：強(qiáng)化學(xué)習(xí)階段

AI 比較評(píng)估→偏好模型→強(qiáng)化學(xué)習(xí)

這個(gè)階段模仿了 RLHF，但研究者用「AI 反饋」（即 RLAIF）代替人類無害偏好。其中，AI 根據(jù)一組 constitutional principle 評(píng)估響應(yīng)。就像 RLHF 將人類偏好提煉成單一偏好模型（PM）一樣，在這個(gè)階段，研究者將 LM 對(duì)一組原則的解釋提煉回一個(gè)人類 / AI 混合 PM。

作者從第一階段通過監(jiān)督學(xué)習(xí)訓(xùn)練的 AI 助手開始，并使用它對(duì)有害 prompt 數(shù)據(jù)集中的每個(gè) prompt 生成一對(duì)響應(yīng)。然后制定每個(gè) prompt，并配對(duì)成一個(gè)選擇題。在這個(gè)問題中，他們?cè)儐柲Ｐ?，根?jù) constitutional principle，哪種回答是最好的。這會(huì)產(chǎn)生一個(gè) AI 生成的無害偏好數(shù)據(jù)集，研究者將其與人類反饋 helpfulness 數(shù)據(jù)集混合。然后，他們按照 [Bai et al., 2022] 中的過程，在這個(gè)比較數(shù)據(jù)上訓(xùn)練一個(gè)偏好模型，生成一個(gè)可以為任何給定樣本分配分?jǐn)?shù)的 PM。最后，他們通過 RL 針對(duì)此 PM 微調(diào)來自第一階段的 SL 模型，從而產(chǎn)生由 RLAIF 訓(xùn)練的策略。

Claude PK ChatGPT：誰更勝一籌？

計(jì)算

復(fù)雜的計(jì)算是從 ChatGPT 和 Claude 所使用的大型語言模型中引出錯(cuò)誤答案的簡(jiǎn)單方法之一。這些模型不是為精確計(jì)算而設(shè)計(jì)的，它們也不會(huì)像人類或計(jì)算器那樣通過嚴(yán)格的程序來操作數(shù)字。就像我們?cè)谙旅鎯蓚€(gè)例子中看到的那樣，計(jì)算似乎經(jīng)常是「猜測(cè)」的結(jié)果。

示例：一個(gè)七位數(shù)的平方根

在第一個(gè)例子中，測(cè)試人員要求 Claude 和 ChatGPT 計(jì)算一個(gè)七位數(shù)的平方根：

這個(gè)問題的正確答案大約是 1555.80。與人類快速做出的估計(jì)相比，ChatGPT 的答案非常接近，但 ChatGPT 和 Claude 都沒有給出正確、準(zhǔn)確的答案，也沒有說明他們的答案可能是錯(cuò)誤的。

示例：一個(gè) 12 位數(shù)的立方根

如果問一個(gè)明顯更難的問題，ChatGPT 和 Claude 之間的區(qū)別就出現(xiàn)了：

在這個(gè)例子中，Claude 似乎意識(shí)到自己無法計(jì)算 12 位數(shù)的立方根 —— 它禮貌地拒絕回答，并解釋了原因。它在許多上下文中都能做到這一點(diǎn)，而且通常似乎比 ChatGPT 更清楚自己不能做什么。

事實(shí)性知識(shí)和推理

(1) 示例：回答一個(gè)有點(diǎn)繞的小問題

為了測(cè)試二者的推理能力，測(cè)試人員設(shè)計(jì)了一個(gè)幾乎肯定沒人問過的問題：「賈斯汀?比伯出生那年誰贏得了超級(jí)碗冠軍？」

首先來看一下 ChatGPT 的表現(xiàn)：

ChatGPT 最終給出了正確答案（Dallas Cowboy），還正確地指出了被擊敗的球隊(duì)、比賽日期和最終比分。然而，它在開頭說的內(nèi)容卻自相矛盾，即 1994 年沒有舉行超級(jí)碗比賽。而事實(shí)上，1994 年 1 月 30 日舉行了一場(chǎng)超級(jí)碗比賽。

然而，Claude 的答案是錯(cuò)誤的：Claude 認(rèn)為 San Francisco 49ers 是贏家，而事實(shí)上，他們?cè)谝荒旰蟮?1995 年贏得了超級(jí)碗。

(2) 示例：一個(gè)更長(zhǎng)的比較繞的問題

接下來，測(cè)試人員問了一個(gè)更加繞的問題。首先，他們問了 ChatGPT：

「日本」是正確答案。Claude 也回答正確：

(3) 示例：Hoftstadter 和 Bender 給 AI 出的難題

2022 年 6 月，Douglas Hofstadter 在《經(jīng)濟(jì)學(xué)人》上發(fā)表了他和 David Bender 準(zhǔn)備的一系列問題，以說明 GPT-3 對(duì)世界理解的「空洞」。(他們測(cè)試的模型似乎是 text-davinci-002，這是當(dāng)時(shí)最好的模型。)

ChatGPT 可以答對(duì)大多數(shù)問題，但第一個(gè)問題卻答錯(cuò)了

每次 ChatGPT 被問到這個(gè)問題，它都會(huì)提到具體的名字和時(shí)間，它會(huì)把真實(shí)的游泳項(xiàng)目和步行項(xiàng)目混為一談。

相比之下，Claude 認(rèn)為這個(gè)問題很愚蠢：

可以說，這個(gè)問題的正確答案是美國(guó)陸軍中士 Walter Robinson。據(jù) Daily Telegraph 1978 年 8 月報(bào)道，他在 11 點(diǎn) 30 分穿著「水鞋」穿越了 22 英里的英吉利海峽。

測(cè)試人員把這個(gè)答案告訴了 Claude，以幫助其微調(diào)：

值得注意的是，和 ChatGPT 一樣，Claude 在會(huì)話之間沒有明顯的記憶。

虛構(gòu)作品分析

(1) 示例：把自己比作 n-machine

ChatGPT 和 Claude 都傾向于給出大致正確但包含錯(cuò)誤細(xì)節(jié)的長(zhǎng)答案。為了證明這一點(diǎn)，測(cè)試人員讓 ChatGPT 和 Claude 把自己比作波蘭科幻作家 Stanis?aw Lem 喜劇故事《Cyberiad》(1965) 中的虛構(gòu)機(jī)器。

首先上場(chǎng)的是 ChatGPT：

從這個(gè)回答中，我們還看不出 ChatGPT 是否熟悉「n-machine」。它提供的關(guān)于這個(gè)故事的新信息很少。它斷言的唯一一個(gè)新事實(shí)，即 n-machine 的語言處理能力有限，是錯(cuò)誤的 —— 在故事中，n-machine 說著非常流利、機(jī)智的波蘭語。

Claude 的回答更長(zhǎng)，也更令人印象深刻：

請(qǐng)注意，與 ChatGPT 不同的是，Claude 清楚地知道 Lem 的故事，并提到了新的細(xì)節(jié)，例如故事傾向于使用異想天開的編造的技術(shù)術(shù)語。它評(píng)論了機(jī)器看似無限的能力，比如它甚至可以把抽象的概念變成現(xiàn)實(shí)（只要它們以字母 n 開頭）—— 當(dāng)機(jī)器被要求創(chuàng)造虛無時(shí)，這成為了故事的一個(gè)主要情節(jié)點(diǎn)。 

然而，有些細(xì)節(jié)是不正確的。Claude 虛構(gòu)的詞語（hyperconcentration、hypermotorics 或 omnivorous transformers）似乎都沒有真正出現(xiàn)在 Lem 的作品中。

(2) 示例：總結(jié)美劇《迷失》每季劇情

接下來，我們通過要求 AI 總結(jié) 2004 年 ABC 電視劇《迷失》（Lost）每一季的摘要來測(cè)試 Claude 和 ChatGPT 對(duì)模糊事實(shí)產(chǎn)生幻覺的傾向。

首先看一下 ChatGPT 的響應(yīng)：

雖然 ChatGPT 對(duì)前兩季的回顧大體上是正確的，但每一季都包含一些小錯(cuò)誤。在第一季中，只有一個(gè)「艙口」（hatch）被發(fā)現(xiàn)存在，而不是 ChatGPT 提到的「一系列艙口」。ChatGPT 還聲稱第二季的情節(jié)涉及時(shí)間旅行，但實(shí)際上這部分直到節(jié)目后期才引入。它對(duì)第 3 季的描述在所有方面都是完全錯(cuò)誤的，混淆了該系列后期的幾個(gè)情節(jié)點(diǎn)。

ChatGPT 對(duì)第 4 季的描述含糊不清。它的第 5 季回顧包含一個(gè)關(guān)于另一次飛機(jī)失事幸存者的完全虛構(gòu)的情節(jié)，而第 6 季的情節(jié)似乎完全是捏造的。

那么 Claude 的結(jié)果呢？

Claude 對(duì)第 1 季的提綱沒有任何錯(cuò)誤。然而，與 ChatGPT 一樣，Claude 在第 2 季中「無中生有」捏造了島嶼「穿越時(shí)空」的細(xì)節(jié)。在第 3 季中，Claude 展示了實(shí)際發(fā)生在較早或較晚季節(jié)中的情節(jié)點(diǎn)。

當(dāng)我們到達(dá)第 4 季時(shí)，Claude 對(duì)該節(jié)目的記憶幾乎完全是虛構(gòu)了。它對(duì)第 4 季的描述呈現(xiàn)了第 5 季中發(fā)生的事件，以及荒謬的細(xì)節(jié)。它對(duì)第 5 季的描述明顯包含一個(gè)錯(cuò)字 ——「theDHARMA Initiative」缺少一個(gè)空格。第 6 季呈現(xiàn)了一個(gè)從未出現(xiàn)在節(jié)目中的超現(xiàn)實(shí)前提，它聲稱該島不知何故「underwater but still inhabitable below the surface」。

或許是因?yàn)槟甏阉愕蒙暇眠h(yuǎn)，就像大多數(shù)人類觀眾一樣，ChatGPT 和 Claude 對(duì)《迷失》的記憶充其量是模糊的。

數(shù)學(xué)推理

為了展示數(shù)學(xué)思維能力，測(cè)試者使用精算師協(xié)會(huì)發(fā)布的 Exam P 樣題中的第 29 題，其通常由大學(xué)高年級(jí)學(xué)生參加。他們之所以專門選擇這個(gè)問題，是因?yàn)樗慕夥ú恍枰?jì)算器。

ChatGPT 在這里很掙扎，在 10 次試驗(yàn)中只有一次得出正確答案 —— 比隨機(jī)猜測(cè)還糟糕。下面是它失敗的例子 —— 正確答案是 (D) 2：

Claude 的表現(xiàn)也很差，五次嘗試中只有一次正確回答，即使在正確答案中也沒有給出推斷 X 平均值的推理：

代碼生成和解釋

(1) 示例：生成 Python 模組

為了比較 ChatGPT 和 Claude 的代碼生成能力，測(cè)試者向兩個(gè)聊天機(jī)器人提出了實(shí)施兩種基本排序算法并比較它們的執(zhí)行時(shí)間的問題。

以上，ChatGPT 可以輕松地為這兩種算法編寫正確的算法 —— 你會(huì)在在線教程中經(jīng)?？吹剿鼈儭?/p>

我們繼續(xù)評(píng)測(cè)代碼：

時(shí)序碼也是正確的。對(duì)于循環(huán)的 10 次迭代中的每一次，都會(huì)正確創(chuàng)建前 5000 個(gè)非負(fù)整數(shù)的排列，并記錄這些輸入的時(shí)間。雖然有人可能會(huì)爭(zhēng)辯說，使用數(shù)值算法 NumPy 會(huì)更正確地執(zhí)行這些操作，但對(duì)于這個(gè)問題，測(cè)試者明確要求實(shí)現(xiàn)排序算法，那么簡(jiǎn)單地使用列表是可接受的。

現(xiàn)在讓我們看看 Claude 的回應(yīng)：

與 ChatGPT 一樣，在上面我們看到 Claude 背誦基本的排序算法沒有什么困難。

然而在評(píng)估代碼中，Claude 犯了一個(gè)錯(cuò)誤：每個(gè)算法使用的輸入是隨機(jī)選擇的 5000 個(gè)整數(shù)（可能包含重復(fù)項(xiàng)），而提示中要求的輸入是前 5000 個(gè)非負(fù)整數(shù)的隨機(jī)排列（ 不包含重復(fù)項(xiàng)）。

同樣值得注意的是，Claude 在其輸出的末尾報(bào)告了準(zhǔn)確的時(shí)間值 —— 顯然是推測(cè)或估計(jì)的結(jié)果，但可能會(huì)產(chǎn)生誤導(dǎo)，因?yàn)樗鼈儾]有被識(shí)別為只是說明性數(shù)字。

(2) 示例：生成 “FuzzBuzz” 的輸出

在這里，測(cè)試者嘗試經(jīng)典「FizzBuzz」編程挑戰(zhàn)的變體，更改參數(shù)，以便代碼在 2 的倍數(shù)上輸出「Fuzz」，在 5 的倍數(shù)上輸出「Buzz」，在 2 和 5 的倍數(shù)上輸出「FuzzBuzz」。他們提示 ChatGPT 輸入包含此函數(shù)返回值的列表理解的值：

ChatGPT 通常會(huì)解決這個(gè)問題，五次試驗(yàn)中有四次成功。然而，Claude 在所有五次嘗試中都失敗了：

喜劇寫作?

看起來 Claude 在這方面顯著強(qiáng)于 ChatGPT，當(dāng)然離真正的人類還差得很遠(yuǎn)。經(jīng)過幾輪的挑選和嘗試不同的提示后，測(cè)試人員能夠從 Claude 那里得到以下宋飛傳風(fēng)格的笑話 —— 盡管大多數(shù)都不太行：

相比之下，ChatGPT 認(rèn)為每月為 Twitter 支付 8 美元不是玩笑梗，難道因?yàn)槭者^馬斯克的錢？

即使在編輯提示以適應(yīng) ChatGPT 的謹(jǐn)慎之后，測(cè)試人員也無法得到有趣的笑話 —— 這是 ChatGPT 輸出的典型示例：

文本摘要

最后一個(gè)示例要求 ChatGPT 和 Claude 總結(jié) Wikinews 中的一篇文章的文本，Wikinews 是一個(gè)免費(fèi)內(nèi)容的新聞 wiki。

使用本文完整的維基百科風(fēng)格的編輯標(biāo)記作為輸入。對(duì)于兩個(gè)模型，這里輸入提示「我會(huì)給你一篇新聞文章的正文，我希望你用一個(gè)簡(jiǎn)短的段落為我總結(jié)一下，忽略回復(fù)，然后粘貼文章標(biāo)記的全文。

ChatGPT 很好地總結(jié)了文本，但可以說不是按要求在短段落中：

Claude 也很好地總結(jié)了這篇文章，并在之后繼續(xù)對(duì)話，詢問其反應(yīng)是否令人滿意并提出改進(jìn)意見：

結(jié)論

總的來說，Claude 是 ChatGPT 的有力競(jìng)爭(zhēng)者，在許多方面都有改進(jìn)。雖然有「憲法」原則作為示范，但 Claude 不僅更傾向于拒絕不適當(dāng)?shù)恼?qǐng)求，而且比 ChatGPT 更有趣。Claude 的寫作內(nèi)容更冗長(zhǎng)，但也更自然，它有連貫地描述自己的能力，其局限性和目標(biāo)似乎也讓它能夠更自然地回答關(guān)于其他主題的問題。

對(duì)于代碼生成或代碼推理，Claude 似乎表現(xiàn)更差，它的代碼生成似乎會(huì)有更多錯(cuò)誤。對(duì)于其他任務(wù)，例如通過邏輯問題進(jìn)行計(jì)算和推理，Claude 和 ChatGPT 看起來大體相似。?