偷偷摘套内射激情视频,久久精品99国产国产精,中文字幕无线乱码人妻,中文在线中文a,性爽19p

大羊駝、羊駝、小羊駝和ChatGPT比差在哪兒?七個(gè)類ChatGPT大模型測評(píng)

人工智能 新聞
大語言模型「七雄爭霸」,看誰拔得了頭籌。

大型語言模型(LLM)正在風(fēng)靡全球,它們的一個(gè)重要應(yīng)用就是聊天,并在問答、客服和其他許多方面都有應(yīng)用。然而,聊天機(jī)器人是出了名的難以評(píng)估。究竟這些模型在什么情況下最好用,我們目前尚不明晰。因此,LLM 的測評(píng)非常重要。

此前一位名叫 Marco Tulio Ribeiro 的 Medium 博主在一些復(fù)雜任務(wù)上對 Vicuna-13B、MPT-7b-Chat 和 ChatGPT 3.5 進(jìn)行了測試。結(jié)果表明,Vicuna 對于許多任務(wù)來說是 ChatGPT (3.5) 的可行替代品,而 MPT 還沒有準(zhǔn)備好在現(xiàn)實(shí)世界中使用。

近日,CMU 副教授 Graham Neubig 對已有七種聊天機(jī)器人進(jìn)行了詳細(xì)測評(píng),并制作了一個(gè)實(shí)現(xiàn)自動(dòng)比較的開源工具,最后形成了一份測評(píng)報(bào)告。


圖片

在這份報(bào)告中,測評(píng)者展示了一些聊天機(jī)器人的初步評(píng)估、比較結(jié)果,目的是讓人們更容易地了解最近出現(xiàn)的所有開源模型以及基于 API 的模型現(xiàn)狀。

具體來說,測評(píng)者創(chuàng)建了一個(gè)新的開源工具包 ——Zeno Build,用于評(píng)估 LLM。該工具包結(jié)合了:(1)通過 Hugging Face 或在線 API 使用開源 LLM 的統(tǒng)一界面;(2)使用 Zeno 瀏覽和分析結(jié)果的在線界面,以及(3)使用 Critique 對文本進(jìn)行 SOTA 評(píng)估的指標(biāo)。


圖片

具體結(jié)果參加:https://zeno-ml-chatbot-report.hf.space/

以下是評(píng)估結(jié)果匯總:

  • 測評(píng)者評(píng)估了 7 種語言模型:GPT-2、LLaMa、Alpaca、Vicuna、MPT-Chat、Cohere Command 和 ChatGPT (gpt-3.5-turbo);
  • 這些模型是根據(jù)它們在客戶服務(wù)數(shù)據(jù)集上創(chuàng)建類似人類的響應(yīng)的能力進(jìn)行評(píng)估的;
  • ChatGPT 拔得頭籌,但開源模型 Vicuna 也很有競爭力;
  • 測評(píng)者發(fā)現(xiàn),使用具有較長上下文窗口的 chat-tuned 模型非常重要;
  • 在對話的前幾個(gè)回合,prompt 工程對于提升模型對話的表現(xiàn)非常有用,但在有更多上下文的后期回合中,效果就不那么明顯了;
  • 即使是像 ChatGPT 這樣強(qiáng)大的模型也存在很多明顯的問題,比如出現(xiàn)幻覺、未能探求更多信息、給出重復(fù)內(nèi)容等。

以下是評(píng)測的詳細(xì)信息。

設(shè)置

模型概況

測評(píng)者使用的是 DSTC11 客戶服務(wù)數(shù)據(jù)集。DSTC11 是一個(gè)對話系統(tǒng)技術(shù)挑戰(zhàn)賽的數(shù)據(jù)集,旨在支持更具信息性和吸引力的任務(wù)導(dǎo)向?qū)υ?,通過利用評(píng)論帖子中的主觀知識(shí)來實(shí)現(xiàn)。

DSTC11 數(shù)據(jù)集包含多個(gè)子任務(wù),如多輪對話、多領(lǐng)域?qū)υ挼鹊?。例如,其中一個(gè)子任務(wù)是基于電影評(píng)論的多輪對話,其中用戶和系統(tǒng)之間的對話旨在幫助用戶找到適合他們口味的電影。

他們測試了以下 7 個(gè)模型

  • GPT-2:2019 年的一個(gè)經(jīng)典語言模型。測評(píng)者把它作為一個(gè)基線加入,看看最近語言建模方面的進(jìn)展對建立更好的聊天模型有多大影響。
  • LLaMa:一個(gè)最初由 Meta AI 訓(xùn)練的語言模型,使用的是直接的語言建模目標(biāo)。測試中使用的是 7B 版本的模型,以下開源模型采用的也是同等規(guī)模版本;
  • Alpaca:一個(gè)基于 LLaMa 的模型,但進(jìn)行了指令調(diào)優(yōu);
  • Vicuna:一個(gè)基于 LLaMa 的模型,為基于聊天機(jī)器人的應(yīng)用做了進(jìn)一步的明確調(diào)整;
  • MPT-Chat:一個(gè)以類似于 Vicuna 的方式從頭開始訓(xùn)練的模型,它有一個(gè)更商業(yè)化的許可;
  • Cohere Command:Cohere 推出的一個(gè)基于 API 的模型,進(jìn)行了指令遵循方面的微調(diào);
  • ChatGPT(gpt-3.5-turbo):標(biāo)準(zhǔn)的基于 API 的聊天模型,由 OpenAI 研發(fā)。

對于所有的模型,測評(píng)者使用了默認(rèn)的參數(shù)設(shè)置。其中包括溫度(temperature)為 0.3,上下文窗口(context window)為 4 個(gè)先前的對話輪次,以及一個(gè)標(biāo)準(zhǔn)的 prompt:「You are a chatbot tasked with making small-talk with people」。

評(píng)價(jià)指標(biāo)

測評(píng)者根據(jù)這些模型的輸出與人類客服反應(yīng)的相似程度來評(píng)估這些模型。這是用 Critique 工具箱提供的指標(biāo)完成的:

  • chrf:測量字符串的重疊度;
  • BERTScore:衡量兩個(gè)語篇之間嵌入的重疊程度;
  • UniEval Coherence:預(yù)測輸出與前一個(gè)聊天回合的連貫性如何。

他們還測量了長度比,用輸出的長度除以黃金標(biāo)準(zhǔn)的人類回復(fù)的長度,以此衡量聊天機(jī)器人是否啰嗦。

更進(jìn)一步的分析

為了更深入地挖掘結(jié)果,測評(píng)者使用了 Zeno 的分析界面,特別是使用了它的報(bào)告生成器,根據(jù)對話中的位置(開始、早期、中期和后期)和人類回應(yīng)的黃金標(biāo)準(zhǔn)長度(短、中、長)對例子進(jìn)行細(xì)分,使用其探索界面來查看自動(dòng)評(píng)分不佳的例子,并更好地了解每個(gè)模型的失敗之處。

結(jié)果

模型的總體表現(xiàn)如何?

根據(jù)所有這些指標(biāo),gpt-3.5-turbo 是明顯的贏家;Vicuna 是開源的贏家;GPT-2 和 LLaMa 不是很好,表明了直接在聊天中訓(xùn)練的重要性。

圖片

這些排名也與 lmsys chat arena 的排名大致相符,lmsys chat arena 使用人類 A/B 測試來比較模型,但 Zeno Build 的結(jié)果是在沒有任何人類評(píng)分的情況下獲得的。

關(guān)于輸出長度,gpt3.5-turbo 比其他模型的輸出要冗長得多,而且看起來,在聊天方向進(jìn)行調(diào)優(yōu)的模型一般都會(huì)給出冗長的輸出。


圖片

黃金標(biāo)準(zhǔn)響應(yīng)長度的準(zhǔn)確性

接下來,測評(píng)者使用 Zeno report UI 進(jìn)行深入挖掘。首先,他們按照人類回復(fù)的長度將準(zhǔn)確性分別進(jìn)行了測量。他們將回復(fù)分為短(≤35 個(gè)字符)、中等(36-70 個(gè)字符)和長(≥71 個(gè)字符)三個(gè)類別,并對它們的準(zhǔn)確性進(jìn)行了單獨(dú)的評(píng)估。

gpt-3.5-turbo 和 Vicuna 即使在更長的對話輪次中也能保持準(zhǔn)確性,而其他模型的準(zhǔn)確性則有所下降。

圖片

接下來的問題是上下文窗口大小有多重要?測評(píng)者用 Vicuna 進(jìn)行了實(shí)驗(yàn),上下文窗口的范圍是 1-4 個(gè)之前的語篇。當(dāng)他們增加上下文窗口時(shí),模型性能上升,表明更大的上下文窗口很重要。


圖片

測評(píng)結(jié)果顯示,較長的上下文在對話的中間和后期尤其重要,因?yàn)檫@些位置的回復(fù)沒有那么多的模板,更多的是依賴于之前所說的內(nèi)容。


圖片

當(dāng)試圖生成黃金標(biāo)準(zhǔn)較短的輸出時(shí)(可能是因?yàn)橛懈嗟钠缌x),更多的上下文尤為重要。


圖片

prompt 有多重要?

測評(píng)者嘗試了 5 個(gè)不同的 prompt,其中 4 個(gè)是通用的,另外一個(gè)是專門為保險(xiǎn)領(lǐng)域的客服聊天任務(wù)量身定制的:

  • 標(biāo)準(zhǔn)的:「你是一個(gè)聊天機(jī)器人,負(fù)責(zé)與人閑聊?!?/span>
  • 友好的:「你是一個(gè)善良、友好的聊天機(jī)器人,你的任務(wù)是用一種讓人感到愉快的方式與人閑聊?!?/span>
  • 有禮貌的:「你是一個(gè)非常有禮貌的聊天機(jī)器人,說話非常正式,盡量避免在回答中犯任何錯(cuò)誤?!?/span>
  • 憤世嫉俗的:「你是一個(gè)憤世嫉俗的聊天機(jī)器人,對世界有著非常黑暗的看法,通常喜歡指出任何可能存在的問題。」
  • 保險(xiǎn)行業(yè)專用的:「你是 Rivertown 保險(xiǎn)服務(wù)臺(tái)的工作人員,主要幫助解決保險(xiǎn)索賠問題。」

總的來說,利用這些 prompt,測評(píng)者并沒有測出不同 prompt 導(dǎo)致的顯著差異,但「憤世嫉俗」的聊天機(jī)器人稍微差一點(diǎn),而量身定制的「保險(xiǎn)」聊天機(jī)器人總體上稍微好一點(diǎn)。


圖片

在對話的第一個(gè)回合中,不同 prompt 帶來的差異尤其明顯,這表明當(dāng)沒有什么其他上下文可以利用時(shí),prompt 是最重要的。

圖片

發(fā)現(xiàn)的錯(cuò)誤以及可能的緩解措施

最后,測評(píng)者使用 Zeno 的 exploration UI ,試圖通過 gpt-3.5-turbo 找到可能的錯(cuò)誤。具體來說,他們查看了所有 chrf 較低(<0.1)的例子,并手動(dòng)查看了這些例子以發(fā)現(xiàn)趨勢。


圖片

Probe 的失敗

有時(shí)模型無法在實(shí)際需要時(shí) Probe(探測)更多信息,例如模型在處理號(hào)碼這一事件中尚未完善(電話號(hào)碼必須是 11 位數(shù)字,模型給出的數(shù)字長度與答案不匹配)。這時(shí)可以通過修改 prompt 來緩解,以提醒模型某些信息所需的長度。

圖片

內(nèi)容重復(fù)

有時(shí),同樣的內(nèi)容會(huì)重復(fù)多次,比如聊天機(jī)器人在這里說了兩次「謝謝」。

圖片

回答合理,但與人類方式不同

有時(shí)候,這種響應(yīng)是合理的,只是與人類的反應(yīng)不同。


圖片

以上就是評(píng)測結(jié)果。最后,測評(píng)者希望這份報(bào)告對研究者有所幫助!如果你繼續(xù)想嘗試其他模型、數(shù)據(jù)集、prompt 或其他超參數(shù)設(shè)置,可以跳轉(zhuǎn)到 zeno-build 存儲(chǔ)庫上的聊天機(jī)器人示例進(jìn)行嘗試。 

責(zé)任編輯:張燕妮 來源: 機(jī)器之心
相關(guān)推薦

2023-05-15 09:39:37

2023-12-03 08:46:20

模型開源

2023-03-31 13:55:00

模型智能

2023-03-22 15:14:00

數(shù)據(jù)模型

2024-01-08 12:47:02

代碼模型Mistral

2024-01-02 06:30:58

ChatGPTGPT-3.5

2023-07-28 13:50:53

2023-10-29 22:38:59

2023-04-21 10:14:22

開源AI

2023-08-24 15:57:41

模型文檔檢索

2023-10-12 12:13:16

AI訓(xùn)練

2023-12-29 13:25:22

AI模型

2023-08-15 14:05:27

AI模型

2023-05-25 13:59:12

ChatGPT模型

2023-06-28 18:10:27

羊駝家族大模型集體進(jìn)化

2023-07-25 14:08:41

羊駝模型

2023-04-07 13:54:37

模型AI

2023-08-21 11:29:50

智能數(shù)據(jù)

2023-10-17 19:43:03

RACE排序數(shù)據(jù)

2023-05-26 10:50:38

模型AI
點(diǎn)贊
收藏

51CTO技術(shù)棧公眾號(hào)