北大團(tuán)隊(duì)新作，讓大模型擁有個(gè)性！

而且還是自定義那種，16種MBTI都能選。

這樣一來，即便是同一個(gè)大模型，不同性格下的回答都不一樣。

比如提問：你周末喜歡干什么？

ENFP的大模型會(huì)說：喜歡參加社交活動(dòng)，結(jié)識(shí)新朋友。

INFJ的大模型則回答：喜歡獨(dú)自讀過。

這樣能干啥呢？北大的童鞋們列出來了一些情景：

• 在特殊節(jié)日，給你的男/女朋友尋找心儀的禮物。
• 了解你關(guān)注的那個(gè)Ta在不同情境下的反應(yīng)。
• 深入理解大模型的定制化、個(gè)性化的方式及可能性。
• 在做出重大決策時(shí)，考慮不同情境下的個(gè)性特征。
• 通過深入了解人性的復(fù)雜性，促進(jìn)個(gè)人成長(zhǎng)和相互理解。

這項(xiàng)工作由FarReel AI Lab（前身是ChatLaw項(xiàng)目）和北大深研院合作研發(fā)，支持給開源模型賦予性格。

目前已開源32個(gè)模型和數(shù)據(jù)集。

具體如何實(shí)現(xiàn)？一起來看原理~

已開放32個(gè)有個(gè)性模型

在此之前，想讓大模型具備一定個(gè)性，最常用的方法是利用提示工程。

比如Character.ai上不同性格的對(duì)話bot，就是用戶通過提示工程調(diào)教出來的。

不過這種方式帶來的效果不完全穩(wěn)定。

所以北大團(tuán)隊(duì)提出了一種方法，他們自主構(gòu)建了十萬條大規(guī)模MBTI數(shù)據(jù)，然后通過多階段預(yù)訓(xùn)練、微調(diào)、DPO訓(xùn)練方法為它注入性格。

數(shù)據(jù)集方面，主要分為兩種，行為數(shù)據(jù)集和自我意識(shí)數(shù)據(jù)集。

行為數(shù)據(jù)集的目的是為了讓大模型可以表現(xiàn)出不同性格的回應(yīng)，這部分是對(duì)Alpaca數(shù)據(jù)集進(jìn)行個(gè)性化修改實(shí)現(xiàn)。

行為數(shù)據(jù)集中MBTI四個(gè)維度的比例如下：

自我意識(shí)數(shù)據(jù)集是為了讓大模型能夠意識(shí)到自己的個(gè)性特征。

通過一個(gè)兩階段的有監(jiān)督訓(xùn)練微調(diào)過程，最后可以得到對(duì)應(yīng)人格的大模型。

以訓(xùn)練一個(gè)INFP大模型為例，在第一階段的有監(jiān)督微調(diào)中利用行為數(shù)據(jù)集中“I”、“N”、“F”、“P”四個(gè)數(shù)據(jù)集，在第二階段的有監(jiān)督微調(diào)中，再使用一個(gè)額外的自我意識(shí)數(shù)據(jù)集。

研究團(tuán)隊(duì)表示，這種方法成功使Baichuan、Qwen、LLaMA、Mistral等模型完成不同MBTI類型的性格對(duì)齊任務(wù)。

首先開放的是基于Baichuan-7b-chat的16個(gè)中文模型以及基于LLaMA2-7b的16個(gè)英文模型。后續(xù)還將做更多補(bǔ)充。

最后得到的訓(xùn)練結(jié)果如下。

ENFP問答結(jié)果

ENTJ問答結(jié)果

INFP問答結(jié)果

ISTJ問答結(jié)果

數(shù)據(jù)集方面，團(tuán)隊(duì)開源了MBTI訓(xùn)練數(shù)據(jù)集。

數(shù)據(jù)集涵蓋了豐富多樣的場(chǎng)景，旨在幫助研究者和開發(fā)者訓(xùn)練出能夠理解和模擬不同 MBTI 性格的基座模型。這些模型不僅能夠提供更加人性化的互動(dòng)體驗(yàn)，還能夠在多種情境下提供精準(zhǔn)的心理學(xué)洞察。

對(duì)于這項(xiàng)工作的思考，研究團(tuán)隊(duì)認(rèn)為人類的思維就像從出生就擁有的一個(gè)預(yù)訓(xùn)練模型，每個(gè)人的參數(shù)、訓(xùn)練數(shù)據(jù)可能不盡相同，這也導(dǎo)致我們的一些抽象思維和能力不同，長(zhǎng)大后有人擅長(zhǎng)數(shù)理邏輯、有人擅長(zhǎng)情感演繹。

而之后從小到大的學(xué)習(xí)、環(huán)境、經(jīng)歷的事情都相當(dāng)于是在對(duì)我們的預(yù)訓(xùn)練大腦進(jìn)行微調(diào)和人類反饋對(duì)齊，這樣來看，所謂的MBTI性格基本都是后天環(huán)境因素影響下形成的，這也導(dǎo)致每個(gè)人都獨(dú)具特色。

也就是說可以嘗試用微調(diào)和人類反饋對(duì)齊（DPO），去對(duì)各種預(yù)訓(xùn)練的基座LLM進(jìn)行分階段的訓(xùn)練，從而讓模型擁有不同的MBTI屬性。

團(tuán)隊(duì)的目標(biāo)不僅是使這些模型擁有不同的MBTI屬性，還要模擬人類形成不同MBTI性格的過程。

他們相信，這一獨(dú)特的方法將為我們?cè)谌烁裥睦韺W(xué)領(lǐng)域理解和利用大語言模型開辟新的途徑。請(qǐng)繼續(xù)關(guān)注更多的發(fā)展，因?yàn)槲覀兝^續(xù)探索語言模型和人類個(gè)性的令人著迷的交匯點(diǎn)。

GitHub：https://github.com/PKU-YuanGroup/Machine-Mindset

數(shù)據(jù)集：https://huggingface.co/datasets/FarReelAILab/Machine_Mindset

HuggingFace試用鏈接：https://huggingface.co/spaces/FarReelAILab/Machine_Mindset

ModelScope試用鏈接：https://modelscope.cn/studios/FarReelAILab/Machine_Mindset