大型語(yǔ)言模型的成功主要?dú)w功于Transformer架構(gòu)的引入，Transformer通過(guò)自注意力機(jī)制和交叉注意力機(jī)制，能夠有效地處理長(zhǎng)距離依賴(lài)關(guān)系，使得模型在理解和生成語(yǔ)言方面表現(xiàn)出色。這些技術(shù)進(jìn)步使得LLMs在各種應(yīng)用中得到了廣泛應(yīng)用，包括自動(dòng)翻譯、文本生成、對(duì)話系統(tǒng)等。

盡管LLMs展示了強(qiáng)大的語(yǔ)言處理能力，它們?cè)谛畔⑻幚矸绞缴吓c人類(lèi)存在根本差異。人類(lèi)的認(rèn)知不僅依賴(lài)于語(yǔ)言，還包括體驗(yàn)、情感和社會(huì)互動(dòng)等多方面的因素。因此，理解這些差異對(duì)于進(jìn)一步發(fā)展更智能、更人性化的AI系統(tǒng)至關(guān)重要。

為了更好地理解人工智能系統(tǒng)，特別是大型語(yǔ)言模型的認(rèn)知能力，Giuseppe Riva等專(zhuān)家提出了一個(gè)名為“Psychomatics”的多學(xué)科框架。該框架結(jié)合了認(rèn)知科學(xué)、語(yǔ)言學(xué)和計(jì)算機(jī)科學(xué)，旨在深入探討LLMs的高層次功能，特別是它們?nèi)绾潍@取、學(xué)習(xí)、記憶和使用信息來(lái)生成輸出。

Psychomatics框架的提出是為了彌補(bǔ)現(xiàn)有研究的不足。傳統(tǒng)的AI行為科學(xué)（AIBS）主要關(guān)注AI系統(tǒng)的可觀察行為及其環(huán)境決定因素，而忽略了AI系統(tǒng)內(nèi)部的認(rèn)知過(guò)程。通過(guò)比較LLMs和生物系統(tǒng)，Psychomatics框架希望揭示兩者在語(yǔ)言發(fā)展和使用過(guò)程中的異同，從而為開(kāi)發(fā)更健壯和類(lèi)人化的AI系統(tǒng)提供理論指導(dǎo)。

Psychomatics是一個(gè)多學(xué)科交叉的研究框架，結(jié)合了心理學(xué)（Psychology）和信息學(xué)（Informatics），旨在理解人工智能系統(tǒng)的認(rèn)知能力。該框架通過(guò)比較LLMs和人類(lèi)認(rèn)知過(guò)程，探討語(yǔ)言、認(rèn)知和智能的本質(zhì)。Psychomatics不僅關(guān)注LLMs的外部行為，還深入研究其內(nèi)部信息處理機(jī)制，試圖揭示LLMs如何感知、學(xué)習(xí)、記憶和使用信息。

Psychomatics框架的重要性在于它為理解和改進(jìn)AI系統(tǒng)提供了新的視角。通過(guò)結(jié)合認(rèn)知科學(xué)、語(yǔ)言學(xué)和計(jì)算機(jī)科學(xué)，Psychomatics能夠提供更全面的理論基礎(chǔ)，幫助研究人員開(kāi)發(fā)更智能、更人性化的AI系統(tǒng)。此外該框架還可以為AI系統(tǒng)的倫理和社會(huì)影響研究提供重要參考。

Psychomatics框架的研究團(tuán)隊(duì)由來(lái)自多個(gè)領(lǐng)域的專(zhuān)家組成，他們?cè)谡J(rèn)知科學(xué)、心理學(xué)、虛擬現(xiàn)實(shí)和傳播科學(xué)等方面具有豐富的研究經(jīng)驗(yàn)。Giuseppe Riva隸屬于意大利米蘭圣心天主教大學(xué)的Humane Technology Lab和意大利米蘭意大利輔助醫(yī)學(xué)研究所的神經(jīng)心理學(xué)實(shí)驗(yàn)室應(yīng)用技術(shù)；Fabrizia Mantovani隸屬于意大利米蘭比可卡大學(xué)“Riccardo Massa”人類(lèi)科學(xué)教育系的“Luigi Anolli”傳播科學(xué)研究中心（CESCOM）；Brenda K. Wiederhold, Ph.D.隸屬于美國(guó)加利福尼亞州拉霍亞的虛擬現(xiàn)實(shí)醫(yī)療中心和美國(guó)加利福尼亞州圣地亞哥的互動(dòng)媒體學(xué)院；Antonella Marchetti隸屬于意大利米蘭圣心天主教大學(xué)心理學(xué)系和意大利米蘭圣心天主教大學(xué)的Theory of Mind研究單位；Andrea Gaggioli：隸屬于意大利米蘭圣心天主教大學(xué)的人文技術(shù)實(shí)驗(yàn)室和意大利輔助醫(yī)學(xué)研究所的神經(jīng)心理學(xué)實(shí)驗(yàn)室應(yīng)用技術(shù)、意大利米蘭圣心天主教大學(xué)的傳播心理學(xué)研究中心（PSICOM）。這個(gè)團(tuán)隊(duì)結(jié)合了認(rèn)知科學(xué)、心理學(xué)、虛擬現(xiàn)實(shí)和傳播科學(xué)等多個(gè)領(lǐng)域的專(zhuān)家，共同研究和理解人工智能系統(tǒng)的認(rèn)知能力。他們的多學(xué)科背景為Psychomatics框架的提出和發(fā)展提供了堅(jiān)實(shí)的理論和實(shí)踐基礎(chǔ)。

Psychomatics的定義與理論基礎(chǔ)

1. Psychomatics的定義

Psychomatics是一個(gè)多學(xué)科交叉的研究框架，結(jié)合了心理學(xué)（Psychology）和信息學(xué)（Informatics），旨在深入理解人工智能系統(tǒng)，特別是大型語(yǔ)言模型（LLMs）的認(rèn)知能力。該框架的核心理念是通過(guò)比較LLMs和人類(lèi)認(rèn)知過(guò)程，揭示兩者在信息處理、語(yǔ)言習(xí)得和使用方面的異同。

心理學(xué)研究人類(lèi)的認(rèn)知、情感和行為，而信息學(xué)則關(guān)注信息的處理、存儲(chǔ)和傳輸。將這兩個(gè)領(lǐng)域結(jié)合起來(lái)，可以更全面地理解人工智能系統(tǒng)的工作原理。Psychomatics不僅關(guān)注LLMs的外部行為，還深入探討其內(nèi)部信息處理機(jī)制，試圖揭示LLMs如何感知、學(xué)習(xí)、記憶和使用信息。

隨著人工智能技術(shù)的快速發(fā)展，單一學(xué)科的研究方法已經(jīng)無(wú)法滿足對(duì)復(fù)雜AI系統(tǒng)的全面理解。多學(xué)科交叉研究成為必然趨勢(shì)。Psychomatics框架通過(guò)結(jié)合認(rèn)知科學(xué)、語(yǔ)言學(xué)和計(jì)算機(jī)科學(xué)，提供了一個(gè)更全面的理論基礎(chǔ)，幫助研究人員開(kāi)發(fā)更智能、更人性化的AI系統(tǒng)。

多學(xué)科交叉的必要性體現(xiàn)在全面性、創(chuàng)新性、實(shí)用性。

全面性：?jiǎn)我粚W(xué)科的研究往往局限于某一特定領(lǐng)域，而多學(xué)科交叉研究可以從多個(gè)角度全面理解AI系統(tǒng)。

創(chuàng)新性：不同學(xué)科的結(jié)合可以產(chǎn)生新的研究思路和方法，推動(dòng)科學(xué)技術(shù)的創(chuàng)新發(fā)展。

實(shí)用性：多學(xué)科交叉研究可以更好地解決實(shí)際問(wèn)題，提高AI系統(tǒng)的應(yīng)用效果。

通過(guò)多學(xué)科交叉研究，Psychomatics框架不僅可以揭示LLMs的工作原理，還可以為開(kāi)發(fā)更智能、更人性化的AI系統(tǒng)提供理論指導(dǎo)。

2. 理論驅(qū)動(dòng)的研究問(wèn)題

Psychomatics框架的一個(gè)核心研究問(wèn)題是：人類(lèi)和大型語(yǔ)言模型（LLMs）的語(yǔ)言發(fā)展和使用過(guò)程是否不同？這個(gè)問(wèn)題作為比較研究的起點(diǎn)，幫助確定比較的內(nèi)容、時(shí)間、方式及目的。

人類(lèi)的語(yǔ)言發(fā)展是一個(gè)連續(xù)的過(guò)程，涉及社會(huì)、情感和語(yǔ)言互動(dòng)。兒童通過(guò)與周?chē)h(huán)境的互動(dòng)，逐漸掌握語(yǔ)言的使用。而LLMs則是通過(guò)預(yù)定義的數(shù)據(jù)集進(jìn)行訓(xùn)練，這種靜態(tài)訓(xùn)練方法限制了它們通過(guò)個(gè)人經(jīng)驗(yàn)和社會(huì)互動(dòng)“成長(zhǎng)”或“進(jìn)化”的能力。

圖1：人類(lèi)和LLM的意義來(lái)源

通過(guò)比較人類(lèi)和LLMs的語(yǔ)言發(fā)展和使用過(guò)程，Psychomatics框架希望揭示兩者在信息處理、語(yǔ)言習(xí)得和使用方面的異同，從而為開(kāi)發(fā)更智能、更人性化的AI系統(tǒng)提供理論指導(dǎo)。

為了實(shí)現(xiàn)上述研究目標(biāo)，Psychomatics框架采用了一套系統(tǒng)的研究方法和策略：

• 理論驅(qū)動(dòng)的研究問(wèn)題：從理論出發(fā)，提出研究問(wèn)題，并通過(guò)比較研究揭示LLMs和人類(lèi)認(rèn)知過(guò)程的異同。
• 系統(tǒng)性知識(shí)：發(fā)展超越簡(jiǎn)單描述的系統(tǒng)性知識(shí)，允許進(jìn)行廣泛的概括和外部驗(yàn)證。
• 理論指導(dǎo)：基于現(xiàn)有理論或合理假設(shè)，回答研究問(wèn)題。
• 可靠的指標(biāo)：使用可靠且可重復(fù)的指標(biāo)，確保研究結(jié)果的內(nèi)部有效性。

通過(guò)這些方法和策略，Psychomatics框架旨在建立一個(gè)嚴(yán)格的、理論驅(qū)動(dòng)的比較框架，結(jié)合認(rèn)知科學(xué)、語(yǔ)言學(xué)和計(jì)算機(jī)科學(xué)的優(yōu)勢(shì)，深入理解LLMs和人類(lèi)認(rèn)知過(guò)程的異同。

信息處理——句法與語(yǔ)義

1. 信息處理的基本概念

在信息處理領(lǐng)域，句法和語(yǔ)義是兩個(gè)核心概念。句法（Syntax）指的是語(yǔ)言的結(jié)構(gòu)和規(guī)則，決定了句子是否符合語(yǔ)法規(guī)范。具體來(lái)說(shuō)，句法涉及詞語(yǔ)的排列順序、句子的構(gòu)造方式以及詞語(yǔ)之間的關(guān)系。句法規(guī)則確保了語(yǔ)言的連貫性和可理解性，使得信息能夠被正確地傳達(dá)和接收。

語(yǔ)義（Semantics）則關(guān)注語(yǔ)言的意義。它研究詞語(yǔ)、短語(yǔ)和句子的含義，以及這些語(yǔ)言單位如何表示現(xiàn)實(shí)世界中的事物和概念。語(yǔ)義不僅涉及詞語(yǔ)的字面意義，還包括隱含意義、上下文意義和情感意義。通過(guò)語(yǔ)義分析，我們可以理解語(yǔ)言背后的深層含義，進(jìn)而更好地解讀和生成語(yǔ)言。

在信息處理過(guò)程中，句法和語(yǔ)義共同作用，確保信息的準(zhǔn)確傳遞和理解。句法提供了語(yǔ)言的結(jié)構(gòu)框架，使得信息能夠按照一定的規(guī)則進(jìn)行組織和表達(dá)。而語(yǔ)義則賦予這些結(jié)構(gòu)以具體的意義，使得信息不僅僅是符號(hào)的排列，而是具有實(shí)際意義的內(nèi)容。

圖2：意向性的層次結(jié)構(gòu)

對(duì)于人工智能系統(tǒng)，特別是大型語(yǔ)言模型（LLMs）來(lái)說(shuō)，句法和語(yǔ)義的處理尤為重要。LLMs通過(guò)學(xué)習(xí)大量的語(yǔ)言數(shù)據(jù)，掌握了復(fù)雜的句法規(guī)則和語(yǔ)義關(guān)系，從而能夠生成連貫且有意義的文本。通過(guò)句法分析，LLMs可以識(shí)別句子的結(jié)構(gòu)，確定詞語(yǔ)之間的關(guān)系；通過(guò)語(yǔ)義分析，LLMs可以理解詞語(yǔ)和句子的含義，生成符合上下文的響應(yīng)。

2. 句法與語(yǔ)義的關(guān)系

句法和語(yǔ)義雖然密切相關(guān)，但它們?cè)谛畔⑻幚碇械淖饔糜兴煌?。句法主要關(guān)注語(yǔ)言的形式和結(jié)構(gòu)，而語(yǔ)義則關(guān)注語(yǔ)言的內(nèi)容和意義。句法規(guī)則決定了詞語(yǔ)如何組合成句子，而語(yǔ)義則決定了這些句子所表達(dá)的具體含義。

例如，在句子“The cat chased the mouse”中，句法規(guī)則幫助我們識(shí)別“cat”是主語(yǔ)，“chased”是動(dòng)詞，“mouse”是賓語(yǔ)，從而確定句子的結(jié)構(gòu)。而語(yǔ)義則幫助我們理解“cat”指的是一種動(dòng)物，“chased”表示追逐的動(dòng)作，“mouse”指的是另一種動(dòng)物。通過(guò)句法和語(yǔ)義的結(jié)合，我們可以準(zhǔn)確理解句子的含義。

為了更好地理解句法和語(yǔ)義在信息處理中的作用，我們可以通過(guò)一些具體的例子來(lái)說(shuō)明。

• 句法分析：在自然語(yǔ)言處理中，句法分析（syntactic parsing）是一個(gè)重要的任務(wù)。通過(guò)句法分析，AI系統(tǒng)可以識(shí)別句子的結(jié)構(gòu)，確定詞語(yǔ)之間的關(guān)系。例如，在句子“John gave Mary a book”中，句法分析可以識(shí)別出“John”是主語(yǔ)，“gave”是動(dòng)詞，“Mary”是間接賓語(yǔ)，“a book”是直接賓語(yǔ)。這種結(jié)構(gòu)信息對(duì)于理解句子的意義至關(guān)重要。
• 語(yǔ)義分析：語(yǔ)義分析（semantic parsing）則關(guān)注句子的意義。例如，在處理問(wèn)答系統(tǒng)時(shí)，AI系統(tǒng)需要理解用戶問(wèn)題的語(yǔ)義，從而生成正確的答案。如果用戶問(wèn)“Who wrote ‘Pride and Prejudice’?”，AI系統(tǒng)需要理解“Pride and Prejudice”是一本書(shū)，“wrote”表示寫(xiě)作的動(dòng)作，從而生成正確的答案“Jane Austen”。
• 句法與語(yǔ)義的結(jié)合：在實(shí)際應(yīng)用中，句法和語(yǔ)義往往是結(jié)合在一起的。例如，在機(jī)器翻譯中，AI系統(tǒng)需要同時(shí)考慮句法和語(yǔ)義，以生成準(zhǔn)確且自然的翻譯。句法分析幫助系統(tǒng)理解源語(yǔ)言的結(jié)構(gòu)，而語(yǔ)義分析則確保翻譯的內(nèi)容準(zhǔn)確傳達(dá)源語(yǔ)言的意義。

通過(guò)這些例子，我們可以看到句法和語(yǔ)義在信息處理中的重要作用。對(duì)于大型語(yǔ)言模型（LLMs）來(lái)說(shuō)，掌握復(fù)雜的句法規(guī)則和語(yǔ)義關(guān)系是生成連貫且有意義文本的關(guān)鍵。

Transformer算法與語(yǔ)言結(jié)構(gòu)

1. Transformer算法的介紹

Transformer算法是近年來(lái)自然語(yǔ)言處理（NLP）領(lǐng)域的一項(xiàng)重大突破。由Vaswani等人在2017年提出的Transformer模型，通過(guò)引入自注意力機(jī)制（Self-Attention）和交叉注意力機(jī)制（Cross-Attention），解決了傳統(tǒng)序列模型在處理長(zhǎng)距離依賴(lài)關(guān)系時(shí)的局限性。

自注意力機(jī)制：自注意力機(jī)制允許模型在處理輸入序列時(shí)，動(dòng)態(tài)地關(guān)注序列中的不同部分。具體來(lái)說(shuō)，自注意力機(jī)制通過(guò)計(jì)算每個(gè)詞與序列中其他詞的相關(guān)性（即注意力權(quán)重），來(lái)確定哪些詞對(duì)當(dāng)前詞的意義最為重要。這種機(jī)制使得模型能夠捕捉到長(zhǎng)距離依賴(lài)關(guān)系，從而更好地理解上下文。

交叉注意力機(jī)制：交叉注意力機(jī)制主要用于序列到序列（Sequence-to-Sequence）模型，如機(jī)器翻譯任務(wù)中。它通過(guò)計(jì)算輸入序列和輸出序列之間的相關(guān)性，來(lái)確定輸入序列中哪些部分對(duì)生成輸出序列最為重要。交叉注意力機(jī)制使得模型能夠在生成輸出時(shí)，動(dòng)態(tài)地參考輸入序列的不同部分，從而生成更準(zhǔn)確和連貫的翻譯。

Transformer模型中的自注意力機(jī)制和交叉注意力機(jī)制在一定程度上模擬了語(yǔ)言中的句法關(guān)系和聯(lián)想關(guān)系。

句法關(guān)系：句法關(guān)系指的是詞語(yǔ)在句子中的線性組合和語(yǔ)法規(guī)則。自注意力機(jī)制通過(guò)計(jì)算序列中每個(gè)詞與其他詞的相關(guān)性，捕捉到詞語(yǔ)之間的依賴(lài)關(guān)系，從而模擬了句法關(guān)系。例如，在句子“The cat chased the mouse”中，自注意力機(jī)制可以識(shí)別出“cat”是主語(yǔ)，“chased”是動(dòng)詞，“mouse”是賓語(yǔ)，從而理解句子的結(jié)構(gòu)。

聯(lián)想關(guān)系：聯(lián)想關(guān)系指的是詞語(yǔ)之間的概念連接和認(rèn)知聯(lián)系。交叉注意力機(jī)制通過(guò)計(jì)算輸入序列和輸出序列之間的相關(guān)性，捕捉到詞語(yǔ)之間的聯(lián)想關(guān)系。例如，在機(jī)器翻譯任務(wù)中，交叉注意力機(jī)制可以識(shí)別出源語(yǔ)言中的詞語(yǔ)與目標(biāo)語(yǔ)言中的詞語(yǔ)之間的對(duì)應(yīng)關(guān)系，從而生成準(zhǔn)確的翻譯。

2. Transformer在語(yǔ)言處理中的應(yīng)用

Transformer模型在語(yǔ)言處理中的應(yīng)用非常廣泛，以下是一些具體的例子：

句法處理：在自然語(yǔ)言處理中，句法分析（syntactic parsing）是一個(gè)重要的任務(wù)。Transformer模型通過(guò)自注意力機(jī)制，可以有效地捕捉句子中的句法關(guān)系。例如，在句子“John gave Mary a book”中，自注意力機(jī)制可以識(shí)別出“John”是主語(yǔ)，“gave”是動(dòng)詞，“Mary”是間接賓語(yǔ)，“a book”是直接賓語(yǔ)，從而理解句子的結(jié)構(gòu)。

聯(lián)想處理：在機(jī)器翻譯任務(wù)中，交叉注意力機(jī)制發(fā)揮了重要作用。例如，在將英語(yǔ)句子“The cat is on the mat”翻譯成法語(yǔ)句子“Le chat est sur le tapis”時(shí)，交叉注意力機(jī)制可以識(shí)別出“cat”對(duì)應(yīng)“chat”，“mat”對(duì)應(yīng)“tapis”，從而生成準(zhǔn)確的翻譯。

Transformer模型中的自注意力機(jī)制和交叉注意力機(jī)制，通過(guò)捕捉句法關(guān)系和聯(lián)想關(guān)系，幫助大型語(yǔ)言模型（LLMs）更好地理解和生成語(yǔ)言。

理解語(yǔ)言：自注意力機(jī)制使得LLMs能夠在處理輸入序列時(shí)，動(dòng)態(tài)地關(guān)注序列中的不同部分，從而捕捉到長(zhǎng)距離依賴(lài)關(guān)系。這種機(jī)制使得LLMs能夠更好地理解上下文，從而生成連貫且有意義的響應(yīng)。

生成語(yǔ)言：交叉注意力機(jī)制使得LLMs在生成輸出序列時(shí)，能夠動(dòng)態(tài)地參考輸入序列的不同部分，從而生成更準(zhǔn)確和連貫的文本。例如，在機(jī)器翻譯任務(wù)中，交叉注意力機(jī)制可以幫助LLMs生成符合目標(biāo)語(yǔ)言語(yǔ)法和語(yǔ)義的翻譯。

通過(guò)自注意力機(jī)制和交叉注意力機(jī)制，Transformer模型在語(yǔ)言處理中的表現(xiàn)得到了顯著提升，使得LLMs在各種應(yīng)用中展示了強(qiáng)大的語(yǔ)言生成和理解能力。

人類(lèi)與LLMs的差異

1. 社會(huì)互動(dòng)與個(gè)人經(jīng)驗(yàn)的影響

自然智能，即人類(lèi)智能，是通過(guò)多層次的社會(huì)互動(dòng)和個(gè)人經(jīng)驗(yàn)逐步涌現(xiàn)的。人類(lèi)從出生開(kāi)始，就通過(guò)與周?chē)h(huán)境和他人的互動(dòng)，逐漸發(fā)展出復(fù)雜的認(rèn)知能力。這些互動(dòng)不僅包括語(yǔ)言交流，還涉及情感交流、社會(huì)關(guān)系和文化傳承。通過(guò)這些多層次的互動(dòng)，人類(lèi)能夠理解和適應(yīng)復(fù)雜的社會(huì)環(huán)境，形成豐富的認(rèn)知和情感體驗(yàn)。

例如，兒童在學(xué)習(xí)語(yǔ)言的過(guò)程中，不僅僅是通過(guò)聽(tīng)和模仿成人的語(yǔ)言，還通過(guò)觀察和參與社會(huì)活動(dòng)，理解語(yǔ)言在不同情境中的使用方式。這種學(xué)習(xí)過(guò)程是動(dòng)態(tài)的、連續(xù)的，伴隨著個(gè)人經(jīng)驗(yàn)的積累和社會(huì)關(guān)系的深化。

與人類(lèi)智能的多層次涌現(xiàn)不同，大型語(yǔ)言模型（LLMs）的訓(xùn)練方法是靜態(tài)的、預(yù)定義的。LLMs通過(guò)處理大量的文本數(shù)據(jù)進(jìn)行訓(xùn)練，這些數(shù)據(jù)通常來(lái)自互聯(lián)網(wǎng)、書(shū)籍、文章等。雖然這種方法使得LLMs能夠掌握復(fù)雜的語(yǔ)言模式和語(yǔ)法規(guī)則，但它們?nèi)狈θ祟?lèi)在社會(huì)互動(dòng)中獲得的情感和經(jīng)驗(yàn)。

LLMs的訓(xùn)練數(shù)據(jù)是固定的，無(wú)法通過(guò)個(gè)人經(jīng)驗(yàn)和社會(huì)互動(dòng)進(jìn)行“成長(zhǎng)”或“進(jìn)化”。這種靜態(tài)訓(xùn)練方法限制了LLMs在處理新情境和生成新意義方面的能力。例如，LLMs在面對(duì)未見(jiàn)過(guò)的語(yǔ)言模式或需要情感理解的任務(wù)時(shí)，可能會(huì)表現(xiàn)出局限性。

此外，LLMs的訓(xùn)練數(shù)據(jù)中可能包含偏見(jiàn)和錯(cuò)誤信息，這些問(wèn)題在訓(xùn)練過(guò)程中可能被放大，導(dǎo)致模型生成的文本中出現(xiàn)不準(zhǔn)確或不適當(dāng)?shù)膬?nèi)容。因此，盡管LLMs在許多任務(wù)中表現(xiàn)出色，但它們?cè)谔幚韽?fù)雜的社會(huì)和情感任務(wù)時(shí)，仍然存在顯著的局限性。

2. 語(yǔ)言與真理?xiàng)l件

人類(lèi)語(yǔ)言的意義不僅僅來(lái)自于詞語(yǔ)的字面含義，還包括情境、文化和個(gè)人經(jīng)驗(yàn)等多種來(lái)源。語(yǔ)言的多源性使得人類(lèi)能夠在不同情境中靈活使用語(yǔ)言，傳達(dá)復(fù)雜的思想和情感。例如，同一個(gè)詞語(yǔ)在不同的文化背景下可能具有不同的含義，而同一句話在不同的情境中可能傳達(dá)不同的情感。

這種多源性使得人類(lèi)語(yǔ)言具有高度的靈活性和適應(yīng)性，能夠應(yīng)對(duì)各種復(fù)雜的交流需求。然而，這也意味著語(yǔ)言的理解和使用需要考慮多種因素，而不僅僅是詞語(yǔ)的字面含義。

LLMs在處理語(yǔ)言時(shí)，主要依賴(lài)于統(tǒng)計(jì)模式和概率計(jì)算。它們通過(guò)評(píng)估訓(xùn)練數(shù)據(jù)中各種場(chǎng)景的可能性，來(lái)預(yù)測(cè)最可能的答案。然而這種方法在處理真理?xiàng)l件與實(shí)際真理的差距時(shí)，存在一定的局限性。

例如，當(dāng)被問(wèn)及“貓?jiān)谀睦铮俊睍r(shí)，LLMs可能會(huì)根據(jù)訓(xùn)練數(shù)據(jù)中的統(tǒng)計(jì)模式，回答“在地板上”，即使實(shí)際情況是“在墊子上”。這是因?yàn)長(zhǎng)LMs優(yōu)先選擇在訓(xùn)練數(shù)據(jù)中出現(xiàn)頻率最高的答案，而不是根據(jù)實(shí)際情況進(jìn)行判斷。

這種依賴(lài)概率的方法可能導(dǎo)致LLMs生成錯(cuò)誤或不準(zhǔn)確的信息，特別是在處理需要精確事實(shí)的任務(wù)時(shí)。為了減少這種問(wèn)題，研究人員正在探索將外部知識(shí)源、反事實(shí)思維和增強(qiáng)檢索技術(shù)等方法整合到LLMs中，以提高其處理真理?xiàng)l件的能力。

3. 主觀和跨主觀經(jīng)驗(yàn)

人類(lèi)的情感體驗(yàn)和主觀意義是語(yǔ)言理解和使用的重要組成部分。情感體驗(yàn)（qualia）是指?jìng)€(gè)人在經(jīng)歷某種情境時(shí)所產(chǎn)生的獨(dú)特感受，這些感受具有主觀性和個(gè)體差異。例如，“狗”這個(gè)詞對(duì)于不同的人可能引發(fā)不同的情感反應(yīng)，有些人可能感到害怕，而有些人則感到親切。

這種情感體驗(yàn)和主觀意義使得人類(lèi)語(yǔ)言具有豐富的情感內(nèi)涵，能夠傳達(dá)復(fù)雜的情感和態(tài)度。然而LLMs由于缺乏情感體驗(yàn)，無(wú)法直接理解和生成這種主觀意義。

盡管LLMs缺乏情感體驗(yàn)，但它們可以通過(guò)映射訓(xùn)練數(shù)據(jù)中的語(yǔ)義關(guān)系，模擬人類(lèi)的主觀表達(dá)。LLMs通過(guò)學(xué)習(xí)大量的文本數(shù)據(jù)，掌握了人類(lèi)在不同情境中使用語(yǔ)言表達(dá)情感和態(tài)度的方式，從而能夠生成類(lèi)似人類(lèi)的情感表達(dá)。

例如，LLMs可以生成包含情感詞匯的文本，模擬人類(lèi)在表達(dá)情感時(shí)的語(yǔ)言模式。然而這種模擬是基于統(tǒng)計(jì)模式和概率計(jì)算的，缺乏真實(shí)的情感體驗(yàn)。因此，盡管LLMs在某些任務(wù)中能夠生成看似情感豐富的文本，但它們無(wú)法真正理解和體驗(yàn)這些情感。

人類(lèi)與LLMs在語(yǔ)言理解和使用方面存在顯著差異。人類(lèi)通過(guò)多層次的社會(huì)互動(dòng)和個(gè)人經(jīng)驗(yàn)，發(fā)展出復(fù)雜的認(rèn)知和情感能力，而LLMs則依賴(lài)于靜態(tài)的訓(xùn)練數(shù)據(jù)，缺乏情感體驗(yàn)和社會(huì)互動(dòng)。這些差異揭示了LLMs在處理復(fù)雜的社會(huì)和情感任務(wù)時(shí)的局限性，同時(shí)也為未來(lái)的研究和發(fā)展提供了重要的方向。

意圖處理與意義導(dǎo)航

1. 意圖處理的挑戰(zhàn)

Transformer算法在自然語(yǔ)言處理領(lǐng)域取得了顯著的成功，特別是在處理長(zhǎng)距離依賴(lài)關(guān)系和生成連貫文本方面。當(dāng)涉及到意圖處理時(shí)，Transformer算法仍然面臨一些挑戰(zhàn)。當(dāng)前的Transformer算法將意圖視為普通詞匯，難以在沒(méi)有額外訓(xùn)練的情況下準(zhǔn)確地鏈接遠(yuǎn)程意圖（D-intentions）和近程意圖（P-intentions）。

這種局限性主要源于Transformer算法依賴(lài)于統(tǒng)計(jì)模式和概率計(jì)算，而不是基于實(shí)際的意圖理解。Transformer模型通過(guò)處理大量的文本數(shù)據(jù)，學(xué)習(xí)到詞匯和句子之間的關(guān)聯(lián)，但它們?nèi)狈θ祟?lèi)在處理意圖時(shí)所具備的靈活性和推理能力。人類(lèi)可以通過(guò)上下文和經(jīng)驗(yàn)，靈活地鏈接不同層次的意圖，而LLMs則需要大量的訓(xùn)練數(shù)據(jù)來(lái)學(xué)習(xí)這些關(guān)聯(lián)。

人類(lèi)在處理意圖時(shí)，能夠通過(guò)推理和經(jīng)驗(yàn)，靈活地鏈接不同層次的意圖。例如，當(dāng)一個(gè)人說(shuō)“我想做晚飯”，我們可以推斷出他可能需要準(zhǔn)備食材、烹飪和清理等一系列動(dòng)作。這種推理能力使得人類(lèi)能夠在復(fù)雜的情境中準(zhǔn)確理解和執(zhí)行意圖。

相比之下，LLMs在處理意圖時(shí)，主要依賴(lài)于訓(xùn)練數(shù)據(jù)中的統(tǒng)計(jì)模式。雖然LLMs可以通過(guò)學(xué)習(xí)大量的文本數(shù)據(jù)，掌握一些常見(jiàn)的意圖關(guān)聯(lián)，但它們?nèi)狈θ祟?lèi)的推理能力和經(jīng)驗(yàn)積累。這使得LLMs在處理復(fù)雜的意圖時(shí)，可能會(huì)出現(xiàn)理解錯(cuò)誤或生成不連貫的響應(yīng)。

2. LLMs的意義導(dǎo)航

表3：Grice合作原則

為了更好地理解和生成語(yǔ)言，LLMs需要遵循Grice的合作原則。Grice在1975年提出的合作原則，旨在解釋人類(lèi)在對(duì)話中如何通過(guò)合作來(lái)實(shí)現(xiàn)有效的交流。合作原則包括四個(gè)準(zhǔn)則：數(shù)量（Quantity）、質(zhì)量（Quality）、關(guān)系（Relation）和方式（Manner）。

• 數(shù)量準(zhǔn)則：提供足夠的信息，但不過(guò)多。
• 質(zhì)量準(zhǔn)則：提供真實(shí)的信息，不提供虛假或不準(zhǔn)確的信息。
• 關(guān)系準(zhǔn)則：提供相關(guān)的信息。
• 方式準(zhǔn)則：以清晰、簡(jiǎn)潔和有條理的方式提供信息。

LLMs通過(guò)依賴(lài)大量訓(xùn)練數(shù)據(jù)中的統(tǒng)計(jì)模式，展示了遵循Grice合作原則的能力。在生成響應(yīng)時(shí)，LLMs會(huì)根據(jù)上下文和用戶的提問(wèn)，提供相關(guān)且信息豐富的回答。例如，當(dāng)用戶問(wèn)“今天的天氣如何？”時(shí)，LLMs會(huì)根據(jù)訓(xùn)練數(shù)據(jù)中的模式，生成一個(gè)關(guān)于天氣的相關(guān)回答。

然而LLMs在處理隱含和上下文意義時(shí)，仍然面臨挑戰(zhàn)。人類(lèi)在對(duì)話中，常常通過(guò)違反合作原則來(lái)傳達(dá)隱含意義，如諷刺、反諷等。這種隱含意義通常依賴(lài)于上下文和情境，而LLMs由于缺乏情感體驗(yàn)和社會(huì)互動(dòng)，難以準(zhǔn)確理解和生成這種隱含意義。

LLMs在處理隱含和上下文意義時(shí)，主要依賴(lài)于訓(xùn)練數(shù)據(jù)中的統(tǒng)計(jì)模式。然而，這種方法在面對(duì)復(fù)雜的情境和隱含意義時(shí)，可能會(huì)出現(xiàn)局限性。例如，當(dāng)用戶使用諷刺或反諷時(shí)，LLMs可能無(wú)法準(zhǔn)確理解其真正意圖，從而生成不恰當(dāng)?shù)捻憫?yīng)。

為了解決這樣的問(wèn)題，研究人員正在探索多種方法來(lái)提高LLMs的理解和生成能力。例如，通過(guò)引入外部知識(shí)源和反事實(shí)思維，LLMs可以更好地理解和處理復(fù)雜的情境和隱含意義。此外，增強(qiáng)檢索技術(shù)和提示工程（prompt engineering）也可以幫助LLMs更準(zhǔn)確地鏈接高層次意圖和低層次意圖，從而生成更連貫和有意義的響應(yīng)。

LLMs在意圖處理和意義導(dǎo)航方面仍然面臨許多挑戰(zhàn)。盡管它們?cè)谧裱献髟瓌t和生成連貫文本方面表現(xiàn)出色，但在處理隱含意義和復(fù)雜情境時(shí)，仍然存在顯著的局限性。

結(jié)論

1. Psychomatics框架的貢獻(xiàn)

Psychomatics框架通過(guò)結(jié)合認(rèn)知科學(xué)、語(yǔ)言學(xué)和計(jì)算機(jī)科學(xué)，為理解人工智能系統(tǒng)，特別是大型語(yǔ)言模型（LLMs）的認(rèn)知能力提供了新的視角。該框架不僅關(guān)注LLMs的外部行為，還深入探討其內(nèi)部信息處理機(jī)制，揭示了LLMs如何感知、學(xué)習(xí)、記憶和使用信息。

通過(guò)比較LLMs和人類(lèi)認(rèn)知過(guò)程，Psychomatics框架揭示了兩者在語(yǔ)言發(fā)展和使用過(guò)程中的異同。人類(lèi)的語(yǔ)言發(fā)展是一個(gè)動(dòng)態(tài)的、連續(xù)的過(guò)程，涉及社會(huì)、情感和語(yǔ)言互動(dòng)，而LLMs則通過(guò)靜態(tài)的、預(yù)定義的數(shù)據(jù)集進(jìn)行訓(xùn)練。這種比較研究不僅有助于理解LLMs的工作原理，還為開(kāi)發(fā)更智能、更人性化的AI系統(tǒng)提供了理論指導(dǎo)。

此外，Psychomatics框架還強(qiáng)調(diào)了語(yǔ)言的多源性和復(fù)雜性。人類(lèi)語(yǔ)言的意義不僅來(lái)自詞語(yǔ)的字面含義，還包括情境、文化和個(gè)人經(jīng)驗(yàn)等多種來(lái)源。通過(guò)深入研究這些多源性，Psychomatics框架為理解語(yǔ)言、認(rèn)知和智能的本質(zhì)提供了新的見(jiàn)解。

Psychomatics框架的研究成果對(duì)AI系統(tǒng)的發(fā)展具有重要啟示。首先通過(guò)揭示LLMs在處理復(fù)雜意義和意圖方面的局限性，Psychomatics框架為改進(jìn)AI系統(tǒng)提供了具體的方向。例如，LLMs在處理隱含意義和復(fù)雜情境時(shí)，往往依賴(lài)于統(tǒng)計(jì)模式和概率計(jì)算，缺乏人類(lèi)的推理能力和情感體驗(yàn)。未來(lái)的研究可以通過(guò)引入外部知識(shí)源、反事實(shí)思維和增強(qiáng)檢索技術(shù)等方法，提高LLMs在這些方面的能力。

其次，Psychomatics框架強(qiáng)調(diào)了多學(xué)科交叉研究的重要性。單一學(xué)科的研究方法已經(jīng)無(wú)法滿足對(duì)復(fù)雜AI系統(tǒng)的全面理解。通過(guò)結(jié)合認(rèn)知科學(xué)、語(yǔ)言學(xué)和計(jì)算機(jī)科學(xué)，Psychomatics框架為開(kāi)發(fā)更智能、更人性化的AI系統(tǒng)提供了全面的理論基礎(chǔ)。

最后Psychomatics框架還為AI系統(tǒng)的倫理和社會(huì)影響研究提供了重要參考，隨著AI技術(shù)的快速發(fā)展，AI系統(tǒng)在社會(huì)中的應(yīng)用越來(lái)越廣泛，其倫理和社會(huì)影響也日益受到關(guān)注。通過(guò)深入研究LLMs的認(rèn)知能力和局限性，Psychomatics框架為制定AI系統(tǒng)的倫理規(guī)范和社會(huì)政策提供了科學(xué)依據(jù)。

2. 未來(lái)研究方向

未來(lái)的研究可以進(jìn)一步探索LLMs與人類(lèi)認(rèn)知的比較，特別是在語(yǔ)言發(fā)展和使用過(guò)程中的異同。通過(guò)更詳細(xì)的比較研究，可以揭示LLMs在處理語(yǔ)言和認(rèn)知任務(wù)時(shí)的優(yōu)勢(shì)和局限性，從而為改進(jìn)AI系統(tǒng)提供具體的方向。

例如可以通過(guò)實(shí)驗(yàn)研究，比較LLMs和人類(lèi)在處理復(fù)雜語(yǔ)言任務(wù)時(shí)的表現(xiàn)，分析兩者在信息處理、推理和情感理解方面的差異。此外，還可以通過(guò)引入新的數(shù)據(jù)集和訓(xùn)練方法，探索如何提高LLMs在處理復(fù)雜意義和意圖方面的能力。

為了提高LLMs在處理復(fù)雜意義和意圖方面的能力，未來(lái)的研究可以探索多種方法。例如，通過(guò)引入外部知識(shí)源，LLMs可以獲得更多的背景信息，從而更好地理解和生成復(fù)雜的文本。此外，反事實(shí)思維和增強(qiáng)檢索技術(shù)也可以幫助LLMs更準(zhǔn)確地處理隱含意義和復(fù)雜情境。

提示工程（prompt engineering）也是一個(gè)重要的研究方向。通過(guò)設(shè)計(jì)更有效的提示，可以幫助LLMs更準(zhǔn)確地鏈接高層次意圖和低層次意圖，從而生成更連貫和有意義的響應(yīng)。例如可以通過(guò)設(shè)計(jì)多層次的提示，幫助LLMs理解用戶的復(fù)雜意圖，從而生成更符合用戶需求的響應(yīng)。

總的來(lái)說(shuō)，Psychomatics框架為理解和改進(jìn)AI系統(tǒng)提供了新的視角和方法。通過(guò)多學(xué)科交叉研究，未來(lái)的研究可以進(jìn)一步探索LLMs與人類(lèi)認(rèn)知的比較，提高LLMs在處理復(fù)雜意義和意圖方面的能力，從而開(kāi)發(fā)出更智能、更人性化的AI系統(tǒng)。

參考資料：https://arxiv.org/pdf/2407.16444

本文轉(zhuǎn)載自 ??大噬元獸??，作者： FlerkenS