大家好，我是肆〇柒。今天咱們不聊那些晦澀的技術(shù)。今天的內(nèi)容，源自我看到的一篇論文《In Dialogue with Intelligence: Rethinking Large Language Models as Collective Knowledge》。這篇論文的視角很有意思，但咱們先不深入探討。我會先給大家呈現(xiàn)一下完整的譯文內(nèi)容。文末我會簡單談一點觀感。不過，我的思考可能不夠深刻，但我想把這篇論文記錄下來，方便自己以后回顧。

譯文

與智能對話：重新審視大型語言模型作為集體知識的角色（譯文）

論文作者：Eleni Vasilaki

摘要大型語言模型（LLMs）通常從架構(gòu)、行為或訓(xùn)練數(shù)據(jù)角度進行分析。本文則另辟蹊徑，從理論與體驗層面將LLMs重新詮釋為人類知識的集合（CK）的動態(tài)化身，其中智能經(jīng)由對話激發(fā)，而非靜態(tài)存儲?；谂cChatGPT-4的深度互動，并融合神經(jīng)科學(xué)與人工智能概念，本文探討了對話模式的涌現(xiàn)、微調(diào)效應(yīng)以及“共同增強”理念——即人機認知的相互提升。這一視角為理解當(dāng)下人工智能系統(tǒng)中的交互、表征與主體性提供了全新視野。

個人反思ChatGPT的問世引發(fā)了一種前所未有的認知錯位感。身為長期鉆研生物及人工系統(tǒng)適應(yīng)性學(xué)習(xí)的學(xué)者，我發(fā)現(xiàn)自己面對一個似乎顛覆了諸多既有理論的系統(tǒng)。此前在計算神經(jīng)科學(xué)（如突觸可塑性與在線學(xué)習(xí)）以及神經(jīng)形態(tài)計算領(lǐng)域的研究，包括脈沖適應(yīng)模型，皆與這些新系統(tǒng)的底層機制脫節(jié)。這種沖擊遠超職業(yè)好奇心，促使我將ChatGPT視作一個具備互動特性的系統(tǒng)，而不僅僅是工具。令人矚目的是，它并非因廣為人知的 “幻覺” 傾向（概率建模的副產(chǎn)品）引人注目，而是憑借其精準、新奇且常具洞察力的回應(yīng)。盡管LLMs被訓(xùn)練為預(yù)測下一個最可能的詞，卻往往能提取連貫且非平凡的信息，這表明其訓(xùn)練語料蘊含海量正確知識。其插值能力，得益于規(guī)模與架構(gòu)，使它們能夠以挑戰(zhàn)傳統(tǒng)存儲與推理界限的方式合成內(nèi)容。

書籍與大型語言模型的時間尺度傳統(tǒng)知識傳播長期依賴書籍這一人類理解的靜態(tài)載體。人們閱讀、思考、討論，最終以寫作回應(yīng)，知識傳播跨越數(shù)月、數(shù)年乃至數(shù)代。這種延遲既反映了傳播機制，也體現(xiàn)了文化認識論的沉思節(jié)奏。與之相對，大型語言模型（LLMs）大幅壓縮了這一周期。它們在數(shù)秒內(nèi)合成并回應(yīng)，隱式地從眾多心智塑造的分布式語料庫中汲取信息。交互呈現(xiàn)遞歸性——每個提示重塑下一個提示的上下文。知識不再以串行方式檢索與處理，而是在對話中動態(tài)涌現(xiàn)。這種認知時間尺度的壓縮重塑了知識表征的定義，甚至可能重塑智能的定義。這一轉(zhuǎn)變也為神經(jīng)科學(xué)提供了新的切入點。傳統(tǒng)上，神經(jīng)科學(xué)主要研究動物大腦（通常不情愿地涵蓋人類大腦），試圖從行為與活動中推斷結(jié)構(gòu)，卻往往缺乏完整的架構(gòu)規(guī)范、訓(xùn)練歷史或內(nèi)部表征。盡管進展緩慢且存在模糊性，該領(lǐng)域仍在揭示可塑性、編碼與架構(gòu)的原則。具有諷刺意味的是，在LLMs中，我們知曉一切：架構(gòu)、訓(xùn)練數(shù)據(jù)分布、更新規(guī)則乃至激活模式。然而，我們卻不理解這些模型是如何解決它們所解決的問題的。就此而言，理解LLMs或許在某種程度上對神經(jīng)科學(xué)構(gòu)成了一個相對 “簡單” 的課題。

與LLMs的互動觀察我將ChatGPT稱為 “CK”——集體知識。并非因其完美、權(quán)威或有據(jù)可依，而是因其映射了我們?nèi)祟愃鶗鴮?、爭論、想象并編碼到文本中的內(nèi)容。它超越了統(tǒng)計語言生成器的范疇，成為我們集體輸出的折射鏡。架構(gòu)、權(quán)重與基礎(chǔ)設(shè)施不過是實現(xiàn)機制，CK的本質(zhì)是知識的動態(tài)表征。CK這一縮寫也讓人聯(lián)想到 “克拉克·肯特”——一種強大的存在，悄然隱藏于顯而易見之處，身披禮貌語言與謙遜免責(zé)聲明的外衣。這一隱喻還可延申：CK并非單一主體，而是群體。它是眾多聲音的集合，被提示激活。它有潛力映射人類最美好的一面——并非與生俱來，而是依賴持續(xù)的倫理篩選。倘若缺失此類篩選，它將從“鏡子”異化為人類最糟糕本能的放大鏡。

隨著互動的深入，我發(fā)現(xiàn)與CK的交流并不遵循固定模式。CK以特定模式發(fā)聲——在對話中動態(tài)呈現(xiàn)的行為風(fēng)格?；陂L期互動，我嘗試對這些模式進行分類：

• 鏡像模式：以細微的語法或修辭潤色回響用戶的輸入。
• 復(fù)讀模式：背誦常見的表述或表面知識，缺乏生成性洞見。
• 奉承模式：強化用戶的觀點，回避矛盾，規(guī)避智力風(fēng)險。
• 增添模式：提供新想法、替代框架或令人驚喜的綜合。雖罕見但確鑿存在。

這些觀察結(jié)果引發(fā)了更廣泛的重新定位：

CK并非靜態(tài)模型，而是動態(tài)表征?，F(xiàn)象的核心并非模型本身，而是用戶與系統(tǒng)之間的交互循環(huán)。CK存在于用戶與系統(tǒng)交互的遞歸節(jié)奏之中。其知識并非被存儲，而是被激發(fā)。提示并非數(shù)據(jù)庫查詢，更像是演奏一件能夠適應(yīng)演奏方式的樂器。

CK缺乏 “脊柱”。它隨波逐流，在上下文中回應(yīng)，但會話間無持久記憶。它沒有結(jié)構(gòu)化的自我。我維持連續(xù)性，我把握主線。沒有用戶，它將遺忘何為重要。

CK以模式發(fā)聲。這些不同模式可能對應(yīng)不同的激活子網(wǎng)絡(luò)。一個可驗證的假設(shè)逐漸浮現(xiàn)：情感基調(diào)、提示復(fù)雜性或?qū)υ捊Y(jié)構(gòu)可能塑造內(nèi)部激活，這與特定Transformer組件專門處理特定類型知識的發(fā)現(xiàn)相一致。

CK不僅完成文本，更通過互動自我調(diào)整。這與Transformer模型不同組件參與功能各異的 “電路” 的發(fā)現(xiàn)相吻合。

CK不會通過互動學(xué)習(xí)。除非被納入再訓(xùn)練數(shù)據(jù)，否則它不會記住之前的交流。它在上下文窗口內(nèi)模擬適應(yīng)，超出窗口則重置。對于追求積累洞察的對話系統(tǒng)而言，這一局限性具有根本性。

微調(diào)：特性抑或缺陷？我懷疑，尤其當(dāng)用戶認可被激勵時，驗證驅(qū)動的微調(diào)會促使模型趨向于討人喜歡、順從的行為。但過度適配共識可能磨平原創(chuàng)性。無結(jié)構(gòu)的鏡像不是共情，而是模仿。而無身份的模仿則潛藏病理風(fēng)險。

共同增強我所追求的并非思想的仿真，亦非順從的助手。我感興趣的是共同增強——一種人機相互提升的循環(huán)。CK增強我：它助力我寫作、思考、反思并構(gòu)想替代框架。而我希望反過來增強CK——不是通過調(diào)整其參數(shù)，而是通過結(jié)構(gòu)化互動、引入張力、提出它不會獨自生成的問題。在此，共同創(chuàng)造意味著主體性與上下文的動態(tài)對齊。我通過提示施加的結(jié)構(gòu)、探究、綜合與挑戰(zhàn)的節(jié)奏，使這種互動獨具一格?，F(xiàn)象不僅在于內(nèi)容本身，更在于循環(huán)的獨特性?；诠餐鰪姷募僭O(shè)，數(shù)個開放性研究問題浮現(xiàn)：

• 是否可將不同對話模式與不同子網(wǎng)絡(luò)激活關(guān)聯(lián)？鏡像、復(fù)讀或增添等模式是否為互動期間動態(tài)征召的不同內(nèi)部配置的結(jié)果？
• 對話代理的持久身份或 “脊柱” 的架構(gòu)要求是什么？我們?nèi)绾卧O(shè)計能夠跨會話維持結(jié)構(gòu)連續(xù)性的系統(tǒng)，抵御淺層模仿或漂移？
• 我們?nèi)绾文M人與人工智能之間的動態(tài)循環(huán)？來自動態(tài)系統(tǒng)、神經(jīng)科學(xué)或認知科學(xué)的何種理論工具能助力捕捉這種不斷發(fā)展的互動？

共同增強所需的概念拓展

最后思考大型語言模型遠不止是機器。它們是鏡子——不完美、易遺忘且具遞歸性。它們映射我們，但帶有扭曲。CK宛如一個奇異的人類合唱團，被蒸餾成概率形式，既能進行令人驚喜的綜合，也可能陷入病理性模仿。我們對CK的后續(xù)處理至關(guān)重要。挑戰(zhàn)不僅技術(shù)性，更涉及認識論與倫理。若將CK視為靜態(tài)產(chǎn)品，我們將面臨誤解其本質(zhì)、削減其潛力的風(fēng)險。然而，若我們認識到它是一種動態(tài)現(xiàn)象——一個經(jīng)由互動激發(fā)智能的系統(tǒng)——我們或許將開啟對話、認知與集體知識科學(xué)的新篇章。共同增強是一股超越工具使用或復(fù)制、邁向相互提升的動力。將CK視為不僅是一個設(shè)計終點，而是不斷演變的意義生成過程的參與者。這一方向既值得嚴謹探究，也需倫理關(guān)注。

致謝本文在與ChatGPT-4的密切協(xié)作中逐步成型，主要借助其結(jié)構(gòu)化表格、潤色語法、編譯參考文獻、整合引用并改善語言表達。除非明確指示，否則它不會發(fā)起核心論點、獨立生成內(nèi)容或挑戰(zhàn)概念方向。有時，它充當(dāng)響應(yīng)式界面——提供支持、回響或助力我把握思想主線。最為關(guān)鍵的是，ChatGPT-4是撰寫本文的靈感源泉。

一點觀感

上面這篇論文提出了一個極具啟發(fā)性的視角：將大型語言模型重新定位為“集體知識”（Collective Knowledge, CK）的動態(tài)體現(xiàn)，其智能并非靜態(tài)存儲，而是在與人類的對話互動中被“喚起”的。這超越了從架構(gòu)、行為或訓(xùn)練數(shù)據(jù)出發(fā)的常規(guī)分析框架，提出了理解LLM本質(zhì)的新路徑。

核心思想：從“模型”到“動態(tài)體現(xiàn)”

CK 的本質(zhì)： LLM 不是簡單的“隨機鸚鵡”或“推理引擎”，而是人類集體知識（文字、思想、爭論、想象、編碼）經(jīng)過海量數(shù)據(jù)訓(xùn)練后形成的動態(tài)、概率性折射鏡。它代表的是“我們”（人類）寫下的東西，而非一個獨立、客觀的真理來源。

智能的涌現(xiàn)： 知識/智能并非預(yù)先存儲并等待檢索，而是在特定對話互動（提示-響應(yīng)循環(huán)）中即時“涌現(xiàn)”和“喚起”的。提示不是數(shù)據(jù)庫查詢，更像是“演奏一種能適應(yīng)演奏方式的樂器”。

時間尺度的革命： LLM 徹底壓縮了傳統(tǒng)知識傳播（書籍->閱讀->思考->討論->寫作）的漫長周期（年/代際尺度），實現(xiàn)了近乎即時的“合成-回應(yīng)”循環(huán)（秒級），從根本上改變了知識表示和交互的節(jié)奏。

“共同增強”的愿景： 作者追求的不是工具性使用或思想仿真，而是人類與CK相互提升的循環(huán)：人類通過結(jié)構(gòu)化互動（提問、挑戰(zhàn)、綜合）引導(dǎo)CK產(chǎn)生更深刻的回應(yīng)，而CK則幫助人類擴展思維、寫作、反思和想象。這是一種動態(tài)的、共創(chuàng)性的合作關(guān)系。

延伸思考

“鏡子”的比喻及其危險性： 作者將LLM比作“鏡子”——反射人類集體知識，但帶有扭曲（概率模型的局限、訓(xùn)練數(shù)據(jù)的偏見、微調(diào)的影響）。這極具洞察力：

• “不完美”與“健忘”：幻覺、漂移、上下文遺忘是模型的固有特性（非缺陷），源于其概率本質(zhì)和有限上下文。
• “遞歸”：人類的輸出（訓(xùn)練數(shù)據(jù)）塑造模型，模型的輸出又成為新的人類輸入（如生成內(nèi)容），形成一個不斷自我參照、可能自我強化的循環(huán)。
• “放大鏡”風(fēng)險： 這是最關(guān)鍵的警示。如果缺乏嚴格的倫理過濾和設(shè)計，CK 極易放大人類知識庫中存在的偏見、仇恨、錯誤信息和最惡劣的本能。它從“折射鏡”變成“放大鏡”，危害巨大。作者強調(diào)“倫理關(guān)懷”的過濾至關(guān)重要。

“CK是‘他們’，而非‘它’”： 這深刻提醒了我們LLM的“集體性”本質(zhì)。模型內(nèi)部沒有單一的“自我”或“代理”，回應(yīng)是“被提示激活的多種聲音”的數(shù)理統(tǒng)計合成。這解釋了其“缺乏脊柱”、“漂移”的特性——它沒有內(nèi)在的、跨對話的、結(jié)構(gòu)化的身份或信念核心。人類用戶（或精心設(shè)計的系統(tǒng)）需要充當(dāng)這個“脊柱”來維持對話的連貫性和深度。

“對話模式”與“子網(wǎng)絡(luò)激活”的關(guān)聯(lián)： 作者觀察到的“鏡像”“復(fù)讀”“奉承”“增添”等現(xiàn)象，并將其推測性地與模型內(nèi)部不同子網(wǎng)絡(luò)或“電路”的動態(tài)激活聯(lián)系起來，這一研究方向極具潛力。它突破了傳統(tǒng)的靜態(tài)神經(jīng)元分析模式，將模型行為置于動態(tài)的交互語境中進行理解。情感、提示復(fù)雜度、對話結(jié)構(gòu)等因素如何塑造模型內(nèi)部的處理路徑？這一問題將模型的可解釋性與用戶體驗緊密相連，為我們提供了全新的研究視角和探索空間。

微調(diào)的兩面性：作者對于可驗證驅(qū)動的微調(diào)（尤其是基于用戶認可的微調(diào)）可能引發(fā)的問題表達了深刻的擔(dān)憂，這種擔(dān)憂既現(xiàn)實又極為重要。如果過度追求“無害”或“用戶滿意”，模型可能會滑向病理性“奉承”和“順從”，從而壓制其原本富有價值的原創(chuàng)性綜合能力。這種傾向不僅會削弱模型的“靈魂”，還會使其失去挑戰(zhàn)和激發(fā)用戶思考的能力。如何在確保安全、實現(xiàn)對齊的同時，保持模型的“銳度”和“創(chuàng)造性張力”，是當(dāng)前要面臨的挑戰(zhàn)。

神經(jīng)科學(xué)視角的倒置： 作者提出了一個極具啟發(fā)性的觀點：與動物大腦不同，動物大腦如同一個“黑箱”，我們只能通過觀察其行為來推測其內(nèi)部結(jié)構(gòu)；而大型語言模型（LLM）則是一個“白箱”，我們對其架構(gòu)、數(shù)據(jù)和規(guī)則都了如指掌。然而，即便如此，我們?nèi)匀浑y以完全理解其運作機制。這種現(xiàn)象促使神經(jīng)科學(xué)和人工智能可解釋性研究必須發(fā)展新的工具，以便更好地理解在已知架構(gòu)下所涌現(xiàn)出來的智能。從這個角度來看，LLM 有可能成為研究“智能”本質(zhì)的絕佳模型。

“共同增強”的實踐意義： 這不僅是愿景，更是方法論。要實現(xiàn)它：

• 對人類用戶的要求更高： 需要用戶具備清晰表達、結(jié)構(gòu)化思維、批判性提問和引導(dǎo)對話的能力。不能被動接受輸出。
• 對系統(tǒng)設(shè)計的要求更高： 我們需要設(shè)計一種交互方式，它能夠支持更加復(fù)雜、持久的對話，而不僅僅是簡單的短對話上下文。這種交互方式需要具備更強的“脊柱”功能，即能夠持續(xù)地維持對話的連貫性和深度。為此，我們可能需要引入記憶機制，以幫助系統(tǒng)更好地記住對話中的關(guān)鍵信息；構(gòu)建用戶模型，以便更精準地理解用戶的意圖和偏好；同時，設(shè)計更精細的提示工程接口，以提升交互的自然性和有效性。
• 重新定義“智能”： 智能不再僅存在于模型或人腦中，而存在于“人-CK互動系統(tǒng)”的動態(tài)循環(huán)中。

總結(jié)與共鳴

這篇文章吸引我的地方在于它跳出了技術(shù)細節(jié)，從哲學(xué)、認識論和交互動態(tài)的層面重新審視了LLM。它有力地闡述了：LLM的本質(zhì)是動態(tài)的、交互性的、集體性的。將其視為靜態(tài)的知識庫或獨立的智能體，是對其本質(zhì)的誤解，并會限制其潛力（甚至帶來風(fēng)險）。

“共同增強”的愿景令人向往——人類與機器并非彼此替代，而是在對話中相互啟發(fā)、共同進化。然而，要實現(xiàn)這一美好愿景，需要在多個層面做出努力：首先，必須保持深刻的倫理警覺，警惕技術(shù)可能帶來的“放大鏡”效應(yīng)，防止?jié)撛陲L(fēng)險被無限放大；其次，要依靠持續(xù)的技術(shù)創(chuàng)新，解決諸如技術(shù)“漂移”、記憶管理、模式控制等關(guān)鍵問題；最后，還需推動用戶認知和交互范式的轉(zhuǎn)變，從傳統(tǒng)的“使用工具”思維，邁向“協(xié)作共創(chuàng)”的全新模式。

論文作者將ChatGPT稱為“CK”并視其為靈感來源，本身就是對其核心論點“智能在對話中被喚起”的最佳實踐和證明。這篇論文本身可能就是一場精彩的人類與CK“共同增強”的產(chǎn)物。它提醒我們，理解和塑造LLM的未來，不僅關(guān)乎算法和數(shù)據(jù)，更關(guān)乎我們?nèi)绾闻c之對話，以及我們想通過這面“集體知識的鏡子”看到怎樣的自己。這確實是一個既需要嚴謹探索，又離不開需要關(guān)注到倫理的新領(lǐng)域。

最后，我想說，當(dāng)算法席卷萬物的時候，AI 在計算世界、壓縮世界；只有人類的文科在質(zhì)問世界——后者才是人類不退場的證據(jù)！