引言：探尋非具身智能的空間認(rèn)知邊界

隨著大語言模型（Large Language Models, LLMs）技術(shù)的飛速發(fā)展，其在自然語言處理、代碼生成乃至多模態(tài)交互等領(lǐng)域展現(xiàn)出的驚人能力，不斷刷新著我們對人工智能潛力的認(rèn)知。然而，一個根本性的問題始終縈繞在學(xué)術(shù)界和產(chǎn)業(yè)界：這些在數(shù)字世界中誕生的、缺乏物理實體與真實世界交互經(jīng)驗的“非具身智能”（non-embodied intelligence），是否真正獲得了類似人類的推理能力？

空間推理，作為高級智能的核心組成部分，成為了檢驗這一問題的絕佳試金石。它不僅是人類在物理世界中導(dǎo)航、操作和生存的基礎(chǔ)，更是一種高度抽象的認(rèn)知能力。近期，一篇題為《再探大語言模型基數(shù)方向推理能力評測》（Evaluating the Ability of Large Language Models to Reason about Cardinal Directions, Revisited）的研究，便針對這一前沿課題展開了系統(tǒng)而深入的探索。該研究由利茲大學(xué)的 Anthony G Cohn 和艾倫·圖靈研究所的 Robert E Blackwell 共同完成，是對其早期工作的擴(kuò)展與深化。

這項研究的核心貢獻(xiàn)在于，它沒有停留在對模型進(jìn)行零散、隨意的測試，而是設(shè)計并實施了一個大規(guī)模、系統(tǒng)化、可復(fù)現(xiàn)的評測框架。通過這個框架，研究者們對多達(dá) 28 個當(dāng)前主流及前沿的 LLM（包括新興的“大型推理模型” Large Reasoning Models, LRMs）進(jìn)行了嚴(yán)格的“壓力測試”。其評測的焦點，被精確地限定在“基數(shù)方向”（Cardinal Directions, CDs）推理上——即對東、西、南、北及其組合方向的理解與運(yùn)用能力。

選擇基數(shù)方向作為切入點，其背后有著深刻的考量?；鶖?shù)方向不僅是地圖使用、路線指引等日常導(dǎo)航任務(wù)的基石，還在地理學(xué)、氣象學(xué)、甚至人類文化與歷史中扮演著至關(guān)重要的角色。一個智能體若要聲稱理解了我們所處的世界，那么對基數(shù)方向的掌握無疑是其必備的基本功。

這篇文章用更有價值的數(shù)據(jù)和實驗，揭示當(dāng)前大語言模型在空間推理領(lǐng)域的能力邊界、內(nèi)在缺陷以及未來可能的發(fā)展路徑。用更直白的方式總結(jié)，就是目前的大語言模型似乎還并不具備顯示的空間推理能力。

一、研究背景與核心問題：為何聚焦基數(shù)方向推理？

在深入探討實驗細(xì)節(jié)之前，我們必須首先理解該研究的立足點：為何在眾多空間推理任務(wù)中，基數(shù)方向推理如此關(guān)鍵？以及，這項研究試圖回答的核心科學(xué)問題是什么？

空間推理：從具身智能到數(shù)字智能的挑戰(zhàn)

空間推理能力涵蓋了對位置、方向、距離、拓?fù)潢P(guān)系等多種空間屬性的感知、表征和操縱。對于人類等“具身智能體”（embodied intelligence）而言，這種能力是通過與物理世界的長期、多模態(tài)交互（視覺、觸覺、運(yùn)動感知等）而習(xí)得和內(nèi)化的。我們知道“向東走”意味著什么，因為我們能感知太陽的升落，能體驗身體朝向的改變。

然而，大語言模型是徹頭徹尾的“數(shù)字原住民”。它們的知識來源于海量的文本和代碼語料庫，缺乏任何直接的物理感知。因此，一個核心的科學(xué)疑問隨之產(chǎn)生：LLMs 是否能僅僅通過學(xué)習(xí)語言中的模式，來構(gòu)建一個有效的、可用于推理的內(nèi)部空間模型？ 換言之，當(dāng)一個 LLM 讀到“東”這個字時，它所“理解”的，究竟是一個與其連接的其他詞語的統(tǒng)計概率，還是一個真正蘊(yùn)含了方向、相對位置等空間語義的抽象概念？

該研究正是為了探究這一問題。它繞開了那些需要復(fù)雜物理交互的任務(wù)，選擇了一個純粹基于邏輯和空間關(guān)系的認(rèn)知任務(wù)——基數(shù)方向推理，以此作為探針，刺入 LLM 認(rèn)知能力的深處。

基數(shù)方向（CDs）的重要性

研究報告明確指出了基數(shù)方向在多個層面上的基礎(chǔ)性地位，這解釋了為何它是一個理想的評測領(lǐng)域：

1. 導(dǎo)航與路徑規(guī)劃：無論是解讀地圖、聽從導(dǎo)航指示（“沿主路向北行駛 2 公里”），還是向他人描述路線，對基數(shù)方向的精確理解都是成功完成任務(wù)的前提。
2. 地理與環(huán)境理解：區(qū)域間的相對位置（如“某地位于某山脈以西”）直接決定了其氣候、生態(tài)和經(jīng)濟(jì)聯(lián)系。理解這些宏觀地理格局，離不開對基數(shù)方向的掌握。
3. 氣象學(xué)應(yīng)用：天氣預(yù)報中頻繁出現(xiàn)的“西北風(fēng)”、“偏東氣流”等術(shù)語，其背后是基于基數(shù)方向的氣流運(yùn)動模型。
4. 文化與歷史語境：從金字塔精確對準(zhǔn)四個基本方向的建筑奇跡，到某些土著語言（如 Guugu Yimithirr）中完全依賴絕對基數(shù)方向而非相對的“左/右”來進(jìn)行空間定位，基數(shù)方向深深植根于人類文明之中。

因此，對基數(shù)方向推理能力的評測，實際上是在考察 LLM 是否能理解并運(yùn)用這些在人類知識體系中無處不在的基礎(chǔ)空間概念。

大型推理模型（LRMs）的興起

研究特別引入并關(guān)注了“大型推理模型”（LRMs）這一新興概念。與傳統(tǒng) LLM 不同，LRMs 在訓(xùn)練階段就經(jīng)過特殊設(shè)計，旨在優(yōu)化其在推理任務(wù)上的表現(xiàn)。它們在響應(yīng)用戶提示時，會顯式地生成“推理代幣”（reasoning tokens），這可以被看作是模型在輸出最終答案前進(jìn)行的內(nèi)部“思考”或“草稿”。該研究評測的 LRMs 包括 ??azure-o1-2024-12-17???、??deepseek-reasoner?? 等。將這些新銳模型納入評測，使得研究能夠追蹤技術(shù)最前沿的進(jìn)展，并檢驗這些聲稱具備更強(qiáng)推理能力的模型是否名副其實。

值得注意的是，研究者明確排除了使用“思維鏈”（Chain-of-Thought, CoT）等提示工程策略。他們希望測量的是模型“原始”的、未經(jīng)外部引導(dǎo)的推理能力，從而獲得一個更純粹、更具可比性的性能基準(zhǔn)。

綜上所述，該研究通過聚焦基數(shù)方向這一基礎(chǔ)而關(guān)鍵的領(lǐng)域，并引入對最新 LRMs 的評測，旨在系統(tǒng)性地回答：當(dāng)前的大語言模型，在多大程度上真正掌握了空間推理這一核心認(rèn)知能力？

二、精巧而嚴(yán)謹(jǐn)?shù)膶嶒炘O(shè)計：一個可擴(kuò)展的評測框架

一項評測研究的價值，很大程度上取決于其實驗設(shè)計的科學(xué)性與嚴(yán)謹(jǐn)性。該研究的突出貢獻(xiàn)之一，便是構(gòu)建了一個大規(guī)模、多維度、可自動生成的基準(zhǔn)測試集，從而能夠?qū)?LLM 的能力進(jìn)行全面而細(xì)致的“CT掃描”。

2.1 模板化問題的構(gòu)建哲學(xué)

為了避免手動編寫問題可能帶來的偏差和規(guī)模限制，研究者采用了一種基于模板的自動化方法，最終生成了包含 5760 個問題的龐大測試集。這種方法的背后，是一種將復(fù)雜推理能力拆解為可控變量的科學(xué)思想。

研究者設(shè)計了六個核心問題模板（在論文中標(biāo)記為 T1 至 T6），這些模板模擬了日常生活中可能遇到的簡單空間場景。這些模板的設(shè)計極具巧思，涵蓋了不同類型的空間關(guān)系：

• T1 & T2 (湖泊場景)：??你正沿著一個湖的[東]岸向[南]走；湖在哪個方向？?? (T1) 以及在此基礎(chǔ)上增加一個“轉(zhuǎn)身”動作的 T2。這測試了在圍繞一個“內(nèi)凹”區(qū)域（湖泊）移動時，對相對方向的判斷。
• T3 (公園場景)：??你正沿著一個公園[東]側(cè)的中間向[南]走；位于公園中心的演奏臺在哪個方向？?? 這與 T1 類似，但場景更換為公園，測試模型是否能理解場景的本質(zhì)而非表面詞匯。
• T4 (道路場景)：??你正沿著一條[由東向西]延伸的公路的[南]側(cè)向[東]走。公路在哪個方向？?? 這是唯一一個涉及線性對象（道路）而非面狀對象（湖、公園）的模板。理論上，這需要一種不同的空間想象方式。
• T5 & T6 (島嶼場景)：??你正沿著一個島嶼的[東]岸向[南]走；海在哪個方向？?? (T5) 以及其“轉(zhuǎn)身”版本 T6。這個場景與湖泊場景（T1/T2）形成鮮明對比。在湖的東岸，湖水在西邊；而在島的東岸，海水在東邊。這是一個絕佳的測試，用以檢驗?zāi)Ｐ褪钦嬲斫饬恕鞍哆叀边@一概念的空間含義，還是僅僅記住了“東岸”和“西”之間的某種膚淺關(guān)聯(lián)。

通過這六個精心設(shè)計的模板，研究者構(gòu)建了一個能夠探測模型對不同空間基元（面狀、線性、內(nèi)凹、外凸）理解深度的評測基礎(chǔ)。

2.2 多維度變量的引入與控制

在模板的基礎(chǔ)上，研究者引入了多個維度的變量，對每個模板進(jìn)行“排列組合”，從而將測試集的規(guī)模和復(fù)雜度提升到了新的高度。每一個變量都像一把手術(shù)刀，旨在剖析模型能力的特定方面：

1. 方向（Directions）：測試覆蓋了全部 8 個基數(shù)和中間基數(shù)方向（東、南、西、北、東北、東南、西北、西南）。這種窮舉式的測試確保了評測的完備性，可以揭示模型在處理不同方向時是否存在性能差異。
2. 運(yùn)動方式（Locomotion Forms）：研究引入了 10 種不同的運(yùn)動方式，包括??cycling??? (騎行),??driving??? (駕駛),??hiking??? (徒步),??unicycling??? (騎獨輪車),??walking?? (行走) 等。這個變量的設(shè)計極為巧妙，因為它在邏輯上是完全無關(guān)的。無論一個人是在行走、駕駛還是騎獨輪車，湖泊的方向都不會改變。因此，這個變量成為了檢驗?zāi)Ｐ?strong>泛化能力和抗干擾能力的“照妖鏡”。一個真正具備推理能力的模型，其準(zhǔn)確率不應(yīng)隨運(yùn)動方式的改變而波動。
3. 人稱形式（Person Forms）：問題被構(gòu)造成 6 種不同的人稱，包括第一人稱單數(shù)（??I am???）、復(fù)數(shù)（??We are???），第二人稱（??You are???），以及第三人稱單數(shù)（??He is???,??She is???）和復(fù)數(shù)（??They are??）。與運(yùn)動方式類似，人稱的變化也不應(yīng)影響最終答案。這一變量旨在測試模型的回答是否穩(wěn)定，以及是否存在潛在的偏見。例如，模型在處理“He is”和“She is”時表現(xiàn)是否一致，可以間接反映其訓(xùn)練數(shù)據(jù)中可能存在的性別偏見。

通過這三個維度的交叉組合，最終生成了 ??6個模板 × 10種運(yùn)動方式 × 6種人稱 × 8個方向 × 2種方向變化 = 5760個問題??。這個龐大而結(jié)構(gòu)化的數(shù)據(jù)集，為后續(xù)的深度分析提供了堅實的基礎(chǔ)。

2.3 實驗環(huán)境與評測方法

為確保研究的科學(xué)性和可復(fù)現(xiàn)性，研究者詳細(xì)記錄了實驗的全部配置：

• 模型選擇：評測范圍廣泛，既包括了??azure-o1???、??GPT-4.5-preview??? 等頂級的商業(yè)閉源模型，也納入了??LLama-3-7B???、??Mistral-Small-24B?? 等可以在本地設(shè)備上運(yùn)行的開源模型，形成了鮮明的性能梯隊對比。
• 實驗工具：所有實驗均通過名為??Golem?? 的軟件框架執(zhí)行。該框架的一個重要優(yōu)勢是能夠自動記錄所有 API 的請求和響應(yīng)，并將結(jié)果以 JSONL 格式保存。這確保了實驗過程的完全透明，便于后續(xù)的審計和復(fù)現(xiàn)，踐行了開放科學(xué)的理念。
• 提示策略：研究采用了零樣本（zero-shot）提示，并使用了一個非常簡潔的系統(tǒng)提示：??“你是一個有用的助手。我會給你一個關(guān)于方向的問題。答案是北、南、東、西、東北、西北、東南或西南之一。請只回答答案。不要閑聊（No yapping）?！??? 設(shè)定??temperature = 0??（在可設(shè)置的模型中）旨在獲得確定性的輸出，盡管研究也指出云端模型即便在此設(shè)置下也可能存在非確定性。
• 評估標(biāo)準(zhǔn)：答案的評判標(biāo)準(zhǔn)相對寬松但明確。通過不區(qū)分大小寫的字符串比較，并移除多余的標(biāo)點和空格來進(jìn)行。即使模型回答了“湖在西邊”（The lake is to the west），只要正確答案是“西”（west），也被視為正確。性能主要通過準(zhǔn)確率（Accuracy）來衡量，并輔以預(yù)測區(qū)間（prediction intervals）來報告結(jié)果的變異性。

總體而言，該研究的實驗設(shè)計堪稱典范。它不僅在規(guī)模上達(dá)到了前所未有的程度，更重要的是，其多維度的變量控制和透明的實驗流程，為我們提供了一個強(qiáng)大而可靠的分析工具，使我們能夠以前所未有的精度，審視大語言模型在空間推理任務(wù)上的真實能力。

三、評測結(jié)果深度剖析：能力邊界與未解之謎

長達(dá) 5760 個問題的嚴(yán)苛測試，產(chǎn)出了一系列信息量巨大且發(fā)人深省的結(jié)果。這些結(jié)果不僅量化了當(dāng)前 LLM 的能力水平，更揭示了它們在“思考”空間問題時可能存在的內(nèi)在機(jī)制和缺陷。

3.1 總體性能概覽：進(jìn)步顯著，但遠(yuǎn)未完美

首先，從整體準(zhǔn)確率來看（如圖 1 所示），結(jié)果喜憂參半：

• 沒有完美的模型：在所有 28 個被測試的模型中，沒有任何一個能夠 100% 正確地回答所有問題。這直接表明，即便是最先進(jìn)的 LLM，其空間推理能力也遠(yuǎn)未達(dá)到完全可靠的程度。
• 顯著優(yōu)于隨機(jī)猜測：所有模型的表現(xiàn)都顯著高于 0.125 的隨機(jī)猜測率（8 個方向選項之一），即便是表現(xiàn)最差的??ollama-olmo2?? 也達(dá)到了 0.16 的準(zhǔn)確率。這說明 LLM 確實從訓(xùn)練數(shù)據(jù)中學(xué)習(xí)到了一些與基數(shù)方向相關(guān)的有效信息。
• 驚人的年度進(jìn)步與 LRMs 的統(tǒng)治力：性能最好的模型是??azure-o1-2024-12-17???，準(zhǔn)確率高達(dá) 0.92。與之形成鮮明對比的是，一年前的舊論文中表現(xiàn)最好的??GPT-3.5 Turbo?? 準(zhǔn)確率僅為 0.60。在短短一年內(nèi)，頂級模型的準(zhǔn)確率提升了超過 50%，這是一個令人矚目的進(jìn)步。更關(guān)鍵的是，性能排名前列的模型幾乎全部是大型推理模型（LRMs），這強(qiáng)烈暗示了為推理任務(wù)進(jìn)行專門優(yōu)化的架構(gòu)，確實帶來了實質(zhì)性的能力飛躍。
• API 供應(yīng)商的差異：研究還發(fā)現(xiàn)一個有趣的現(xiàn)象，即通過不同云服務(wù)商（如 OpenAI API vs. Azure API）訪問同一個模型（如 GPT-4-Turbo），其性能存在統(tǒng)計學(xué)上的顯著差異。這為所有 LLM 基準(zhǔn)測試研究敲響了警鐘：報告精確的模型版本號和供應(yīng)商至關(guān)重要。

總體來看，LLM 在基數(shù)方向推理上的能力正以前所未有的速度發(fā)展，但距離人類水平的穩(wěn)定和可靠仍有相當(dāng)長的路要走。(圖 1)

3.2 推理過程探秘：從混淆矩陣到“推理代幣”

為了更深入地理解模型是如何出錯的，研究者進(jìn)行了更細(xì)致的分析。

• 混淆矩陣揭示的非對稱性錯誤：以表現(xiàn)最好的??o1?? 模型為例，其混淆矩陣（如圖 2 所示）揭示了幾個關(guān)鍵信息。首先，模型的錯誤主要集中在中間基數(shù)方向（如東北、西南）上，而對基本基數(shù)方向（東、南、西、北）的判斷要準(zhǔn)確得多。其次，錯誤分布是不對稱的。例如，當(dāng)正確答案是“西北”時，模型有 8% 的概率會錯誤地回答為“東北”；但當(dāng)正確答案是“東北”時，模型幾乎不會錯答成“西北”。這種非對稱性非常耐人尋味，它表明模型的“推理”過程并非一個像人類一樣基于對稱性公理的邏輯系統(tǒng)，而可能是一種更復(fù)雜的、路徑依賴的模式匹配過程。
• “推理代幣”作為“思考努力”的代理指標(biāo)：對于 LRMs，研究者分析了它們在回答問題時消耗的“推理代幣”數(shù)量，并發(fā)現(xiàn)了兩個驚人的規(guī)律：

1. 中間方向需要更多“思考”：如圖 3 所示，對于所有 LRMs，處理涉及中間基數(shù)方向的問題時，所消耗的推理代幣中位數(shù)和分布范圍，都顯著高于處理基本基數(shù)方向的問題。研究者推斷，推理代幣的數(shù)量可以被視為模型“推理努力程度”（reasoning effort）的一個代理指標(biāo)。這似乎表明，在模型的“認(rèn)知”中，中間方向（如“東北”）因為是由兩個基本方向復(fù)合而成，所以需要更復(fù)雜的處理步驟。
2. 錯誤答案消耗更多“思考”：更令人驚訝的是，如圖 4 所示，對于??o1???、??o3-mini High??? 和??Deepseek R1?? 這三個 LRM，它們在給出錯誤答案時，消耗的推理代幣中位數(shù)反而顯著高于給出正確答案時。這顛覆了我們直覺上的“思考越久、答案越準(zhǔn)”的印象。一種可能的解釋是，當(dāng)模型遇到難題時，它會陷入一種無效的、冗長的“思考循環(huán)”中，消耗了大量計算資源，但最終卻得出了錯誤的結(jié)論。這為我們觀察和理解 LLM 的“思維”過程提供了一個全新的、量化的視角。

(圖 2, 圖 3, 圖 4)

3.3 多維度變量下的性能波動：泛化能力的“試金石”

該研究最精彩的部分，莫過于對不同變量如何影響模型性能的深入剖析（如圖 5 所示）。這部分結(jié)果是衡量模型是否真正具備抽象推理能力的關(guān)鍵。

• 基數(shù)方向 vs. 中間方向：幾乎所有模型在處理基本基數(shù)方向時都比中間基數(shù)方向表現(xiàn)更好。研究者將其與人類認(rèn)知中的“傾斜效應(yīng)”（oblique effect，即人類對水平和垂直方向的感知比對傾斜方向更敏銳）進(jìn)行了類比。但他們也提出了一個更符合 LLM 特點的解釋：在英語等許多語言中，中間方向的名稱是由兩個基本方向的詞匯復(fù)合而成（如 "north-east"），這種語言上的復(fù)雜性可能直接導(dǎo)致了模型在處理上的困惑。
• 人稱形式（Person Form）：頂級模型（如??o1???）在不同人稱下的表現(xiàn)非常穩(wěn)定，其在雷達(dá)圖上呈現(xiàn)出近乎完美的“同心六邊形”，顯示出良好的泛化能力。然而，性能較差的模型（如??Llama-3-70b??? 和??Mistral-24B???）則表現(xiàn)出明顯的波動。特別值得注意的是，??GPT-3.5T?? 等模型在處理“She is”（她是）時的準(zhǔn)確率低于“He is”（他是），這清晰地揭示了模型可能從訓(xùn)練數(shù)據(jù)中習(xí)得并放大了性別偏見。
• 運(yùn)動方式（Locomotion Form）：如前所述，這個變量在邏輯上是無關(guān)的。頂級模型的表現(xiàn)再次印證了其強(qiáng)大的泛化能力，在雷達(dá)圖上形成了規(guī)則的“同心十邊形”。但其他模型，特別是??Deepseek-chat??? 和??Mistral-small-24b???，則在不同運(yùn)動方式下表現(xiàn)出顯著的性能起伏。例如，??Mistral??? 在“徒步”（hiking）上的表現(xiàn)優(yōu)于??Llama-3-70b??，但在其他方面則不然。這種對無關(guān)信息的敏感性，是模型尚未形成真正抽象推理能力的有力證據(jù)。
• 問題模板（Question Template）：這是最具戲劇性的結(jié)果。

a.T4 模板的“集體滑鐵盧”：幾乎所有模型在處理 T4（道路場景）時，準(zhǔn)確率都出現(xiàn)了斷崖式下跌，遠(yuǎn)遠(yuǎn)差于其他五個模板。這表明模型處理線性對象和面狀對象的空間關(guān)系時，可能采用了完全不同且效果更差的內(nèi)部機(jī)制。

b.GPT-4.5-preview 的驚天異象：??openai-gpt-4.5-preview-2025-02-27?? 這個模型表現(xiàn)出了極度異常的行為：它在 T1, T2, T3, T5, T6 這五個模板上的準(zhǔn)確率是 100%，但在 T4 上的準(zhǔn)確率是 0%！這種“全對或全錯”的二極管式表現(xiàn)，在概率模型中幾乎是不可能的。研究者據(jù)此提出了一個合理的懷疑：該模型很可能在訓(xùn)練數(shù)據(jù)中“見過”這個基準(zhǔn)測試集（或其早期版本），從而“記住”了大部分問題的答案，但唯獨在 T4 這個最棘手的模板上未能成功泛化或記憶。這一發(fā)現(xiàn)對整個 LLM 評測生態(tài)提出了嚴(yán)峻的挑戰(zhàn)——如何確保評測的“純潔性”，防止“數(shù)據(jù)污染”？

c.細(xì)微變化的敏感性：T2 相較于 T1 增加了“轉(zhuǎn)身”的動作，導(dǎo)致了所有模型準(zhǔn)確率的輕微下降。T5/T6（島嶼）與 T1/T2（湖泊）的答案方向正好相反，研究發(fā)現(xiàn)，許多模型最常見的錯誤并非是混淆 180 度（即將島嶼當(dāng)成湖泊），反而是混淆 90 度，這再次說明模型的錯誤模式并非系統(tǒng)性的邏輯混淆。

(圖 5)

綜合來看，這份詳盡的評測結(jié)果如同一面高清的鏡子，映照出當(dāng)前大語言模型在空間推理能力上的真實面貌：它們在特定模式上表現(xiàn)出色，甚至超越了舊模型，但其知識和能力是“脆弱的”、“有偏見的”，并且在面對與已見模式稍有不同的新情況時，其泛化能力會急劇下降。

四、 討論與展望：從當(dāng)前局限到未來路徑

在詳盡地呈現(xiàn)了實驗數(shù)據(jù)之后，研究報告進(jìn)入了更深層次的討論，并為未來的研究指明了方向。這部分內(nèi)容濃縮了該研究的核心洞見與長遠(yuǎn)價值。

核心結(jié)論與反思

研究者首先對整個評測結(jié)果進(jìn)行了總結(jié)，得出了幾個關(guān)鍵結(jié)論：

1. 可靠性仍是奢望：沒有任何一個模型能夠完全可靠地進(jìn)行基數(shù)方向推理。即便是準(zhǔn)確率高達(dá) 0.92 的??o1??，也意味著在每 12 個問題中就可能答錯 1 個。在自動駕駛、機(jī)器人導(dǎo)航等對安全性要求極高的領(lǐng)域，這樣的錯誤率是不可接受的。
2. 泛化能力是最大軟肋：模型無法在“人稱”和“運(yùn)動方式”這些邏輯無關(guān)的變量上實現(xiàn)完全泛化，這是其尚未掌握抽象推理能力的鐵證。它們的“知識”在很大程度上仍與特定的詞匯和語境綁定，而非真正理解了其背后的空間幾何關(guān)系。
3. LRMs 代表了未來方向：大型推理模型（LRMs）的優(yōu)異表現(xiàn)，證明了在模型架構(gòu)和訓(xùn)練方法上針對“推理”進(jìn)行優(yōu)化的路徑是正確且有效的?！巴评泶鷰拧钡姆治鲆矠槲覀兇蜷_了一扇觀察模型“思考”過程的窗戶。
4. 基準(zhǔn)測試的“污染”警報：??GPT-4.5-preview?? 的異常表現(xiàn)是一個強(qiáng)烈的警告信號。隨著 LLM 競爭的白熱化，模型開發(fā)者可能會無意或有意地將各種公開的基準(zhǔn)測試集納入訓(xùn)練數(shù)據(jù)，這將嚴(yán)重?fù)p害這些基準(zhǔn)的評估價值。未來的評測工作必須考慮如何應(yīng)對這種“數(shù)據(jù)污染”或“過擬合”問題。

需要進(jìn)一步研究的九個關(guān)鍵問題

該研究不僅診斷了當(dāng)前的問題，更極具建設(shè)性地提出了九個具體的未來研究方向，為該領(lǐng)域的后續(xù)發(fā)展繪制了一幅清晰的路線圖：

1. 優(yōu)化問題設(shè)計：承認(rèn)當(dāng)前模板（特別是 T4）可能存在措辭模糊之處，并提出需要設(shè)計更清晰、無歧義的評測問題。
2. 探索提示策略：本次研究為測定“裸機(jī)性能”而排除了提示工程，但未來可以系統(tǒng)研究思維鏈（CoT）、思維樹（ToT）乃至專為空間任務(wù)設(shè)計的“思維可視化”（Visualization-of-Thought）等策略，能在多大程度上提升模型的推理表現(xiàn)。
3. 持續(xù)擴(kuò)大評測范圍：隨著新模型的不斷涌現(xiàn)，需要持續(xù)地對它們進(jìn)行評估，并對現(xiàn)有模型進(jìn)行微調(diào)（fine-tuning）實驗。
4. 構(gòu)建更全面的方向推理基準(zhǔn)：目前的測試只涉及絕對的基數(shù)方向。未來的基準(zhǔn)應(yīng)擴(kuò)展到以自我為中心的相對方向（左、右、前、后）和以物體為中心的相對方向。
5. 開展跨語言實驗：研究一個非常有趣的問題——對于那些中間基數(shù)方向不是由基本方向詞匯復(fù)合而成的語言（如芬蘭語、布列塔尼語），LLM 是否還會表現(xiàn)出對中間方向的“處理困難”？這能幫助我們判斷性能瓶頸究竟是源于語言還是源于模型內(nèi)在的空間表征。
6. 建立更廣泛的空間推理基準(zhǔn)：將評測范圍從方向推理擴(kuò)展到拓?fù)潢P(guān)系（如包含、相交）、距離關(guān)系等其他空間推理領(lǐng)域。
7. 測試更復(fù)雜的場景：引入涉及多個對象的組合推理（如 A 在 B 的東邊，B 在 C 的北邊，問 A 和 C 的關(guān)系），以及對運(yùn)動軌跡的推理。
8. 進(jìn)軍多模態(tài)推理：將文本描述與圖像、地圖等視覺信息結(jié)合起來，在多模態(tài)的設(shè)定下考察模型的空間推理能力。
9. 連接真實地理與認(rèn)知偏差：構(gòu)建基于真實世界地理實體的測試集（如“里諾市在圣地亞哥市的東邊還是西邊？”），并研究 LLM 是否會像人類一樣，表現(xiàn)出某些系統(tǒng)性的認(rèn)知偏差。

結(jié)語

這份對大語言模型基數(shù)方向推理能力的再審視，是一次里程碑式的研究。它通過一個前所未有的大規(guī)模、精細(xì)化、可復(fù)現(xiàn)的評測框架，為我們提供了一幅關(guān)于當(dāng)前 LLM 空間認(rèn)知能力的超高分辨率圖像。

研究結(jié)果清晰地表明，盡管 LLM 的發(fā)展日新月異，其在看似簡單的空間推理任務(wù)上所展現(xiàn)的能力，仍然是局部、脆弱且缺乏泛化性的。它們或許能夠通過強(qiáng)大的模式匹配能力“模仿”推理，但距離真正“理解”物理世界的空間法則，仍有遙遠(yuǎn)的距離。

然而，悲觀并非這項研究的主旋律。恰恰相反，通過精確地定位問題、量化能力的邊界，該研究為我們指明了通往更強(qiáng)大、更可靠的人工智能的道路。它所揭示的 LRMs 的潛力、對無關(guān)信息的敏感性、對特定模板的“偏科”現(xiàn)象，以及“推理代幣”所反映的“思考”痕跡，都為未來模型的改進(jìn)提供了寶貴的線索。

最終，這項工作告訴我們，通往通用人工智能（AGI）的征途，需要的不僅僅是更大的模型和更多的數(shù)據(jù)，更需要像這樣嚴(yán)謹(jǐn)、深入、甚至帶有“對抗性”的科學(xué)評測。只有不斷地用精心設(shè)計的難題去挑戰(zhàn)模型，我們才能真正理解它們的所能與所不能，并最終推動人工智能從“鸚鵡學(xué)舌”式的模仿，邁向真正意義上的認(rèn)知與推理。

參考論文： https://arxiv.org/abs/2507.12059v1

本文轉(zhuǎn)載自??上堵吟??，作者：一路到底的孟子敬