From Scores to Skills: A Cognitive Diagnosis Framework for Evaluating Financial Large Language Models

2025-08-19｜WHU, WHU, NAU, SWJTU, BUFT, AU, UoM|??53??http://arxiv.org/abs/2508.13491v1https://huggingface.co/papers/2508.13491https://github.com/WHUNextGen/FinCDM??

研究背景與意義

1. 問(wèn)題定義與現(xiàn)狀概述金融領(lǐng)域中大型語(yǔ)言模型（LLMs）展現(xiàn)出廣泛應(yīng)用潛力，但現(xiàn)有評(píng)測(cè)方法多依賴單一分?jǐn)?shù)，難以揭示模型對(duì)金融知識(shí)的具體掌握情況。傳統(tǒng)金融LLM評(píng)測(cè)基準(zhǔn)覆蓋面狹窄，忽視了稅務(wù)、監(jiān)管等關(guān)鍵領(lǐng)域，且無(wú)法反映模型在不同金融技能上的差異。
2. 挑戰(zhàn)與目標(biāo)闡明當(dāng)前評(píng)測(cè)面臨“分?jǐn)?shù)扁平化”問(wèn)題，導(dǎo)致模型能力被過(guò)度簡(jiǎn)化。為解決這一瓶頸，論文旨在構(gòu)建一個(gè)認(rèn)知診斷框架FinCDM，能夠從知識(shí)與技能層面細(xì)致評(píng)估金融LLMs，揭示其優(yōu)勢(shì)與不足，推動(dòng)更可信和針對(duì)性的模型開(kāi)發(fā)。

研究方法與創(chuàng)新

1. 技術(shù)框架設(shè)計(jì)FinCDM借鑒教育心理學(xué)中的認(rèn)知診斷模型（CDM），通過(guò)非負(fù)矩陣協(xié)同分解方法，將模型對(duì)題目的回答矩陣分解為題目潛在技能需求、模型潛在技能掌握度和技能與金融知識(shí)點(diǎn)的映射矩陣，形成多維度、可解釋的能力畫(huà)像。
2. 數(shù)據(jù)集創(chuàng)新構(gòu)建CPA-QKA數(shù)據(jù)集，基于權(quán)威的注冊(cè)會(huì)計(jì)師考試大綱，涵蓋70個(gè)核心金融概念，由三位領(lǐng)域?qū)＜覈?yán)格編寫(xiě)和標(biāo)注問(wèn)題，保證高質(zhì)量與廣泛覆蓋。另對(duì)現(xiàn)有FinEval數(shù)據(jù)集進(jìn)行細(xì)粒度知識(shí)點(diǎn)標(biāo)注，驗(yàn)證數(shù)據(jù)集的結(jié)構(gòu)合理性。
3. 優(yōu)勢(shì)與理論基礎(chǔ)

• 細(xì)粒度診斷能力：不同于傳統(tǒng)單一準(zhǔn)確率，F(xiàn)inCDM能精確定位模型在具體金融知識(shí)點(diǎn)上的掌握情況。
• 覆蓋全面、注重實(shí)用：涵蓋財(cái)務(wù)、審計(jì)、稅務(wù)、經(jīng)濟(jì)法等多個(gè)子領(lǐng)域，反映真實(shí)金融業(yè)務(wù)需求。
• 理論支撐：采用概率生成模型結(jié)合矩陣分解技術(shù)，提升了模型推斷的魯棒性和解性，相較傳統(tǒng)DINA、神經(jīng)網(wǎng)絡(luò)或圖模型，表現(xiàn)出更優(yōu)的預(yù)測(cè)準(zhǔn)確度和泛化能力。

4. 對(duì)比現(xiàn)有方法通過(guò)與神經(jīng)網(wǎng)絡(luò)CDM和圖神經(jīng)網(wǎng)絡(luò)CDM對(duì)比，F(xiàn)inCDM在準(zhǔn)確率、AUC及RMSE指標(biāo)上均顯著優(yōu)越，證明了其在金融領(lǐng)域認(rèn)知診斷任務(wù)中的有效性。

實(shí)驗(yàn)設(shè)計(jì)與結(jié)果分析

1. 實(shí)驗(yàn)設(shè)計(jì)評(píng)測(cè)覆蓋30余款中文能力強(qiáng)的LLMs，包括閉源通用模型（如GPT-4、Claude系列）、開(kāi)源通用模型（如Baichuan、Falcon）及金融領(lǐng)域?qū)Ｓ媚Ｐ停ㄈ鏔inma、CFGPT）。使用統(tǒng)一的提示模板和生成配置，保證評(píng)測(cè)公平性和結(jié)果穩(wěn)定性。
2. 結(jié)果分析

• 知識(shí)掌握差異顯著：FinCDM揭示了模型在不同金融知識(shí)點(diǎn)的掌握差異。如Gemini-2.5-Pro擅長(zhǎng)國(guó)際會(huì)計(jì)準(zhǔn)則相關(guān)內(nèi)容，而Doubao-1.5-Pro則在財(cái)務(wù)成本管理領(lǐng)域表現(xiàn)突出。
• 語(yǔ)言資源影響明顯：缺乏中文預(yù)訓(xùn)練的模型（如Falcon-7B）表現(xiàn)較差，顯示語(yǔ)言資源對(duì)金融知識(shí)習(xí)得至關(guān)重要。
• 數(shù)據(jù)集結(jié)構(gòu)影響：FinEval-KQA數(shù)據(jù)集因知識(shí)點(diǎn)分布不均，導(dǎo)致模型表現(xiàn)偏向高頻概念，CPA-KQA則提供更均衡的評(píng)估視角。
• 診斷準(zhǔn)確性驗(yàn)證：通過(guò)對(duì)Claude 3.5模型在特定金融概念（如F3、F5）上的錯(cuò)誤回答進(jìn)行專家復(fù)核，確認(rèn)FinCDM診斷結(jié)果的可靠性。

3. 模型行為模式揭示通過(guò)潛在技能掌握矩陣分析，發(fā)現(xiàn)模型群體存在明顯的行為聚類(lèi)，反映不同模型在金融知識(shí)領(lǐng)域的專長(zhǎng)和弱點(diǎn)，為后續(xù)模型定向優(yōu)化提供依據(jù)。

結(jié)論與展望

1. 研究貢獻(xiàn)總結(jié)

• 首次提出面向金融LLMs的認(rèn)知診斷評(píng)估框架FinCDM，突破傳統(tǒng)單一分?jǐn)?shù)限制，實(shí)現(xiàn)知識(shí)技能層面的細(xì)粒度評(píng)測(cè)。
• 構(gòu)建高質(zhì)量、覆蓋全面的CPA-QKA數(shù)據(jù)集，結(jié)合嚴(yán)謹(jǐn)?shù)膶＜覙?biāo)注流程，提升了評(píng)測(cè)的權(quán)威性和實(shí)用價(jià)值。
• 通過(guò)大規(guī)模多模型實(shí)驗(yàn)，揭示了金融LLMs在知識(shí)掌握上的多樣化表現(xiàn)，促進(jìn)了模型理解和可信度提升。

2. 局限性分析

• 當(dāng)前數(shù)據(jù)集主要基于中文金融知識(shí)，跨語(yǔ)言和跨文化的泛化能力尚需驗(yàn)證。
• 矩陣分解模型假設(shè)線性關(guān)系，可能限制對(duì)復(fù)雜非線性知識(shí)結(jié)構(gòu)的捕捉。
• 部分金融知識(shí)點(diǎn)因數(shù)據(jù)稀缺仍難以充分評(píng)估，未來(lái)需擴(kuò)展數(shù)據(jù)覆蓋。

3. 未來(lái)展望
   

• 拓展多語(yǔ)言、多文化金融數(shù)據(jù)集，增強(qiáng)模型跨域適應(yīng)能力。
• 融合更先進(jìn)的非線性診斷模型，如圖神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)方法，提升診斷精度和解釋力。
• 將認(rèn)知診斷結(jié)果反饋至模型訓(xùn)練環(huán)節(jié)，實(shí)現(xiàn)動(dòng)態(tài)知識(shí)補(bǔ)全和定向能力提升，推動(dòng)金融LLMs向更高可信度和專業(yè)度發(fā)展。

FutureX: An Advanced Live Benchmark for LLM Agents in Future Prediction

2025-08-16｜ByteDance Seed, Fudan U, Stanford U, Princeton|??46

??http://arxiv.org/abs/2508.11987v2https://huggingface.co/papers/2508.11987??

研究背景與意義

1. 研究背景未來(lái)預(yù)測(cè)是大型語(yǔ)言模型（LLM）代理面臨的復(fù)雜任務(wù)，要求具備高度的分析思維、信息收集、上下文理解和不確定性下的決策能力。當(dāng)前雖然存在多種LLM評(píng)測(cè)基準(zhǔn)，但多集中于靜態(tài)知識(shí)或模擬環(huán)境，缺乏對(duì)動(dòng)態(tài)、實(shí)時(shí)未來(lái)事件預(yù)測(cè)的系統(tǒng)性評(píng)估。未來(lái)預(yù)測(cè)任務(wù)不僅涉及實(shí)時(shí)數(shù)據(jù)整合，還要求模型在信息不斷變化的環(huán)境中進(jìn)行推理和預(yù)測(cè)，類(lèi)似于政治、經(jīng)濟(jì)和金融領(lǐng)域的專業(yè)人類(lèi)分析師。
2. 研究意義該領(lǐng)域缺乏大規(guī)模、動(dòng)態(tài)、無(wú)數(shù)據(jù)污染的評(píng)測(cè)基準(zhǔn)，限制了LLM代理未來(lái)預(yù)測(cè)能力的準(zhǔn)確評(píng)估和提升。FutureX填補(bǔ)了這一空白，提供了一個(gè)涵蓋廣泛領(lǐng)域、支持實(shí)時(shí)更新的未來(lái)預(yù)測(cè)動(dòng)態(tài)評(píng)測(cè)平臺(tái)，推動(dòng)LLM代理向?qū)I(yè)人類(lèi)分析師水平邁進(jìn)，促進(jìn)智能體在復(fù)雜真實(shí)環(huán)境中的應(yīng)用和發(fā)展。

研究方法與創(chuàng)新

1. 技術(shù)描述FutureX構(gòu)建了一個(gè)自動(dòng)化、動(dòng)態(tài)的未來(lái)事件評(píng)測(cè)流水線，涵蓋事件庫(kù)構(gòu)建、每日事件篩選、代理預(yù)測(cè)執(zhí)行和答案獲取四大環(huán)節(jié)。通過(guò)從2000余個(gè)網(wǎng)站篩選出195個(gè)高質(zhì)量、多領(lǐng)域數(shù)據(jù)源，結(jié)合模板化事件生成和隨機(jī)變量替換，保證了事件的多樣性和實(shí)時(shí)性。系統(tǒng)每日自動(dòng)運(yùn)行，收集代理預(yù)測(cè)并在事件結(jié)果公布后自動(dòng)抓取真實(shí)答案，實(shí)現(xiàn)全流程閉環(huán)自動(dòng)評(píng)測(cè)。
2. 創(chuàng)新點(diǎn)

• 數(shù)據(jù)污染根除設(shè)計(jì)：通過(guò)預(yù)測(cè)未來(lái)尚未發(fā)生事件，杜絕歷史數(shù)據(jù)導(dǎo)致的邏輯泄漏和檢索污染，確保評(píng)測(cè)公正性和可信度。
• 真實(shí)世界動(dòng)態(tài)環(huán)境：非模擬環(huán)境，直接面對(duì)真實(shí)、復(fù)雜、多變的信息流，考驗(yàn)代理的綜合分析、推理和決策能力。
• 規(guī)模與多樣性領(lǐng)先：涵蓋11大領(lǐng)域、近500個(gè)每周事件，涵蓋單選、多選、開(kāi)放排名及數(shù)值預(yù)測(cè)等多種題型，遠(yuǎn)超現(xiàn)有未來(lái)預(yù)測(cè)基準(zhǔn)的規(guī)模和豐富度。
• 多層次代理評(píng)測(cè)：評(píng)估基礎(chǔ)LLM、具備搜索推理能力的LLM、開(kāi)源和閉源深度研究代理，全面反映不同技術(shù)路線的性能表現(xiàn)。
• 高度自動(dòng)化評(píng)測(cè)流程：實(shí)現(xiàn)每日自動(dòng)事件更新、模型預(yù)測(cè)執(zhí)行和結(jié)果采集，支持25個(gè)模型的連續(xù)在線評(píng)測(cè)，技術(shù)復(fù)雜度和實(shí)施難度均領(lǐng)先同行。

3. 優(yōu)勢(shì)解析該方法突破了傳統(tǒng)靜態(tài)基準(zhǔn)的限制，真實(shí)模擬了未來(lái)預(yù)測(cè)的核心挑戰(zhàn)，推動(dòng)了代理從知識(shí)記憶向動(dòng)態(tài)推理和信息整合的轉(zhuǎn)型。通過(guò)多領(lǐng)域、多事件類(lèi)型的覆蓋，F(xiàn)utureX有效避免了模型過(guò)擬合和評(píng)測(cè)偏頗，確保了評(píng)測(cè)結(jié)果的廣泛適用性和前瞻性。

實(shí)驗(yàn)設(shè)計(jì)與結(jié)果分析

1. 實(shí)驗(yàn)設(shè)計(jì)

• 事件構(gòu)建：每日從195個(gè)精選網(wǎng)站自動(dòng)爬取未來(lái)事件，經(jīng)過(guò)模板化處理和隨機(jī)化，生成約500個(gè)多樣化事件。
• 事件篩選：剔除主觀、易預(yù)測(cè)（如二選一）及有害事件，確保事件質(zhì)量和挑戰(zhàn)性。
• 模型評(píng)測(cè)：涵蓋8個(gè)基礎(chǔ)LLM、7個(gè)具備搜索推理的LLM、8個(gè)開(kāi)源深度研究代理和2個(gè)閉源深度研究代理，共25個(gè)模型。所有模型每日自動(dòng)執(zhí)行預(yù)測(cè)，限時(shí)30分鐘。
• 答案采集：事件結(jié)果公布后，系統(tǒng)多時(shí)段爬取并通過(guò)LLM輔助抽取準(zhǔn)確答案，自動(dòng)完成評(píng)分。

2. 結(jié)果分析

• 整體表現(xiàn)：FutureX提供了動(dòng)態(tài)、無(wú)污染且跨領(lǐng)域的評(píng)測(cè)環(huán)境，模型表現(xiàn)顯著區(qū)分了基礎(chǔ)LLM與具備搜索推理能力的代理，深度研究代理表現(xiàn)尤為優(yōu)異。
• 難度與領(lǐng)域影響：模型在不同難度等級(jí)和領(lǐng)域上的表現(xiàn)存在顯著差異，復(fù)雜開(kāi)放式高波動(dòng)事件對(duì)模型推理和搜索能力提出更高要求。
• 時(shí)間敏感性：模型在事件發(fā)生前預(yù)測(cè)準(zhǔn)確性明顯優(yōu)于事件發(fā)生后嘗試預(yù)測(cè)，驗(yàn)證了未來(lái)預(yù)測(cè)任務(wù)的真實(shí)性和挑戰(zhàn)性。
• 功能模塊貢獻(xiàn)：規(guī)劃與搜索能力顯著提升模型性能，體現(xiàn)了復(fù)合智能體設(shè)計(jì)的重要性。
• 安全與效率：深度研究代理對(duì)虛假信息存在一定脆弱性，部分模型在信息檢索效率上仍有提升空間。

結(jié)論與展望

1. 總結(jié)貢獻(xiàn)FutureX作為首個(gè)大規(guī)模、動(dòng)態(tài)、無(wú)污染的未來(lái)預(yù)測(cè)評(píng)測(cè)基準(zhǔn)，系統(tǒng)性地推動(dòng)了LLM代理在復(fù)雜動(dòng)態(tài)環(huán)境下的推理、搜索和決策能力的評(píng)估與提升。通過(guò)多領(lǐng)域、多模型、多事件類(lèi)型的綜合測(cè)試，F(xiàn)utureX為智能體研究提供了堅(jiān)實(shí)的實(shí)驗(yàn)平臺(tái)和豐富的數(shù)據(jù)資源。
2. 局限分析當(dāng)前FutureX依賴于高質(zhì)量網(wǎng)站的數(shù)據(jù)可訪問(wèn)性和時(shí)效性，部分事件答案抽取仍需人工輔助優(yōu)化，且深度研究代理對(duì)虛假信息的防御能力尚需加強(qiáng)。模型預(yù)測(cè)時(shí)間限制和事件多樣性仍存在進(jìn)一步拓展空間。
3. 未來(lái)展望

• 增強(qiáng)抗干擾能力：提升模型對(duì)虛假信息和惡意事件的識(shí)別與防御能力。
• 豐富事件類(lèi)型與領(lǐng)域：引入更多實(shí)時(shí)數(shù)據(jù)源和復(fù)雜事件類(lèi)型，提升評(píng)測(cè)的全面性和挑戰(zhàn)性。
• 優(yōu)化自動(dòng)化流程：進(jìn)一步提升答案抽取準(zhǔn)確率和系統(tǒng)穩(wěn)定性，實(shí)現(xiàn)完全無(wú)人值守的長(zhǎng)期運(yùn)行。
• 促進(jìn)模型協(xié)同：探索多智能體協(xié)作機(jī)制，提升復(fù)雜未來(lái)預(yù)測(cè)的整體性能。
• 推動(dòng)行業(yè)應(yīng)用：基于FutureX評(píng)測(cè)結(jié)果，推動(dòng)LLM代理在金融、政策分析等高風(fēng)險(xiǎn)領(lǐng)域的實(shí)際部署和應(yīng)用。

FutureX的設(shè)計(jì)理念和實(shí)施成效為未來(lái)智能體的研究和應(yīng)用奠定了堅(jiān)實(shí)基礎(chǔ)，代表了AI發(fā)展“第二階段”中智能體能力評(píng)估和提升的重要里程碑。

MCP-Universe: Benchmarking Large Language Models with Real-World Model Context Protocol Servers

2025-08-20｜Salesforce AI Research|??17??http://arxiv.org/abs/2508.14704v1https://huggingface.co/papers/2508.14704https://mcp-universe.github.io??

研究背景與意義

本文聚焦于Model Context Protocol（MCP）這一新興的開(kāi)放標(biāo)準(zhǔn)，它實(shí)現(xiàn)了大型語(yǔ)言模型（LLMs）與外部數(shù)據(jù)源及工具的無(wú)縫連接，填補(bǔ)了傳統(tǒng)語(yǔ)言模型在實(shí)際應(yīng)用中因信息孤島導(dǎo)致的整合瓶頸。然而，現(xiàn)有的評(píng)測(cè)體系多為簡(jiǎn)化版本，難以反映現(xiàn)實(shí)環(huán)境中如長(zhǎng)時(shí)序推理、大規(guī)模未知工具使用等復(fù)雜挑戰(zhàn)。針對(duì)這一缺口，作者提出了MCP-Universe——首個(gè)涵蓋真實(shí)MCP服務(wù)器、多領(lǐng)域、多任務(wù)的綜合性評(píng)測(cè)基準(zhǔn)，旨在系統(tǒng)評(píng)估LLM在現(xiàn)實(shí)復(fù)雜場(chǎng)景中的工具調(diào)用能力和推理水平。該工作不僅豐富了MCP生態(tài)的評(píng)測(cè)手段，也為推動(dòng)LLM實(shí)用化提供了關(guān)鍵支撐。

研究方法與創(chuàng)新

MCP-Universe的核心創(chuàng)新在于其全方位、多維度的設(shè)計(jì)理念。首先，基于真實(shí)世界的11個(gè)MCP服務(wù)器，覆蓋地理導(dǎo)航、代碼庫(kù)管理、金融分析、3D設(shè)計(jì)、瀏覽器自動(dòng)化和網(wǎng)絡(luò)搜索六大核心領(lǐng)域，任務(wù)設(shè)計(jì)貼合真實(shí)應(yīng)用場(chǎng)景，具備豐富的操作復(fù)雜度和動(dòng)態(tài)變化特征。其次，評(píng)測(cè)框架采用執(zhí)行驅(qū)動(dòng)的自動(dòng)化評(píng)估機(jī)制，集成格式校驗(yàn)、靜態(tài)內(nèi)容匹配和動(dòng)態(tài)實(shí)時(shí)數(shù)據(jù)驗(yàn)證三種評(píng)估手段，克服了以往LLM自評(píng)估帶來(lái)的主觀偏差和時(shí)效性不足?？蚣苓€支持多模型、多代理架構(gòu)的靈活配置，確保評(píng)測(cè)的公正性和可擴(kuò)展性。此外，作者提出了針對(duì)長(zhǎng)上下文處理和未知工具適應(yīng)的挑戰(zhàn)分析，并嘗試引入上下文摘要機(jī)制以緩解信息爆炸問(wèn)題，展現(xiàn)了方法的前瞻性和實(shí)踐價(jià)值。

實(shí)驗(yàn)設(shè)計(jì)與結(jié)果分析

實(shí)驗(yàn)涵蓋包括OpenAI GPT-5、Anthropic Claude-4.0-Sonnet、xAI Grok-4等多款頂尖專有及開(kāi)源模型，均采用ReAct代理框架進(jìn)行任務(wù)執(zhí)行。結(jié)果顯示，最高成功率為GPT-5的43.72%，其余模型表現(xiàn)普遍低于35%，尤其在地理導(dǎo)航和代碼庫(kù)管理領(lǐng)域表現(xiàn)尤為薄弱，反映出現(xiàn)實(shí)MCP環(huán)境對(duì)現(xiàn)有LLM能力的嚴(yán)峻考驗(yàn)。評(píng)估細(xì)分為格式合規(guī)性、靜態(tài)內(nèi)容準(zhǔn)確性及動(dòng)態(tài)實(shí)時(shí)響應(yīng)三類(lèi)，發(fā)現(xiàn)模型在格式遵循上表現(xiàn)較好（多數(shù)超過(guò)80%），而內(nèi)容正確性尤其是動(dòng)態(tài)任務(wù)中明顯不足，暴露出內(nèi)容生成的核心瓶頸。長(zhǎng)上下文的快速增長(zhǎng)導(dǎo)致模型性能下降，摘要機(jī)制雖有一定效果，但仍未根本解決問(wèn)題。整體實(shí)驗(yàn)揭示了LLM在實(shí)際MCP應(yīng)用中的多重限制，強(qiáng)調(diào)了跨領(lǐng)域適應(yīng)性和工具熟悉度的迫切需求。

結(jié)論與展望

本文通過(guò)MCP-Universe基準(zhǔn)系統(tǒng)地揭示了當(dāng)前大型語(yǔ)言模型在真實(shí)MCP環(huán)境下的性能瓶頸和挑戰(zhàn)，包括長(zhǎng)上下文處理能力不足、對(duì)新工具的適應(yīng)性差異以及跨領(lǐng)域表現(xiàn)不均等關(guān)鍵問(wèn)題。該基準(zhǔn)不僅提供了一個(gè)真實(shí)、多樣且動(dòng)態(tài)的評(píng)測(cè)平臺(tái)，也為未來(lái)LLM代理設(shè)計(jì)指明了方向。展望未來(lái)，研究可聚焦于提升模型的長(zhǎng)期記憶與摘要能力、增強(qiáng)對(duì)未知工具接口的自適應(yīng)學(xué)習(xí)、以及開(kāi)發(fā)更高效的多模態(tài)交互策略。此外，開(kāi)放的評(píng)測(cè)框架和UI支持將促進(jìn)社區(qū)協(xié)作，加速M(fèi)CP生態(tài)系統(tǒng)的創(chuàng)新與成熟，推動(dòng)LLM從實(shí)驗(yàn)室走向廣泛的實(shí)際應(yīng)用。

本文轉(zhuǎn)載自???AI研究前瞻???，作者：胡耀淇