來自人大和清華的研究團(tuán)隊(duì)發(fā)布了 DeepAnalyze，首個(gè)面向自主數(shù)據(jù)科學(xué)的 agentic LLM。DeepAnalyze引起了社區(qū)內(nèi)廣泛討論，一周內(nèi)收獲1000多個(gè)GitHub星標(biāo)、20w余次社交媒體瀏覽量。

DeepAnalyze正在不斷完善中，誠(chéng)邀大家交流合作！歡迎研究者和從業(yè)者在GitHub提交pull request，成為contributor，共建DeepAnalyze！

DeepAnalyze-8B 能夠模擬數(shù)據(jù)科學(xué)家的行為，在真實(shí)環(huán)境中主動(dòng)編排、優(yōu)化操作，最終完成復(fù)雜的數(shù)據(jù)科學(xué)任務(wù)。支持各種以數(shù)據(jù)為核心的任務(wù)：

• 數(shù)據(jù)任務(wù)：自動(dòng)化數(shù)據(jù)準(zhǔn)備、數(shù)據(jù)分析、數(shù)據(jù)建模、數(shù)據(jù)可視化、數(shù)據(jù)洞察、報(bào)告生成；
• 數(shù)據(jù)研究：可在任意數(shù)量的結(jié)構(gòu)化數(shù)據(jù)（數(shù)據(jù)庫、CSV、Excel）、半結(jié)構(gòu)化數(shù)據(jù)（JSON、XML、YAML）、非結(jié)構(gòu)化數(shù)據(jù)（TXT、Markdown）中進(jìn)行開放式深度研究，生成分析師級(jí)別的研究報(bào)告；

DeepAnalyze 是一個(gè) agentic LLM，無需任何啟發(fā)式 workflow，即可自主完成復(fù)雜數(shù)據(jù)科學(xué)任務(wù)

• 論文鏈接：https://arxiv.org/pdf/2510.16872
• 代碼、Demo鏈接：https://github.com/ruc-datalab/DeepAnalyze
• 模型鏈接：https://huggingface.co/RUC-DataLab/DeepAnalyze-8B
• 數(shù)據(jù)鏈接：https://huggingface.co/datasets/RUC-DataLab/DataScience-Instruct-500K

DeepAnalyze 的論文、代碼、模型、數(shù)據(jù)均已開源，歡迎大家體驗(yàn)！

DeepAnalyze: 自主完成數(shù)據(jù)科學(xué)全流程

DeepAnalyze 可本地部署，作為您的私有數(shù)據(jù)科學(xué)助手！

DeepAnalyze 是什么？

現(xiàn)有將 LLMs 應(yīng)用于自主數(shù)據(jù)科學(xué)的方法，可以分為兩類：

• 領(lǐng)域特定的 LLM：面向數(shù)據(jù)科學(xué)的代碼生成 LLM、結(jié)構(gòu)化數(shù)據(jù)理解 LLM...
• 基于 workflow 的智能體：人為設(shè)計(jì) workflow，通過 prompt 調(diào)用閉源 LLM 完成任務(wù)

現(xiàn)有工作面臨兩方面局限性：

• 僅支持單點(diǎn)任務(wù)（例如數(shù)據(jù)分析、數(shù)據(jù)建模），無法端到端完成數(shù)據(jù)科學(xué)全流程。
• 閉源模型未在真實(shí)環(huán)境中的數(shù)據(jù)科學(xué)任務(wù)上訓(xùn)練過，難以編排和優(yōu)化各種復(fù)雜操作。

DeepAnalyze 希望推動(dòng)基于 LLM 的數(shù)據(jù)科學(xué)系統(tǒng)從 workflow-based agent 范式轉(zhuǎn)變到可訓(xùn)練的 agentic LLM 范式。

數(shù)據(jù)科學(xué)的復(fù)雜性為訓(xùn)練 agentic LLM 提出了新的挑戰(zhàn)，包括：

• 獎(jiǎng)勵(lì)稀疏：數(shù)據(jù)科學(xué)的復(fù)雜性使得 LLMs 在訓(xùn)練的早期階段基本無法成功完成任務(wù)，難以獲得正向獎(jiǎng)勵(lì)信號(hào)，從而導(dǎo)致 agentic LLM 訓(xùn)練過程崩潰。
• 路徑稀缺：數(shù)據(jù)科學(xué)的解決過程通常依賴長(zhǎng)鏈推理，求解軌跡的稀缺使得 LLMs 缺少足夠的指導(dǎo)，導(dǎo)致其在龐大的搜索空間中進(jìn)行低效且盲目的試錯(cuò)式探索。

針對(duì)這兩個(gè)問題，DeepAnalyze 引入了：

• Curriculum-based Agentic Training：在真實(shí)環(huán)境中從單一任務(wù)到符合任務(wù)漸進(jìn)式訓(xùn)練 LLM，讓大模型逐步提升能力，避免在復(fù)雜任務(wù)上獎(jiǎng)勵(lì)信號(hào)為 0 導(dǎo)致的強(qiáng)化學(xué)習(xí)失效
• Data-grounded Trajectory Synthesis：自動(dòng)化合成 500K 數(shù)據(jù)科學(xué)的推理、環(huán)境交互數(shù)據(jù)，在龐大的搜索空間中提供正確路徑的指導(dǎo)

通過在真實(shí)環(huán)境中的 agentic 訓(xùn)練，DeepAnalyze 具備了自動(dòng)編排和自適應(yīng)優(yōu)化操作的能力，能端到端地完成數(shù)據(jù)科學(xué)全流程，包括具體的數(shù)據(jù)任務(wù)和開放式的數(shù)據(jù)研究。

DeepAnalyze 在數(shù)據(jù)科學(xué) Benchmarks 上表現(xiàn)優(yōu)異

1. DeepAnalyze-8B 在 DataSciBench（端到端數(shù)據(jù)科學(xué) Benchmark）優(yōu)于所有開源模型，和 GPT-4o 相媲美

2. DeepAnalyze 在 DSBench 數(shù)據(jù)分析和數(shù)據(jù)建模任務(wù)上由于基于 workflow 的智能體

3. DeepAnalyze 在面向數(shù)據(jù)的深度研究中取得最佳表現(xiàn)，能生成分析師級(jí)別的分析報(bào)告

例如：

更多實(shí)驗(yàn)結(jié)果請(qǐng)參見 DeepAnalyze 論文。

總結(jié)

• DeepAnalyze 是首個(gè)面向自主數(shù)據(jù)科學(xué)的 agentic LLM，具備兩項(xiàng)關(guān)鍵能力：自主編排（autonomous orchestration）和 自適應(yīng)優(yōu)化（adaptive optimization）。
• DeepAnalyze 作為一個(gè)基礎(chǔ)模型，可以直接應(yīng)用，或通過提示（prompting）或監(jiān)督微調(diào)（supervised fine-tuning）進(jìn)一步定制以適應(yīng)特定場(chǎng)景。
• 提出的 Curriculum-based Agentic Training 訓(xùn)練范式和 data-grounded trajectory synthesis 數(shù)據(jù)合成方法，解決了復(fù)雜場(chǎng)景下的獎(jiǎng)勵(lì)稀疏（reward sparsity）和軌跡稀缺（trajectory scarcity）問題，實(shí)現(xiàn)對(duì)需要多種能力的高復(fù)雜度任務(wù)的有效學(xué)習(xí)。