圍棋因其獨特的復雜性和對人類智能的深刻體現(xiàn)，可作為衡量AI專業(yè)能力最具代表性的任務之一。

目前，AI雖然在棋力、效率、通用性等方面均取得顯著成績，但其具體推理過程仍處于「黑盒」之中，更無法用人類語言解釋其思考過程和結(jié)果。

大模型具備良好的自然語言交互性，如何通過提升大模型的推理能力，實現(xiàn)圍棋專業(yè)能力突破，是擺在科研人員面前的一道難題。

近日，上海人工智能實驗室（上海AI Lab）發(fā)布新一代書生·思客（InternThinker）。

基于創(chuàng)造性構(gòu)建的「加速訓練營」（InternBootcamp）以及一系列底層技術(shù)新進展，InternThinker專業(yè)推理能力大幅提升，成為我國首個既具備圍棋專業(yè)水平，又能展示透明思維鏈的大模型。

即便面對李世石的「神之一手」（李世石在AlphaGo交戰(zhàn)的第四盤78手下在L11，被稱為「神之一手」），InternThinker也能給出正確應對策略。

思維鏈透明

自然語言點評「神之一手」

圍棋作為一項具有四千多年歷史的智力競技項目，因其獨特的復雜性和對人類智能的深刻體現(xiàn)，可作為衡量人工智能專業(yè)能力最具代表性的任務之一。

2016年AlphaGo一戰(zhàn)成名，隨后，AI在棋力、效率、通用性等方面均有顯著提升，但其具體推理過程仍為「黑盒」，即便能輸出勝率評估和落子概率，亦無法用人類語言解釋「為什么某一步更好」。

典型表現(xiàn)為：AI有時會下出違背人類直覺的「天外飛仙」棋步，事后被證明有效，但當時難以解釋。

本次升級后的InternThinker，在圍棋任務上不僅具備較強的專業(yè)水平，在大模型中率先實現(xiàn)打破思維「黑盒」，運用自然語言就對弈過程進行講解。

目前InternThinker已開啟公測，所有用戶均可以隨時隨地與之對弈。

公測鏈接：https://chat.intern-ai.org.cn/

用戶在與InternThinker對弈的過程中，大模型化身為循循善誘的「教練」，它能全面地分析當前局面形勢，對不同的落子點進行判斷和對比，并給出明確的結(jié)果，讓用戶了解每一步棋背后的推理過程和決策依據(jù)，從而幫助用戶更好地理解和學習圍棋。

李世石在與AlphaGo交戰(zhàn)的第四盤78手下在L11，被稱為「神之一手」，直接扭轉(zhuǎn)局勢贏下一局。

在研究人員對這一名局的復現(xiàn)中，InternThinker評價這步棋「相當?shù)筱@……這步棋完美解決L11的威脅，重新確立中央控制權(quán)，為后續(xù)進攻埋下伏筆。」隨后它給出了落子在L10的應對策略。

InternThinker應對李世石「神之一手」

InternThinker還具備多樣化的「語言」風格，極具「活人感」。比如，當用戶下了一步好棋，它會加油鼓勵：「這步棋相當有力，可以說是『以攻代守』的好手」；也會冒出毒舌銳評：「可以說是『不是棋』的選擇」。

InternThinker多樣化的語言風格

在棋力方面，InternThinker未來仍有提升空間。

新生代世界圍棋冠軍王星昊九段在與其對弈后評價道：「能解說思考過程的AI還是第一次見，感覺它分析得非常好；從布局看棋力可能在職業(yè)3-5段之間?！?/span>

「體驗」即學習

大模型推理能力提升新范式

InternThinker強大的推理能力及在圍棋任務上的突破，得益于其創(chuàng)新的訓練環(huán)境。

針對復雜的邏輯推理任務，如何準確地獲得過程和結(jié)果反饋尤為關(guān)鍵，為此，研究人員搭建了大規(guī)模、標準化、可擴展的可交互驗證環(huán)境InternBootcamp——這相當于為模型創(chuàng)造了一個「加速訓練營」，使其可以高效習得專業(yè)技能，快速「成長」。

InternBootCamp與大模型交互流程

基于代碼智能體自動化構(gòu)造，InternBootCamp包含超1000個驗證環(huán)境，覆蓋廣泛的復雜邏輯推理任務，能有效幫助大模型領(lǐng)域研究者基于強化學習開展探索。

InternBootcamp可以批量化、規(guī)范化生成難度可控的推理任務，如奧賽級數(shù)學、科學對象理解與推理、算法編程、棋類游戲、智力謎題等，并與大模型進行交互和提供反饋。

通過不同專業(yè)知識大規(guī)模構(gòu)造和混合訓練，使大模型跳出基于數(shù)據(jù)標注獲取問題和答案的繁瑣模式，同時避免傳統(tǒng)獎勵模型的欺騙，從而實現(xiàn)大模型推理能力提升的新范式。

除圍棋外，在其他任務中InternThinker也有不俗表現(xiàn)。通過對多種任務的混合強化學習，InternThinker在包括數(shù)十個任務的測試集上的平均能力超過o3-mini、DeepSeek-R1以及Claude-3.7-Sonnet等國內(nèi)外主流推理模型。

InternThinker在包括數(shù)十個任務的測試集上的平均能力超過o3-mini、DeepSeek-R1以及Claude-3.7-Sonnet等國內(nèi)外主流推理模型

甚至在一些任務中性能表現(xiàn)遠超當前其他推理大模型。

InternBootcamp已開源，歡迎接入任務，開展更多有價值的探索（開源地址：https://github.com/InternLM/InternBootcamp）。

多任務混合強化學習

迎來「涌現(xiàn)時刻」

值得一提的是，研究人員觀察到，在基于InternBootcamp的多任務混合訓練過程中，出現(xiàn)了強化學習的「涌現(xiàn)時刻」：

在單一任務中，無法成功推理得到獎勵的模型，通過多個任務混合的強化學習，能夠在訓練過程中成功得到獎勵，實現(xiàn)領(lǐng)域外專業(yè)任務的有效強化學習訓練。

除了單獨訓練Tapa、Unicoder25任務外，研究人員額外選擇了幾十種任務進行混合訓練。

如下圖所示：單一訓練Tapa等任務并不能成功獲得任務的正向反饋；而混合訓練各類InternBootcamp任務達一定步數(shù)后，InternThinker融合學習了這些推理任務的思考方式，建立起了不同任務間的關(guān)聯(lián)，從而成功獲取了Tapa這類任務的正向反饋，實現(xiàn)對該任務的有效學習。

這意味著，隨著InternBootcamp任務的數(shù)量增加、質(zhì)量提升和難度加大，大模型有望迎來能力的「升華」，高效解決更多、更難、更具實用性的推理任務，在助力大模型推理能力泛化的同時，加速推動科學發(fā)現(xiàn)。

Unicode25任務和Tapa任務「涌現(xiàn)時刻」，其中淺色表示峰值、深色表示均值

通專融合底層技術(shù)突破

上述進展得益于近期上海AI Lab在通專融合路線的底層技術(shù)和架構(gòu)方面的一系列創(chuàng)新突破。

從大模型發(fā)展歷程來看，主要分化為專業(yè)性和通用泛化性兩大路線。上海AI Lab率先提出通專融合技術(shù)路線（https://arxiv.org/abs/2407.08642），著力解決大模型高度專業(yè)化與通用泛化性相互制約的發(fā)展困境。

這一路徑的關(guān)鍵在于同步提升深度推理與專業(yè)泛化能力，使模型不僅在廣泛的復雜任務上表現(xiàn)出色，還能在特定領(lǐng)域中達到專業(yè)水平。

上海AI Lab進一步提出通過相互依賴的基礎(chǔ)模型層、 融合協(xié)同層和探索進化層「三層」技術(shù)路徑， 可打造「通用泛化性」「高度專業(yè)性」「任務可持續(xù)性」三者兼得的通用人工智能。

通專融合AGI實現(xiàn)路徑

第一層為基礎(chǔ)模型層，旨在構(gòu)建通用泛化基礎(chǔ)能力和高密度監(jiān)督的專業(yè)能力。

上海AI Lab團隊近期提出全新的「記憶體+解碼器」大模型架構(gòu)Memory Decoder，并實現(xiàn)兩個組成部分通過不同的預訓練任務分別進行訓練。

區(qū)別于將所有信息全都編碼進decoder的現(xiàn)有Transformer經(jīng)典大模型架構(gòu)，該架構(gòu)實現(xiàn)了通專融合中「知識與推理可分離與自組合」的新一代大模型。

其中，記憶體承擔「?！沟墓δ?，負責對不同領(lǐng)域知識的可靠記憶；解碼器承擔「通」的功能，負責通用的語言組織和邏輯；記憶體可經(jīng)過一次訓練后應用于不同基模型。

第二層為融合協(xié)同層，通過多路線協(xié)同構(gòu)建比肩人類專家的通專融合能力。團隊近期的突破包括：

• 設計強化學習算法PRIME（https://arxiv.org/abs/2502.01456），結(jié)合高密度監(jiān)督信號，有效強化了智能體專精能力的提升效率，為通用群體智能發(fā)展鋪平了道路?？蓪崿F(xiàn)更快速的收斂，同時獲取比現(xiàn)有方法高出7%的性能提升。在AIME、MATH等競賽難度數(shù)學題上，僅用少量開源數(shù)據(jù)，便可使得7B模型的數(shù)學能力顯著超越OpenAI的GPT-4o。
• 推出以多任務強化學習為核心的后訓練技術(shù)框架MoR，聚焦實現(xiàn)多任務的強化學習。針對不同類型任務（例如數(shù)學解答和證明、科學問答、推理解謎、主觀對話等）進行了算法探索和初步集成驗證，實現(xiàn)了多任務強化學習的混合訓練。
• 構(gòu)建基于結(jié)果獎勵的強化學習新范式OREAL（https://arxiv.org/abs/2502.06781），著力解決大模型當前面臨的「稀疏獎勵困境、局部正確陷阱和規(guī)模依賴魔咒」三大困局。該算法超越了目前廣泛使用的GRPO等方法，定義了一個更廣泛的算法設計空間，能將PRIME、DAPO等方法的優(yōu)點融合入算法框架中，無需蒸餾超大參數(shù)規(guī)模模型，便實現(xiàn)了輕中量級（7B/32B）模型推理能力的再提升。

第三層為探索進化層，通過自主探索與反饋修正實現(xiàn)AI自我進化閉環(huán)。團隊近期的突破包括：

• 測試時強化學習（TTRL）框架（https://arxiv.org/abs/2504.16084），有效探索人工智能自主進化的可能路徑。TTRL能在沒有準確標簽的情況下進行獎勵估計，驅(qū)動模型朝著正確的方向?qū)W習，有力支持了在減少人工標注依賴方面的潛力，進一步推動強化學習向大規(guī)模、無監(jiān)督方向的持續(xù)擴展。
• 構(gòu)建分子逆合成新方法Retro-R1，基于大模型+智能體+長推理+強化學習的范式，在多步逆合成問題上展現(xiàn)出了更精準的合成路徑規(guī)劃能力。Retro-R1在不使用任何SFT數(shù)據(jù)僅使用1萬條強化學習數(shù)據(jù)通過200步訓練的情況下就實現(xiàn)了大模型在逆合成推理能力的升級，并在不同領(lǐng)域數(shù)據(jù)中展現(xiàn)出了出色的泛化能力。

據(jù)悉，未來上海AI Lab將系統(tǒng)推進通專融合技術(shù)路線的發(fā)展與探索，將通專融合的新能力、新進展持續(xù)通過InternBootcamp對外開放，加速以新一代通專融合基座模型的方式解決具體科學發(fā)現(xiàn)中的關(guān)鍵問題，同時牽引打造垂直領(lǐng)域示范應用案例，為科學發(fā)現(xiàn)與產(chǎn)業(yè)創(chuàng)新提供關(guān)鍵驅(qū)動力。