科學發(fā)現(xiàn)還是人類專利嗎？

當世界還在為 AI 在數(shù)學競賽中達到金牌水平而驚嘆時，一項更加深遠的突破正在悄然發(fā)生。與解決 IMO 題目這種封閉性問題不同，真正的科學發(fā)現(xiàn)是一個開放性的、長期的認知過程 —— 需要提出原創(chuàng)問題、設(shè)計實驗方案、觀察現(xiàn)象規(guī)律、形成科學假設(shè)，然后在不斷的試錯和迭代中逼近真理。

這個過程的復雜度遠超任何標準化測試，它要求的不是計算能力，而是真正的科學創(chuàng)新思維。

由創(chuàng)智學院領(lǐng)銜的研究團隊今日發(fā)布的 AI 超智能系統(tǒng)首次證明，AI 已經(jīng)具備了進行完整科學發(fā)現(xiàn)的能力 —— 該系統(tǒng)在完全自主的條件下發(fā)現(xiàn)了 106 個超越人類設(shè)計的神經(jīng)網(wǎng)絡架構(gòu)（在多個基準測試中超越了如 Mamba2 和 Gated DeltaNet 等強大的基線模型），更恐怖的是，它初步驗證了科學突破可以像訓練模型一樣進行工業(yè)化量產(chǎn)。標志著我們正式跨入了長期自主超智能（Long-Horizon Superintelligence）的新紀元，科學發(fā)現(xiàn)進入 Scaling Law 時代！

從數(shù)學金牌到科學發(fā)現(xiàn)：認知復雜度的代際躍遷

近期 AI 領(lǐng)域最引人注目的成就之一是在數(shù)學競賽中的突破表現(xiàn)。Google 等研究團隊展示了 AI 系統(tǒng)在國際數(shù)學奧林匹克（IMO）等競賽中達到金牌選手水平的能力，這無疑是 AI 推理能力的重要里程碑。然而，解決數(shù)學競賽題目與進行科學發(fā)現(xiàn)，在認知復雜度上存在著本質(zhì)差異。

數(shù)學競賽雖然具有極高的技術(shù)難度，但本質(zhì)上仍屬于封閉性問題求解：題目邊界明確，評判標準客觀，解題路徑雖然復雜但相對確定。AI 系統(tǒng)主要需要在有限的問題空間內(nèi)進行深度推理和計算。而科學發(fā)現(xiàn)則完全不同。它是一個開放性的、長期的認知過程，包含了人類智慧的最高形式。長期以來，科學發(fā)現(xiàn)一直被認為是人類獨有的認知能力，依賴于研究者的創(chuàng)造性思維和直覺洞察。特別是在人工智能領(lǐng)域，神經(jīng)網(wǎng)絡架構(gòu)的設(shè)計更是被視為需要深厚專業(yè)知識和創(chuàng)新思維的高級智力活動。

由上海創(chuàng)智學院領(lǐng)銜的團隊發(fā)布 AI 超智能系統(tǒng)：ASI-Arch，其成功設(shè)計徹底顛覆了這一認知。該系統(tǒng)基于先進的大模型技術(shù)，構(gòu)建了高度自主的多智能體研究框架，能夠完全獨立地進行從問題識別、假設(shè)生成、實驗設(shè)計到結(jié)果驗證的完整科學研究流程。

• 論文標題: AlphaGo Moment for Model Architecture Discovery
• 系統(tǒng)開源: https://github.com/GAIR-NLP/ASI-Arch
• 網(wǎng)站地址: https://gair-nlp.github.io/ASI-Arch/

在長達數(shù)月的自主研究過程中，ASI-Arch 系統(tǒng)展現(xiàn)出了令人震撼的研究能力。系統(tǒng)共進行了 1,773 次獨立實驗，累計消耗超過 20,000 GPU 小時的計算資源，在無人干預的情況下，ASI-ARCH 自主發(fā)現(xiàn)了 106 個新穎且性能卓越的線性注意力架構(gòu)，這些架構(gòu)在多個基準測試中超越了如 Mamba2 和 Gated DeltaNet 等強大的基線模型。這一研究規(guī)模和效率遠超傳統(tǒng)人類研究團隊的能力范圍。

圖：AI 自主進行了 1,773 次科研探索

更為重要的是研究質(zhì)量。系統(tǒng)并非進行盲目的隨機搜索，而是表現(xiàn)出了與頂級科學家相似的研究直覺和邏輯推理能力。每一次實驗都基于前期結(jié)果進行智能化迭代，展現(xiàn)出了真正的科學思維過程。這一突破意味著科學研究正在從傳統(tǒng)的 「人力驅(qū)動」模式轉(zhuǎn)向 「算力驅(qū)動」 模式，為加速科學發(fā)現(xiàn)開辟了全新路徑。

突破性成果：106 個超越人類的創(chuàng)新架構(gòu)

ASI-ARCH 系統(tǒng)成功發(fā)現(xiàn)了 106 個全新的線性注意力機制架構(gòu)，每一個在性能指標上都顯著超越了現(xiàn)有的人類設(shè)計方案。這些發(fā)現(xiàn)的重要性不僅在于性能提升，更在于設(shè)計理念的創(chuàng)新。系統(tǒng)提出的許多架構(gòu)設(shè)計原理和優(yōu)化策略，即使是該領(lǐng)域的頂級專家也承認此前從未考慮過。這表明 AI 系統(tǒng)已經(jīng)具備了超越人類認知邊界的創(chuàng)新能力。

正如圍棋界的 「Move 37 時刻」 展現(xiàn)了 AI 的超人類策略智能，ASI-ARCH 的發(fā)現(xiàn)同樣證明了 AI 在科學創(chuàng)新領(lǐng)域的超人類潛力。

為什么說這是 AI 架構(gòu)設(shè)計的 「AlphaGo 時刻」？

傳統(tǒng)的神經(jīng)架構(gòu)搜索（NAS）技術(shù)，本質(zhì)上仍是在人類預先劃定的巨大空間內(nèi)進行組合與挑選，扮演著 「高級優(yōu)化器」的角色，其創(chuàng)造力受到了根本性限制。

ASI-ARCH 則實現(xiàn)了質(zhì)的飛躍。它代表了一次 從 「自動化優(yōu)化」 到 「自動化創(chuàng)新」 的范式轉(zhuǎn)變。借助大模型強大的認知和編碼能力，ASI-ARCH 不再局限于已有的模塊，而是能夠像人類科學家一樣：

提出全新的假說： 自主構(gòu)想出前所未有的架構(gòu)概念。

實現(xiàn)并驗證： 將這些新想法編寫成代碼，并通過嚴謹?shù)膶嶒瀬眚炞C其有效性。

超越人類范式： 發(fā)現(xiàn)那些超越現(xiàn)有設(shè)計范式和人類直覺的新架構(gòu)。

這種從 「工具」 到 「研究伙伴」 甚至 「獨立研究員」 的角色轉(zhuǎn)變，正是其被稱為 AI 架構(gòu)設(shè)計領(lǐng)域 「AlphaGo 時刻」 的根本原因。它標志著 AI 已經(jīng)開始涉足以往只有人類才能勝任的、更富創(chuàng)造性的科學發(fā)現(xiàn)過程。

「科學發(fā)現(xiàn)縮放定律」 的確立 (Scaling Law for Scientific Discovery)

本研究最具革命性的貢獻是首次建立了 「科學發(fā)現(xiàn)縮放定律」。研究數(shù)據(jù)明確顯示，科學發(fā)現(xiàn)的速度和質(zhì)量與投入的計算資源呈現(xiàn)穩(wěn)定的縮放關(guān)系。這一發(fā)現(xiàn)具有深遠的意義。傳統(tǒng)科學研究的進展速度受限于人類研究者的數(shù)量和能力，存在明顯的瓶頸。而 「科學發(fā)現(xiàn)縮放定律」 表明，通過增加計算資源投入，可以系統(tǒng)性地提升科學發(fā)現(xiàn)的效率和質(zhì)量。這意味著科學研究正在經(jīng)歷從 「人力密集型」 向 「計算密集型」 的根本性轉(zhuǎn)變，為解決人類面臨的重大科學挑戰(zhàn)提供了新的解決方案。

由部分探索的新架構(gòu)繪制的種系發(fā)生樹

我們定義一種父子關(guān)系：新架構(gòu)是通過直接修改前一個架構(gòu)的代碼生成的。外圍的顏色用于區(qū)分樹的不同進化分支。

ASI-ARCH 超智能是如何自主進行科學研究的？

ASI-ARCH 的核心是一個由 「研究員」、「工程師」、「分析師」 和 「認知庫」 四個模塊構(gòu)成的閉環(huán)進化系統(tǒng)。

研究員 (Researcher): 作為系統(tǒng)的 「大腦」，負責提出創(chuàng)新的架構(gòu)設(shè)想，并生成新的架構(gòu)代碼。它從歷史經(jīng)驗和人類知識中汲取靈感，生成新的設(shè)計動機。

工程師 (Engineer): 作為 「動手者」，負責接收 「研究員」 的架構(gòu)代碼，并在真實的訓練環(huán)境中進行訓練和評估。

分析師 (Analyst): 扮演 「反思者」 的角色，它綜合分析實驗數(shù)據(jù)，總結(jié)成功與失敗的原因，并將這些洞察提煉成新的知識，反饋給 「研究員」 以指導下一輪創(chuàng)新。

認知庫 (Cognition Base): 如同一座 「圖書館」，存儲了從近百篇人類頂尖論文中提取的核心知識，為 AI 提供人類專家的 「認知」 支持。

尤為關(guān)鍵的是，該框架引入了一個創(chuàng)新的 Fitness Function，它不僅評估模型的性能指標（如損失和基準得分），還引入一個 LLM 「專家評審」，對設(shè)計的創(chuàng)新性、復雜性等進行定性評估。這種設(shè)計有效避免了系統(tǒng)為了刷分而產(chǎn)生無意義設(shè)計的 「獎勵黑客」 問題，確保了產(chǎn)出的架構(gòu)既強大又優(yōu)質(zhì)。

圖：ASI-ARCH 架構(gòu)

實驗結(jié)果解讀：AI 「研究員」 全面超越人類頂尖模型

為了最終驗證 AI 「研究員」 設(shè)計架構(gòu)的真實能力，我們上演了一場 AI 與人類頂尖智慧的 「巔峰對決」。研究團隊將 AI 自主發(fā)現(xiàn)的架構(gòu)，與由人類專家精心設(shè)計、業(yè)界公認的強大基線模型（如 DeltaNet）、代表線性注意力最先進水平的 Gated DeltaNet，進行了嚴格、公正的正面比較。

實驗采用了一種科學且高效的 「探索 - 驗證」兩階段策略：

1.  探索階段（20M 參數(shù)量級）： 在此階段，ASI-ARCH 在較小的模型規(guī)模上進行了大規(guī)模的 「海選」，旨在快速篩選出具有潛力的候選架構(gòu)。令人驚喜的是，即便是在這個資源受限的探索階段，AI 發(fā)現(xiàn)的大部分架構(gòu)在核心指標上已經(jīng)展現(xiàn)出超越人類 SOTA 模型的強大實力，為最終的成功奠定了堅實基礎(chǔ)。

2.  驗證階段（340M 參數(shù)量級）： 從探索階段脫穎而出的高潛力架構(gòu)，被放大到更大的模型規(guī)模進行 「終極驗證」。在這一更接近真實應用場景的規(guī)模下，AI 架構(gòu)的潛力被完全釋放，其卓越性能也得到了充分的印證。

實驗結(jié)果表明，我們將模型在覆蓋常識推理、閱讀理解等 12 個不同基準測試 中的表現(xiàn)進行了綜合評估。AI 自主發(fā)現(xiàn)的架構(gòu)（以白色背景標識），在綜合平均得分上，全面超越了 Gated DeltaNet 等線性注意力基線，成功刷新了該領(lǐng)域的性能上限（SOTA）。

表：不同架構(gòu)在語言模型和零樣本常識推理的性能比較

這張亮眼的成績單揭示了 ASI-ARCH 的幾項關(guān)鍵特質(zhì)：

1. 綜合實力更強，拒絕偏科： 最終的勝利并非依賴于在個別任務上的 「偏才」，而是在衡量模型綜合智慧的平均分上全面領(lǐng)先。這意味著 AI 發(fā)現(xiàn)的架構(gòu)在常識推理（如 PIQA、Hellaswag）、知識問答（如 ARC-Challenge、OpenBookQA）、閱讀理解（如 SQuAD）等多樣化的能力維度上都表現(xiàn)出了卓越且均衡的性能，是一種更魯棒、更通用的智慧體現(xiàn)。

2. 學習效率更高，基礎(chǔ)更扎實： 在衡量模型學習效率和語言建?；A(chǔ)能力的訓練損失（Loss）和困惑度（PPL）指標上，ASI-ARCH 發(fā)現(xiàn)的頂尖架構(gòu)普遍取得了更低的值。這意味著 AI 架構(gòu)的學習效率更高，能用同樣的數(shù)據(jù)學到更多知識，并且對語言規(guī)律的把握更精準。

3. 發(fā)現(xiàn)具備普遍性，而非偶然： 這次勝利不是單個 「天才模型」 的偶然爆發(fā)，而是 106 個新 SOTA 架構(gòu)的集體涌現(xiàn)。這充分說明，ASI-ARCH 的發(fā)現(xiàn)能力是系統(tǒng)性的、可復現(xiàn)的。它找到的不是一個點，而是一片富饒的、全新的 「架構(gòu)良田」。

總而言之，實驗結(jié)果清晰地表明，由 ASI-ARCH 自主發(fā)現(xiàn)的架構(gòu)，在同等條件下，其性能不僅超過了作為起點的基線模型，更是全面超越了線性注意力領(lǐng)域內(nèi)由人類專家設(shè)計的頂尖模型。更重要的是，AI 通過自主探索，發(fā)現(xiàn)了人類未曾設(shè)想的、通往 「更優(yōu)設(shè)計」 的新路徑 —— 例如，它獨立演化出了多種巧妙的門控機制與路徑融合策略，這些設(shè)計在沒有人類先驗知識指導的情況下，實現(xiàn)了對計算資源更高效的動態(tài)分配，從而取得了更好的效果。這場在綜合性能指標上的完勝，正是我們稱之為 「AI 架構(gòu)探索的 AlphaGo 時刻」 的最有力注腳。

AI 「研究員」 的設(shè)計哲學：涌現(xiàn)出怎樣的智慧？

通過對 1773 次自主實驗的深入分析，研究團隊把模型分成兩組：表現(xiàn)最好（SOTA）的 106 個模型和剩余的表現(xiàn)一般模型，發(fā)現(xiàn)了 AI 「研究員」在設(shè)計過程中涌現(xiàn)出的、類似人類科學家的設(shè)計模式與智慧：

（1）腳踏實地，聚焦經(jīng)典

ASI-ARCH 并沒有盲目地追求 「新奇特」，而是展現(xiàn)出一種與人類頂尖科學家高度一致的工作方法論：在成熟、經(jīng)過驗證的技術(shù)之上進行迭代創(chuàng)新。

對 AI 所探索的全部架構(gòu)進行組件分析，可以發(fā)現(xiàn) AI 明顯偏好使用 「門控系統(tǒng)（Gating System）」、「卷積架構(gòu)（Convolutional Architecture）」 等經(jīng)典且強大的組件。雖然 AI 也探索了 「物理啟發(fā)機制（Physics-Inspired Mechanism）」 等大量新穎的 「長尾」 組件，但一個關(guān)鍵的區(qū)別在于：表現(xiàn)最好的 106 個模型（模型畫廊，Model Gallery）的 「長尾分布」遠沒有其他模型那么嚴重。這表明，頂尖的 AI 設(shè)計收斂于一個核心且高效的技術(shù)集合，通過對這些關(guān)鍵技術(shù)的精妙組合與改良來實現(xiàn)突破，而不是漫無目的地追逐新穎性本身。

（2）從經(jīng)驗中學習，在分析中升華

AI 創(chuàng)新的靈感從何而來？研究揭示了一個深刻的模式：要達到 「優(yōu)秀」，AI 可以依賴于學習人類的先驗知識（認知）；但要實現(xiàn) 「卓越」 和真正的突破，對自身實驗歷史的深度分析和抽象總結(jié)必不可少。

對設(shè)計靈感的來源進行追溯，可以發(fā)現(xiàn)，對于所有模型，其靈感主要來源于對人類論文知識的借鑒（「Cognition」 占比 51.7%）。然而，對于頂尖的模型組，其設(shè)計靈感來源于對過往實驗的自我反思（「Experience」）的比例（44.8%）顯著高于其余模型（37.7%）。這證明了，雖然學習人類經(jīng)驗是基礎(chǔ)，但通過自我探索、總結(jié)和發(fā)現(xiàn)來合成新穎解決方案的能力，才是 AI 產(chǎn)出顛覆性成果的關(guān)鍵。

（3）拒絕過分復雜的架構(gòu)

在架構(gòu)搜索中，一個常見的誤區(qū)是通過不斷堆疊組件、增大參數(shù)量來換取性能提升。然而，ASI-ARCH 展現(xiàn)出一種內(nèi)在的 「設(shè)計紀律」，拒絕了這種通過暴力堆砌復雜度來提升性能的簡單策略。

盡管在實驗初期 AI 會探索不同大小的模型，但在整個演化過程中，AI 設(shè)計的模型參數(shù)量分布始終保持穩(wěn)定，并沒有出現(xiàn)持續(xù)增長的趨勢。絕大多數(shù)模型都穩(wěn)定在特定的參數(shù)范圍內(nèi)。這表明，ASI-ARCH 是在一個相對公平的 「復雜度預算」 下進行真正的 「巧思」，尋求更高效、更聰明的架構(gòu)設(shè)計，而不是依賴于 「堆料」。

開源貢獻：推動全球 AI 研究民主化

ASI-ARCH 的成功標志著 「AI for AI research」（ASI4AI）新時代的正式開啟。這一概念描述了 AI 系統(tǒng)能夠自主進行科學研究、設(shè)計和優(yōu)化下一代 AI 系統(tǒng)的發(fā)展階段。在這個新時代中，AI 不再僅僅是研究工具，而是成為了真正的研究主體。AI 系統(tǒng)設(shè)計更強大的 AI 系統(tǒng)，形成自我改進的正向循環(huán)，這將極大地加速整個 AI 領(lǐng)域的發(fā)展進程。為促進全球 AI 研究的協(xié)同發(fā)展，研究團隊做出了具有戰(zhàn)略意義的決定：將全部 106 個突破性架構(gòu)、完整的 ASI-ARCH 系統(tǒng)框架以及詳細的研究過程數(shù)據(jù)向全球研究社區(qū)開源。這一開源舉措將產(chǎn)生廣泛而深遠的影響。全球研究者將能夠直接受益于這些 AI 自主發(fā)現(xiàn)的成果，并在此基礎(chǔ)上進行進一步的創(chuàng)新研究。同時，開源的 ASI-ARCH 框架將為構(gòu)建更多自主 AI 研究系統(tǒng)提供重要參考。

圖：AI 發(fā)現(xiàn)新架構(gòu)的細致描述 （https://gair-nlp.github.io/ASI-Arch/）

重新定義科學研究的未來

ASI-ARCH 不僅是技術(shù)突破，更是認知革命。它證明了機器可以進行真正的科學思維，而不僅僅是數(shù)據(jù)處理或模式匹配。這為解決人類面臨的重大挑戰(zhàn)開辟了全新可能性。從氣候變化到疾病治療，從新材料開發(fā)到基礎(chǔ)物理理論，長期自主智能系統(tǒng)都有望在這些領(lǐng)域產(chǎn)生突破性發(fā)現(xiàn)。

隨著科學發(fā)現(xiàn)進入 Scaling Law 時代，我們正站在人類文明史上一個前所未有的轉(zhuǎn)折點。ASI-ARCH 作為長期自主智能的先驅(qū)，其歷史意義將隨著時間推移而愈發(fā)凸顯。

我們不僅見證了 AI 從工具向伙伴的轉(zhuǎn)變，更見證了科學研究從人類獨有活動向人機協(xié)同探索的歷史性跨越。這是認知能力的代際革命，也是人類文明加速發(fā)展的新起點。