天才應(yīng)當(dāng)是被允許不諳世事的。孤獨(dú)到死是一個(gè)天才最好的歸宿，畢竟，他所處的那個(gè)時(shí)代配不上他。維特根斯坦就是這樣一位天才。一、維特根斯坦：語(yǔ)言是事實(shí)的邏輯圖像維特根斯坦是通過(guò)《邏輯哲學(xué)論》走入哲學(xué)的?！哆壿嬚軐W(xué)論》的核心命題，是一種“邏輯幾何學(xué)”的世界觀(guān)：世界是事實(shí)的總和，而非事物的總和。維特根斯坦提出“意義圖像理論”：每個(gè)命題是一個(gè)事實(shí)的圖像，命題與事實(shí)共享相同的邏輯形式，因而命題能夠以結(jié)構(gòu)映射...

最近，關(guān)于AgenticAI具備自主行動(dòng)能力的智能體的討論越來(lái)越多。很多企業(yè)都在探索：能不能讓AI自動(dòng)處理客戶(hù)請(qǐng)求、下單采購(gòu)、生成報(bào)告，甚至做決策？但《CIO》的一篇文章【文獻(xiàn)1】提醒我們：如果沒(méi)有上下文，AgenticAI將徹底搞砸你的業(yè)務(wù)。同時(shí)，Anthropic工程團(tuán)隊(duì)的另一篇文章【文獻(xiàn)2】則從工程實(shí)踐角度指出：如何管理上下文（ContextEngineering），決定了AIAgent的成敗。兩篇文章結(jié)合起來(lái)，既指出了風(fēng)險(xiǎn)，也給出了路徑。一、為...

OpenAI正在成為AI時(shí)代的“Windows”。Ben認(rèn)為，OpenAI正通過(guò)構(gòu)建底層平臺(tái)、控制接口與生態(tài)，把自己定位成新一代計(jì)算架構(gòu)的操作系統(tǒng)。這一觀(guān)察精準(zhǔn)，但筆者感覺(jué)不夠全面。Ben聚焦于“操作系統(tǒng)化”的技術(shù)與平臺(tái)路徑，卻忽視了另一個(gè)更具顛覆性的層面：OpenAI不僅在控制硬件與算力，更在重塑信息、關(guān)系與交易三大社會(huì)結(jié)構(gòu)。一、從“操作系統(tǒng)”到“社會(huì)系統(tǒng)”Ben的核心論點(diǎn)非常清晰：ChatGPT是新操作系統(tǒng)的“桌面”；插件生態(tài)是新一...

好久沒(méi)有見(jiàn)到時(shí)間序列預(yù)測(cè)方向大的突破了，部分可能歸因于兩點(diǎn)：1.現(xiàn)有方法能力已被推至極限；2.所預(yù)測(cè)對(duì)象本身內(nèi)生的隨機(jī)性。近日Nature上有學(xué)者提出未來(lái)引導(dǎo)學(xué)習(xí)（FutureGuidedLearning,FGL），引入“未來(lái)信息”動(dòng)態(tài)反饋機(jī)制，在多個(gè)任務(wù)中顯著提升預(yù)測(cè)性能。核心機(jī)制FGL由兩個(gè)模型構(gòu)成：檢測(cè)模型（FutureModelTeacher），利用未來(lái)時(shí)間窗口的數(shù)據(jù)判斷關(guān)鍵事件是否會(huì)發(fā)生。預(yù)測(cè)模型（PredictiveModelStudent），依賴(lài)歷史與當(dāng)前...

架構(gòu)變化V3.2Exp在V3.1Terminus的基礎(chǔ)上，模型架構(gòu)引入稀疏注意力DSA，核心由兩部分組成：LightningIndexer：輕量化索引器計(jì)算query與歷史token的相似度分?jǐn)?shù)，選出前k個(gè)最相關(guān)的token。TopkTokenSelection：基于索引分?jǐn)?shù)只保留少量關(guān)鍵KeyValue對(duì)，再進(jìn)行注意力計(jì)算。訓(xùn)練方法持續(xù)預(yù)訓(xùn)練，凍結(jié)主模型，僅訓(xùn)練索引器，使其分布對(duì)齊原始注意力分布。啟用稀疏選擇機(jī)制，優(yōu)化主模型+索引器。后訓(xùn)練專(zhuān)家蒸餾，先針對(duì)數(shù)學(xué)、編程、邏輯...

目的：在可機(jī)制化（mechanistic）的框架下解釋“主觀(guān)意識(shí)／主觀(guān)體驗(yàn)”是什么，以及它是如何在大腦中產(chǎn)生的。作者希望意識(shí)不僅是哲學(xué)上的概念，也能提出具體可檢驗(yàn)的假設(shè)和實(shí)驗(yàn)證據(jù)。一、注意力模式理論注意力是什么注意力是指，眾多進(jìn)入大腦的信號(hào)之間存在競(jìng)爭(zhēng)，在這個(gè)競(jìng)爭(zhēng)中，有些信號(hào)被“選擇”以獲得更多處理資源。這個(gè)過(guò)程包括自下而上（刺激驅(qū)動(dòng)的顯著性）和自上而下（目標(biāo)、任務(wù)、意圖導(dǎo)向的控制）機(jī)制。意識(shí)／主觀(guān)體驗(yàn)是...

針對(duì)OpenAI剛剛發(fā)布《為什么語(yǔ)言模型會(huì)產(chǎn)生幻覺(jué)》的論文【文獻(xiàn)1】，與筆者2023年9月對(duì)大模型幻覺(jué)的分析大模型的幻覺(jué)，解鈴還須系鈴人，筆者請(qǐng)GPT5做了對(duì)比，以下是GPT5的關(guān)聯(lián)分析與評(píng)論：GPT5的關(guān)聯(lián)分析與評(píng)論OpenAI論文核心觀(guān)點(diǎn)：為什么語(yǔ)言模型會(huì)產(chǎn)生幻覺(jué)這篇論文認(rèn)為，大模型幻覺(jué)主要來(lái)源于兩個(gè)根本性因素：1.預(yù)訓(xùn)練階段的統(tǒng)計(jì)必然性幻覺(jué)可視為一種類(lèi)似分類(lèi)錯(cuò)誤的現(xiàn)象。即使訓(xùn)練數(shù)據(jù)完全正確，生成式模型在文本生成任務(wù)中依...

本文是Jake應(yīng)ArtificialLawyer邀請(qǐng)撰寫(xiě)的觀(guān)點(diǎn)文章，Jake是這個(gè)領(lǐng)域多年的專(zhuān)家，通過(guò)本文澄清智能體概念并給出了清晰定義。編譯方式：基本直譯，但采用了更地道的中文說(shuō)法。年初開(kāi)始，AI“智能體”（Agent）成了科技圈最火的標(biāo)簽。幾乎任何帶點(diǎn)大模型和工具集成的軟件，都自稱(chēng)“智能體”。但現(xiàn)實(shí)是：很多產(chǎn)品只是換了個(gè)名字的工作流而已，它們需要你手把手指導(dǎo)每一步，遇到一點(diǎn)異常就癱瘓，根本談不上“自主”。這不僅誤導(dǎo)了采購(gòu)...

盡管對(duì)GPT5褒貶不一，行業(yè)共識(shí)是并未達(dá)到期待的超級(jí)智能，根因或許來(lái)自Transformer邊際效用降低。前天DeepSeek悄悄上線(xiàn)V3.1，不是萬(wàn)眾期盼的R2,基準(zhǔn)測(cè)試提升可圈可點(diǎn)，不過(guò)同樣伴隨著業(yè)界對(duì)模型架構(gòu)的疑慮。統(tǒng)一視角下的概率流建模之外，是否還有其他創(chuàng)新思路？近期，Adobe研究院學(xué)者Sridhar嘗試用Topos來(lái)回答這一問(wèn)題，提出了一種全新的GenAI架構(gòu)【文獻(xiàn)1】。一、Topos筆者將Topos看成一個(gè)可以自定義“集合”、“邏輯”、“函數(shù)...

隨著人工智能、認(rèn)知科學(xué)與神經(jīng)科學(xué)的交匯日益加深，業(yè)界越來(lái)越關(guān)注AI模型與人類(lèi)大腦在表征維度、學(xué)習(xí)機(jī)制以及組織結(jié)構(gòu)方面的共性與差異。Nature的四篇文獻(xiàn)分別從“表征維度”、“多模態(tài)語(yǔ)義對(duì)齊”、“層次結(jié)構(gòu)收斂”與“無(wú)監(jiān)督生物預(yù)訓(xùn)練”四個(gè)方面，共同建構(gòu)了一個(gè)認(rèn)知框架。表征維度“深度神經(jīng)網(wǎng)絡(luò)與人類(lèi)表征對(duì)齊的潛在維度”【文獻(xiàn)1】，探索了深度神經(jīng)網(wǎng)絡(luò)與人類(lèi)在自然圖像概念空間中的映射差異，發(fā)現(xiàn)盡管整體行為表現(xiàn)相似，...

圍繞Windsurf的收購(gòu)，OpenAI與Google上演商戰(zhàn)大戲。類(lèi)似Cursor，Windsurf也是“AI編碼助手”。作為GenAI潛在的殺手級(jí)應(yīng)用，“AI編碼助手”被行業(yè)寄予厚望：將深刻影響開(kāi)發(fā)效率、重新定義開(kāi)發(fā)方式。AI編碼助手拖累資深開(kāi)發(fā)者然而近期非盈利機(jī)構(gòu)METR的研究【文獻(xiàn)1】卻發(fā)現(xiàn)，AI并沒(méi)有讓資深開(kāi)發(fā)者更高效。METR基于隨機(jī)對(duì)照試驗(yàn)設(shè)計(jì)，對(duì)16位經(jīng)驗(yàn)豐富的開(kāi)源項(xiàng)目開(kāi)發(fā)者進(jìn)行測(cè)試，每人需完成246個(gè)任務(wù)。開(kāi)發(fā)者預(yù)估AI有助提效?20?%，...

?筆者最近更新了大模型數(shù)理認(rèn)知框架：重整化提取出范疇，持續(xù)重整化驅(qū)動(dòng)范疇相變?，然后逆重整化推理：圖片關(guān)于LLM對(duì)句法和語(yǔ)義驚人的理解力，大家可曾想到一個(gè)關(guān)鍵問(wèn)題：如何以數(shù)學(xué)方式刻畫(huà)LLM所學(xué)到的語(yǔ)言范疇結(jié)構(gòu)？度量LLM語(yǔ)言范疇空間這里是來(lái)自?萬(wàn)字長(zhǎng)文介紹為大語(yǔ)言模型建立的“語(yǔ)言、統(tǒng)計(jì)和范疇”數(shù)學(xué)框架作者TaiDanaeBradley年初給出的方法【文獻(xiàn)1】。通過(guò)將文本片段構(gòu)建為豐富范疇（enrichedcategory）：以token串...

我們的意識(shí)看起來(lái)非常私密，仿佛僅屬于每一個(gè)獨(dú)立的個(gè)體。然而，許多研究人員猜想，意識(shí)可能連接著某種更宏大的存在。一項(xiàng)頗具爭(zhēng)議的新理論提出，一種“量子糾纏”的機(jī)制可能發(fā)生在微管之中——那是構(gòu)成我們每一個(gè)神經(jīng)元支架的微小蛋白質(zhì)管道。韋爾斯利學(xué)院的神經(jīng)科學(xué)家邁克·韋斯特（MikeWiest）認(rèn)為，這些微管中可能傳遞著一種永不停留的量子信息。理解量子糾纏量子糾纏是量子物理中的一種現(xiàn)象，指的是兩個(gè)或多個(gè)粒子之間形成...

智源大會(huì)主題演講中，YoshuaBengio判斷5年內(nèi)出現(xiàn)人類(lèi)水平AI；強(qiáng)化學(xué)習(xí)之父RichardSutton則預(yù)見(jiàn)了AI的體驗(yàn)時(shí)代。筆者理解Sutton說(shuō)的是真實(shí)時(shí)空的具身體驗(yàn)，需要克服目前的時(shí)空模型局限?，走向?自主進(jìn)化。時(shí)空推理的本質(zhì)挑戰(zhàn)Nvidia的具身推理模型還缺什么?文中，筆者提到時(shí)空推理的本質(zhì)挑戰(zhàn)當(dāng)前主流具身AI模型普遍存在以下缺陷：缺乏內(nèi)在時(shí)間建模能力：只能根據(jù)視頻幀中的時(shí)間提示推理順序，而非具備獨(dú)立時(shí)間感知；不能構(gòu)建動(dòng)...

物理人工智能系統(tǒng)需要感知、理解并在物理世界中執(zhí)行復(fù)雜動(dòng)作，NvidiaCosmosReason1【文獻(xiàn)1】就是為此而設(shè)計(jì)。一、CosmosReason1CosmosReason1模型系列宣稱(chēng)可以通過(guò)長(zhǎng)鏈思維推理過(guò)程理解物理世界，并以自然語(yǔ)言生成相應(yīng)的具身決策。該模型將物理AI推理的核心能力，鎖定在物理常識(shí)和具身推理：1.采用分層本體論來(lái)捕捉關(guān)于空間、時(shí)間和物理學(xué)的基礎(chǔ)知識(shí)。分層本體將物理常識(shí)劃分為空間、時(shí)間和基礎(chǔ)物理三大類(lèi)16個(gè)子類(lèi)；2.基于二維...

早在2014年，Mehta和Schwab就證明了“基于受限玻爾茲曼機(jī)（RBM）的深度模型和變分RG之間存在精確對(duì)應(yīng)”。深度網(wǎng)絡(luò)底層神經(jīng)元捕捉細(xì)節(jié)，高層神經(jīng)元提取抽象特征，本質(zhì)上等同于RG中積分掉高頻自由度壓縮與粗化信息的過(guò)程。2022年Erdmenger等學(xué)者引入相對(duì)熵、最優(yōu)輸運(yùn)（OT）等非微擾工具，來(lái)描述深度網(wǎng)絡(luò)，證明多層神經(jīng)網(wǎng)絡(luò)的特征提取過(guò)程與RG的粗?；襟E具有形式一致性。深度學(xué)習(xí)并非在模仿物理，而是在自然演化中與物理過(guò)程趨同...

加州大學(xué)洛杉磯分校與MetaAI的研究團(tuán)隊(duì)聯(lián)合發(fā)布了革命性的強(qiáng)化學(xué)習(xí)框架d1【文獻(xiàn)1】。該框架顯著提升了基于擴(kuò)散原理的LLM（dLLM）的推理性能——在某些場(chǎng)景下將響應(yīng)時(shí)間從超過(guò)30秒縮短至僅需3秒。當(dāng)AI界普遍聚焦于GPT這類(lèi)逐詞生成結(jié)果的自回歸模型時(shí)，dLLM另辟蹊徑，其設(shè)計(jì)靈感源自DALL·E2和StableDiffusion等圖像生成模型。這類(lèi)模型并非順序構(gòu)建答案，而是通過(guò)多輪迭代優(yōu)化被遮蔽的文本版本，在每一階段都能實(shí)現(xiàn)更快速的并行化...

筆者近日在朋友圈發(fā)了如下感慨：“現(xiàn)在太多科幻敘事下的公司AI戰(zhàn)略，看了讓人觸目驚心，可以判斷這些做AI戰(zhàn)略的人幾乎不看paper的?，F(xiàn)在的大模型做個(gè)六七十分的demo非常擅長(zhǎng)，對(duì)企業(yè)生產(chǎn)場(chǎng)景卻缺乏精準(zhǔn)控制的手段。再?gòu)?qiáng)大的工具也有能力的邊界，研究數(shù)理原理可以推演出這些邊界：?大模型的數(shù)理認(rèn)知框架v2”。問(wèn)題這并非刻意標(biāo)新立異或危言聳聽(tīng)：隨著大型生成模型能力的不斷提升及日益廣泛應(yīng)用，人們對(duì)其可靠性、安全性及潛在濫...

作者：álvaroMartínezSánchez,GonzaloArranz&AdriánLozanoDurán編譯：王慶法麻省理工學(xué)院航空航天系學(xué)者11月1日在Nature上發(fā)表了一篇因果關(guān)系的研究文章【文獻(xiàn)1】，很有啟發(fā)性，特此編譯介紹。摘要因果性是科學(xué)探究的核心，作為理解物理系統(tǒng)中變量相互作用的基本依據(jù)，即對(duì)原因的操控會(huì)導(dǎo)致結(jié)果的變化。當(dāng)前的因果推斷方法面臨著顯著的挑戰(zhàn)：包括非線(xiàn)性依賴(lài)性、隨機(jī)交互、自因果作用、匯聚效應(yīng)以及外部因素的影響等。本文...

《高維回歸中的縮放和重整化》【文獻(xiàn)1】由哈佛大學(xué)物理系、腦科學(xué)中心、工程與應(yīng)用科學(xué)學(xué)院、自然與人工智能研究所多位學(xué)者共同撰寫(xiě)，將隨機(jī)矩陣?yán)碚摵妥杂筛怕视糜诶斫飧呔S嶺回歸模型的縮放與重整化行為。一、背景知識(shí)1.嶺回歸（RidgeRegression）一種線(xiàn)性回歸技術(shù)，損失函數(shù)中加入L2正則化項(xiàng)，防止過(guò)擬合并提高泛化能力，特別適用于自變量高度相關(guān)的情況。2.隨機(jī)特征模型（RandomFeatureModel）一種用于高維數(shù)據(jù)建模和機(jī)器學(xué)...