傳統(tǒng)的token擴(kuò)展方式已經(jīng)走到了算力成本的天花板。與其硬扛百萬(wàn)級(jí)token的計(jì)算壓力，不如讓AI"看"文字，而不是"讀"文字。不知道是否是巧合，DeepSeek與智譜都想到了這一個(gè)思路，并同時(shí)對(duì)外發(fā)布，DeepSeek發(fā)布了DeepSeekOCR，而智譜發(fā)布了一個(gè)名為Glyph的框架，直接工程化的實(shí)現(xiàn)了這一思路。不過(guò)，大家可能被deepseek吸引了注意力，而沒(méi)有注意到它，筆者今天介紹介紹。核心思想傳統(tǒng)方法要么擴(kuò)展位置編碼，要么修改注意力機(jī)制，但...

LangChain拿到了新融資，對(duì)自己有了新定位——Agent基礎(chǔ)設(shè)施提供商，同時(shí)對(duì)自己的產(chǎn)品矩陣做了新的梳理，重新定義了Agent開(kāi)發(fā)的三個(gè)層次。他把Agent開(kāi)發(fā)分成三層：Framework（框架層）：提供抽象和標(biāo)準(zhǔn)化接口。LangChain就是這一層，還有Vercel的AISDK、CrewAI這些。主要解決的是"怎么寫(xiě)"的問(wèn)題?？蚣艿膬r(jià)值在于提供心智模型的抽象，讓開(kāi)發(fā)者更容易上手，但做得不好就會(huì)掩蓋內(nèi)部機(jī)制，缺乏高級(jí)用例的靈活性。Runtime（運(yùn)行時(shí)）...

AndrejKarpathy剛剛分享了一件挺有意思的事：教他的超小型語(yǔ)言模型nanochatd32數(shù)單詞里有幾個(gè)字母r。這聽(tīng)起來(lái)簡(jiǎn)單，但對(duì)一個(gè)"大腦只有蜜蜂大小"的模型來(lái)說(shuō)，難度不小。要知道，連ChatGPT這樣的大模型都經(jīng)常在這種任務(wù)上翻車(chē)。Karpathy的解決方案很實(shí)用：創(chuàng)建一個(gè)叫SpellingBee的合成任務(wù)（代碼見(jiàn)文末），生成大量用戶詢問(wèn)字母計(jì)數(shù)的例子，然后用這些數(shù)據(jù)對(duì)模型進(jìn)行微調(diào)。關(guān)鍵在于細(xì)節(jié)。對(duì)小模型來(lái)說(shuō)，你得把任務(wù)拆得很細(xì)：先把...

市場(chǎng)調(diào)研每年花費(fèi)企業(yè)數(shù)十億美元，卻始終受困于樣本偏差和規(guī)模限制。有沒(méi)有好且經(jīng)濟(jì)的辦法呢？來(lái)自PyMCLabs和高露潔棕欖的團(tuán)隊(duì)發(fā)現(xiàn)了一件有意思的事：讓大語(yǔ)言模型扮演特定人群的消費(fèi)者，給它看個(gè)產(chǎn)品，讓它說(shuō)說(shuō)感受，再用另一個(gè)AI來(lái)評(píng)分，就能預(yù)測(cè)真實(shí)的購(gòu)買(mǎi)意圖，準(zhǔn)確率高達(dá)90%。他們測(cè)試了57個(gè)個(gè)人護(hù)理產(chǎn)品概念，收集了9300份真實(shí)消費(fèi)者反饋。最令人意外的是，這種方法不需要任何訓(xùn)練數(shù)據(jù)就打敗了傳統(tǒng)機(jī)器學(xué)習(xí)。直接讓AI打分...

最近一階段，網(wǎng)絡(luò)上大量吐槽ChatGPT過(guò)于機(jī)械保守，回復(fù)謹(jǐn)小慎微，刻板無(wú)趣。不過(guò)情況要改變了，ChatGPT即將放松內(nèi)容限制。OpenAICEOSamAltman透露，ChatGPT將在未來(lái)幾周內(nèi)推出新版本，允許更加人性化的對(duì)話方式。12月將進(jìn)一步開(kāi)放，經(jīng)過(guò)年齡驗(yàn)證的成年用戶可以訪問(wèn)包括情色內(nèi)容在內(nèi)的更多功能。Altman表示，此前為防范心理健康風(fēng)險(xiǎn)，ChatGPT的限制設(shè)置過(guò)于嚴(yán)格，影響了大多數(shù)正常用戶的使用體驗(yàn)。經(jīng)過(guò)技術(shù)改進(jìn)，現(xiàn)在可以在保證...

GoogleResearch最近公布了一項(xiàng)研究進(jìn)展：他們的開(kāi)源模型Gemma家族新成員Cell2SentenceScale（C2SScale）27B，在與耶魯大學(xué)和GoogleDeepMind的合作中，發(fā)現(xiàn)了一種新的癌癥治療途徑，并已在活細(xì)胞實(shí)驗(yàn)中驗(yàn)證。這個(gè)27B參數(shù)模型的核心創(chuàng)新在于將單細(xì)胞基因表達(dá)數(shù)據(jù)轉(zhuǎn)換成語(yǔ)言模型可理解的"細(xì)胞句子"。耶魯大學(xué)DavidvanDijk實(shí)驗(yàn)室通過(guò)標(biāo)記化處理，把每個(gè)細(xì)胞的基因表達(dá)模式以及數(shù)千個(gè)基因的活躍程度及相互關(guān)系編碼成類(lèi)似自然語(yǔ)言的序...

你的RAG系統(tǒng)慢，可能是因?yàn)樵谧鎏酂o(wú)用功。最近，Meta的研究團(tuán)隊(duì)發(fā)布了REFRAG框架，證明了一個(gè)關(guān)鍵發(fā)現(xiàn)：在RAG系統(tǒng)中，99%的跨段落注意力計(jì)算都是浪費(fèi)的。隨著上下文窗口不斷增長(zhǎng)，首個(gè)token的生成延遲呈二次方增長(zhǎng)，這成為了RAG系統(tǒng)的性能瓶頸。REFRAG通過(guò)一種新的壓縮策略，實(shí)現(xiàn)了30.85倍的首token生成加速，同時(shí)保持了模型的準(zhǔn)確性。核心技術(shù)方案?jìng)鹘y(tǒng)RAG流程很簡(jiǎn)單：查詢來(lái)了，編碼成向量，從向量數(shù)據(jù)庫(kù)里找相似的文本塊，...

OpenAI的AgentBuilder消息先在網(wǎng)上傳開(kāi)，TestingCatalog爆料已經(jīng)試用過(guò)這個(gè)可視化工作流工具。就在大家都在等凌晨OpenAIDevDay正式發(fā)布時(shí)，Anthropic突然宣布把ClaudeCodeSDK改名為ClaudeAgentSDK，搶先發(fā)布了完整的智能體開(kāi)發(fā)框架。這個(gè)時(shí)機(jī)選得很微妙，頗有點(diǎn)“截胡”的味道。Anthropic顯然不想讓OpenAI獨(dú)占智能體平臺(tái)的話語(yǔ)權(quán)。AgentfeedbackloopClaudeAgentSDK的核心理念是"給AI一臺(tái)電腦"。整個(gè)工作流程遵循一個(gè)循環(huán)：收集...

想要學(xué)習(xí)如何實(shí)現(xiàn)類(lèi)似于ChatGPTPulse那種主動(dòng)式、實(shí)時(shí)響應(yīng)的AI助手的能力，這個(gè)名叫Pepper的項(xiàng)目可以學(xué)習(xí)一下。從架構(gòu)圖可以看出，與傳統(tǒng)的請(qǐng)求響應(yīng)模式完全不同，Pepper采用了主動(dòng)式的智能體循環(huán)，它能夠：主動(dòng)抓取并總結(jié)新郵件提前準(zhǔn)備相關(guān)背景信息持續(xù)跟進(jìn)分配的任務(wù)技術(shù)亮點(diǎn)Pepper的幾個(gè)核心特性讓它脫穎而出：實(shí)時(shí)事件驅(qū)動(dòng)架構(gòu)：不是等你來(lái)問(wèn)，而是主動(dòng)監(jiān)聽(tīng)各種事件并作出響應(yīng)。比如新郵件到了，它會(huì)立即開(kāi)始處理。異步工...

當(dāng)下機(jī)器學(xué)習(xí)應(yīng)用開(kāi)發(fā)就像是接力賽：從數(shù)據(jù)庫(kù)取數(shù)據(jù)，傳到應(yīng)用服務(wù)器，再送到ML服務(wù)，處理完原路返回。每一棒都是延遲。更別提，開(kāi)發(fā)者還需在SQL和應(yīng)用代碼之間不斷“翻譯”，這無(wú)形中增加了認(rèn)知負(fù)荷和工程的復(fù)雜度。這時(shí)候，生態(tài)無(wú)比繁榮的開(kāi)源數(shù)據(jù)庫(kù)Postgres再次帶來(lái)了驚喜，PostgresML團(tuán)隊(duì)直接讓AI模型跑在數(shù)據(jù)庫(kù)中。今天我們就介紹這個(gè)體系的兩個(gè)關(guān)鍵項(xiàng)目：PostgresML和Korvus。這兩個(gè)項(xiàng)目的關(guān)系很清晰，PostgresML作為底層...

關(guān)于AI記憶的項(xiàng)目很多，之前我們介紹過(guò)Mem0之類(lèi)的產(chǎn)品(??mem0推出王炸mcp工具OpenMemory，打造用戶私有、跨應(yīng)用的共享記憶層??)。今天我們來(lái)介紹一個(gè)新的項(xiàng)目Memori，它在技術(shù)選型上做了個(gè)有趣的選擇：當(dāng)大家都在追捧向量數(shù)據(jù)庫(kù)和圖數(shù)據(jù)庫(kù)時(shí)，它選擇了回歸SQL。Memori是Gibson團(tuán)隊(duì)開(kāi)發(fā)的開(kāi)源記憶引擎，專(zhuān)門(mén)給大語(yǔ)言模型和AIAgent加上持久記憶。簡(jiǎn)單說(shuō)，就是讓AI能記住你們之前的對(duì)話，不用每次都從頭開(kāi)始。目前主流的AI記憶...

NVIDIA發(fā)布RubinCPX，這是一款專(zhuān)門(mén)為大規(guī)模上下文AI推理設(shè)計(jì)的新型GPU。RubinCPX采用30petaflops算力和NVFP4精度，配備128GBGDDR7內(nèi)存。與現(xiàn)有的GB300NVL72系統(tǒng)相比，性能提升7.5倍，attention處理速度快3倍。這款芯片將視頻編解碼器和長(zhǎng)文本推理處理集成在單個(gè)芯片中。新推出的VeraRubinNVL144CPX平臺(tái)將8exaflopsAI算力、100TB快速內(nèi)存和1.7petabytes秒內(nèi)存帶寬裝入單個(gè)機(jī)架。該平臺(tái)支持NVIDIAQuantumX800InfiniBand和Spectrum...

有人做了個(gè)簡(jiǎn)單又復(fù)雜的實(shí)驗(yàn)：讓11個(gè)當(dāng)前最先進(jìn)的多模態(tài)大模型和5個(gè)普通人一起看鐘表認(rèn)時(shí)間。結(jié)果人類(lèi)平均準(zhǔn)確率89.1%，最好的AI只有13.3%——還不如閉著眼睛瞎猜。這個(gè)叫ClockBench的測(cè)試包含36種定制鐘面，180個(gè)鐘表樣本，每個(gè)鐘表要回答4個(gè)問(wèn)題。設(shè)計(jì)者刻意加入了羅馬數(shù)字、環(huán)形數(shù)字等非常規(guī)樣式，結(jié)果AI在復(fù)雜鐘面上的表現(xiàn)尤其糟糕。但當(dāng)被要求"把時(shí)針逆時(shí)針轉(zhuǎn)90度"這類(lèi)衍生問(wèn)題時(shí)，某些模型反而能100%答對(duì)。這說(shuō)明AI擅長(zhǎng)處...

a16z發(fā)布了第五期消費(fèi)級(jí)AI應(yīng)用排行榜。兩年半的數(shù)據(jù)積累，這個(gè)榜單已經(jīng)成為觀察AI日常使用趨勢(shì)的重要指標(biāo)。生態(tài)正在穩(wěn)定最明顯的信號(hào)是新面孔在減少。網(wǎng)頁(yè)版只有11個(gè)新入榜，比上次的17個(gè)還少。移動(dòng)端倒是活躍一些，有14個(gè)新進(jìn)入者，主要是因?yàn)閼?yīng)用商店開(kāi)始清理ChatGPT“馬甲”，給原創(chuàng)應(yīng)用讓出了空間。Google終于發(fā)力了Google第一次把各個(gè)AI產(chǎn)品分開(kāi)統(tǒng)計(jì)，結(jié)果四個(gè)產(chǎn)品都進(jìn)了網(wǎng)頁(yè)前50：Gemini排第2，網(wǎng)頁(yè)訪問(wèn)量約是ChatGPT的12...

95%的企業(yè)AI試點(diǎn)項(xiàng)目產(chǎn)生零回報(bào)。MIT發(fā)布的《2025年商業(yè)AI現(xiàn)狀》報(bào)告顯示，盡管企業(yè)在GenAI上投入了300400億美元，但95%的組織獲得的回報(bào)為零。只有5%的AI項(xiàng)目真正產(chǎn)生了可衡量的商業(yè)價(jià)值。這種巨大的差異被研究者稱為"GenAI鴻溝"——大部分企業(yè)停留在"試點(diǎn)階段"，而少數(shù)成功者已經(jīng)從AI中獲得了數(shù)百萬(wàn)美元的價(jià)值。為什么ChatGPT很好用，但企業(yè)AI工具很糟糕？報(bào)告揭示了一個(gè)有趣的矛盾：80%的組織都在使用ChatGPT等通用工具，但...

OpenAI發(fā)布了GPTOSS，這是他們六年來(lái)第一個(gè)開(kāi)源的大語(yǔ)言模型。自GPT2以來(lái)，LLM的能力確實(shí)有了巨大的飛躍，但這個(gè)模型本身相比DeepSeek、通義千問(wèn)等開(kāi)源模型，并沒(méi)有帶來(lái)特別的性能驚喜。真正有意思的，是OpenAI通過(guò)這次發(fā)布展現(xiàn)出的一些設(shè)計(jì)思路。JayAlammar新發(fā)布的《TheIllustratedGPTOSS》用信息圖對(duì)其做了拆解分析。我們來(lái)看看都講了什么。架構(gòu)層面沒(méi)什么新鮮事GPTOSS延續(xù)了自回歸Transformer的經(jīng)典架構(gòu)，逐個(gè)生成token。相...

Google前兩天正式推出了新的原生圖像生成和編輯功能，官方名稱是Gemini2.5flashimagepreview，但社區(qū)都叫它"NanoBanana"。Google宣稱這是"世界排名第一"的圖像生成模型，并且免費(fèi)向所有人開(kāi)放。圖片圖片功能特點(diǎn)這個(gè)模型主要有幾個(gè)亮點(diǎn)：風(fēng)格轉(zhuǎn)換：一句話就能把照片改成emo、goth、學(xué)院風(fēng)等不同風(fēng)格背景編輯：可以在自拍中添加各種背景元素，包括外星人發(fā)型預(yù)覽：嘗試不同發(fā)型效果，比如波波頭和劉海照片修復(fù)：給老照片"重新煥...

最近，國(guó)內(nèi)大學(xué)有一項(xiàng)研究《HowChainofThoughtWorksTracingInformationFlowfromDecoding,Projection,andActivation》回答了一個(gè)困擾AI研究者很久的問(wèn)題：為什么讓模型"一步步思考"會(huì)顯著提升推理能力？它們拆解了ChainofThought（思維鏈）提示的內(nèi)部機(jī)制。過(guò)去大家都知道它有效，但沒(méi)人說(shuō)得清楚具體原因。研究團(tuán)隊(duì)選了6個(gè)不同規(guī)模的模型（LLaMA3.23B，LLaMA3.1(8B,70B)，Gemma2(2B,9B,27B)），在9個(gè)數(shù)據(jù)集上做了全面測(cè)試，涵蓋...

上下文管理是AI智能體開(kāi)發(fā)的核心難題。即使大模型有了千萬(wàn)級(jí)token窗口，也不意味著可以無(wú)腦塞信息——垃圾進(jìn)，垃圾出的鐵律依然有效。在此之前我們刊載了Manus在上下文工程上的心得。近日，DrewBreunig也分享了它對(duì)于上下文管理層面的見(jiàn)解。這是一個(gè)完整的上下文管理指南，分為問(wèn)題診斷《HowLongContextsFailDrewBreunig[1]》和解決方案《HowtoFixYourContextDrewBreunig[2]》兩部分。第一部分分析了四種長(zhǎng)上下文失效模式：污染...

OpenAI跳票開(kāi)源模型，卻在昨夜發(fā)布了ChatGPT智能體，能夠像人類(lèi)一樣在網(wǎng)頁(yè)上點(diǎn)擊、輸入、操作，真正從"副駕駛"躍升為"真正的助手"。三大核心能力完美融合ChatGPT智能體將三項(xiàng)強(qiáng)大功能有機(jī)整合：Operator的網(wǎng)站交互能力可以在網(wǎng)頁(yè)上滾動(dòng)、點(diǎn)擊、輸入深入研究的信息整合優(yōu)勢(shì)擅長(zhǎng)分析和總結(jié)網(wǎng)絡(luò)信息ChatGPT的對(duì)話交互能力自然流暢的人機(jī)對(duì)話這種融合讓AI能夠智能選擇最優(yōu)路徑完成任務(wù)：快速通過(guò)API獲取數(shù)據(jù)，同時(shí)與人類(lèi)設(shè)計(jì)的網(wǎng)頁(yè)...