2025年，當(dāng)GPT5在GPQA基準(zhǔn)測(cè)試中拿下85.4%的成績(jī)時(shí)，AI研究界卻在思考一個(gè)更尖銳的問(wèn)題：為什么最先進(jìn)的大模型在處理"19781998年馬爾科獎(jiǎng)得主中是否有來(lái)自已消失國(guó)家的獲獎(jiǎng)?wù)?quot;這類需要多步驟推理的問(wèn)題時(shí)，正確率仍不足30%？研究團(tuán)隊(duì)給出了顛覆性答案——動(dòng)態(tài)結(jié)構(gòu)化知識(shí)流框架FlowSearch，其在GAIA基準(zhǔn)測(cè)試中以76.7%的成績(jī)超越MiroFlow（74.5%）和GPT5（85.4%）等強(qiáng)基線，徹底改變了AI深度研究的范式?？蒲型袋c(diǎn)：當(dāng)AI遇上"馬爾...

如果你深耕計(jì)算機(jī)視覺(jué)或人工智能領(lǐng)域，或許已經(jīng)花了數(shù)小時(shí)研究YOLO（YouOnlyLookOnce，實(shí)時(shí)目標(biāo)檢測(cè)算法）、FasterRCNN（RegionbasedConvolutionalNeuralNetwork，基于區(qū)域的卷積神經(jīng)網(wǎng)絡(luò)）、SSD（SingleShotMultiBoxDetector，單階段多框檢測(cè)器）等目標(biāo)檢測(cè)模型。這些模型堪稱“性能強(qiáng)者”，能以驚人的速度和精度生成邊界框（boundingboxes）與類別標(biāo)簽（classlabels），為從自動(dòng)駕駛到零售分析的多個(gè)領(lǐng)域帶來(lái)了變革。得益于深...

馬爾可夫思考者：突破大模型推理長(zhǎng)度的計(jì)算瓶頸最近，強(qiáng)化學(xué)習(xí)(RL)已成為訓(xùn)練推理LLMs的有效方法，使其能夠產(chǎn)生長(zhǎng)鏈思考(LongCoT)。然而，這種方法面臨著一個(gè)嚴(yán)峻的挑戰(zhàn)：計(jì)算成本隨思考長(zhǎng)度呈二次方增長(zhǎng)。今天，我們介紹一篇來(lái)自Mila、微軟研究院、麥吉爾大學(xué)等機(jī)構(gòu)的研究團(tuán)隊(duì)發(fā)表的重要論文——《TheMarkovianThinker》，他們提出了一種革命性的方法，成功解決了這一難題。論文標(biāo)題：TheMarkovianThinker論文地址：https:arxi...

圖片在人工智能快速發(fā)展的今天，我們經(jīng)常驚嘆于大型語(yǔ)言模型（LLMs）在推理和工具使用方面的驚人能力。然而，你是否曾有過(guò)這樣的經(jīng)歷：與AI助手交流時(shí)，感覺(jué)它雖然能回答問(wèn)題，卻似乎并不真正理解你的需求和偏好？這種"技術(shù)能力強(qiáng)大但用戶理解不足"的現(xiàn)象。研究背景：當(dāng)AI遇上"難以捉摸"的用戶大型語(yǔ)言模型（LLMs）在復(fù)雜推理、代碼生成和解決高級(jí)數(shù)學(xué)問(wèn)題方面已經(jīng)展現(xiàn)出令人印象深刻的能力。通過(guò)工具使用和工具創(chuàng)建，這些模型...

在人工智能領(lǐng)域，大型語(yǔ)言模型(LLM)代理正成為解決復(fù)雜任務(wù)的強(qiáng)大工具。這些代理能夠自主執(zhí)行復(fù)雜任務(wù)，通過(guò)交互、推理和決策來(lái)解決問(wèn)題，通常還可以訪問(wèn)外部工具、記憶或環(huán)境。從深度研究代理到工具增強(qiáng)執(zhí)行系統(tǒng)，再到代碼生成代理，LLM代理在復(fù)雜科學(xué)和工程任務(wù)中展現(xiàn)出強(qiáng)大的能力。然而，當(dāng)前的LLM代理通常面臨一個(gè)兩難選擇：要么是僵化的靜態(tài)系統(tǒng)，依賴手工制作的反思工作流；要么是計(jì)算密集型系統(tǒng)，需要通過(guò)梯度更新來(lái)微調(diào)...

在人工智能的快速發(fā)展浪潮中，大型語(yǔ)言模型（LLMs）的突破性進(jìn)展已經(jīng)點(diǎn)燃了人們對(duì)能夠解決復(fù)雜現(xiàn)實(shí)世界任務(wù)的AI代理的濃厚興趣。然而，當(dāng)前大多數(shù)代理系統(tǒng)仍依賴于手動(dòng)設(shè)計(jì)的配置，一旦部署便保持靜態(tài)，這嚴(yán)重限制了它們適應(yīng)動(dòng)態(tài)變化環(huán)境的能力。今天，我們要介紹一篇開(kāi)創(chuàng)性的綜述論文，它為我們展示了一個(gè)全新的研究方向——自我進(jìn)化AI代理。論文背景與作者團(tuán)隊(duì)這篇題為《AComprehensiveSurveyofSelfEvolvingAIAgents:ANewPara...

智能體人工智能的夢(mèng)想遭遇瓶頸我們正站在計(jì)算領(lǐng)域新時(shí)代的風(fēng)口——智能體人工智能（AgenticAI）時(shí)代。這個(gè)夢(mèng)想簡(jiǎn)單卻意義深遠(yuǎn)：大語(yǔ)言模型（LLMs）不僅能響應(yīng)我們的查詢，還能主動(dòng)代表我們實(shí)現(xiàn)目標(biāo)。我們?cè)O(shè)想這樣的智能體：它們能研究復(fù)雜主題、規(guī)劃精密的旅行行程、調(diào)試代碼，并通過(guò)與世界的動(dòng)態(tài)多步交互管理我們的數(shù)字生活。在過(guò)去一年里，強(qiáng)化學(xué)習(xí)（ReinforcementLearning,RL）一直是推動(dòng)我們邁向這一未來(lái)的核心引擎。通過(guò)讓...

在人工智能領(lǐng)域，大型語(yǔ)言模型（LLMs）的發(fā)展正面臨一個(gè)嚴(yán)峻挑戰(zhàn)：計(jì)算資源的指數(shù)級(jí)擴(kuò)展與高質(zhì)量文本數(shù)據(jù)的有限增長(zhǎng)之間的巨大差距。這一瓶頸正制約著傳統(tǒng)的大模型擴(kuò)展方法。今天，我們要介紹一篇由騰訊團(tuán)隊(duì)與香港中文大學(xué)合作發(fā)表的重要論文，他們提出了一種創(chuàng)新的訓(xùn)練擴(kuò)展范式——基于預(yù)訓(xùn)練數(shù)據(jù)的強(qiáng)化學(xué)習(xí)（ReinforcementLearningonPreTrainingData，簡(jiǎn)稱RLPT），為解決這一難題提供了全新思路。在人工智能領(lǐng)域，大型語(yǔ)言模...

大語(yǔ)言模型(LLM)已經(jīng)成為解決復(fù)雜問(wèn)題的重要工具。然而，即使是目前最先進(jìn)的模型，也面臨著一項(xiàng)根本性挑戰(zhàn)：上下文窗口限制。想象一下，當(dāng)你要求AI回答一個(gè)需要多輪搜索、涉及多個(gè)實(shí)體和復(fù)雜關(guān)系的復(fù)雜問(wèn)題時(shí)，AI往往會(huì)因?yàn)?quot;記不住"之前的探索過(guò)程而無(wú)法給出完整答案。近日，阿里巴巴通義實(shí)驗(yàn)室的研究團(tuán)隊(duì)提出了一項(xiàng)突破性解決方案——ReSum范式，成功破解了這一難題。這項(xiàng)由XixiWu、KuanLi、YidaZhao等研究者共同完成的工作，...

谷歌全新人工智能系統(tǒng)將大型語(yǔ)言模型（LLMs）與樹(shù)搜索（TreeSearch）技術(shù)相結(jié)合，實(shí)現(xiàn)了專家級(jí)科學(xué)軟件的自動(dòng)化創(chuàng)建。通過(guò)將研究重構(gòu)為“可評(píng)分任務(wù)”，該系統(tǒng)在生物信息學(xué)、流行病學(xué)和神經(jīng)科學(xué)領(lǐng)域展現(xiàn)出超越人類的性能，預(yù)示著加速科學(xué)發(fā)現(xiàn)的新時(shí)代到來(lái)。假設(shè)你是一名科學(xué)家，正凝視著屏幕。你的目標(biāo)是研究亞馬遜雨林的森林砍伐問(wèn)題——你已掌握拍字節(jié)（PB）級(jí)別的衛(wèi)星數(shù)據(jù)，但要將這些原始數(shù)據(jù)轉(zhuǎn)化為可靠的“森林砍伐檢測(cè)工...

集群采樣策略優(yōu)化（SwarmSamplingPolicyOptimization，簡(jiǎn)稱SAPO）是一種去中心化的異步強(qiáng)化學(xué)習(xí)（RL）算法，適用于語(yǔ)言模型（LM）后訓(xùn)練任務(wù)。該算法可在異構(gòu)計(jì)算節(jié)點(diǎn)上運(yùn)行，通過(guò)網(wǎng)絡(luò)共享軌跡（rollouts）以傳遞學(xué)習(xí)洞見(jiàn)，避免大規(guī)模并行化帶來(lái)的瓶頸問(wèn)題，降低成本，并在實(shí)驗(yàn)中實(shí)現(xiàn)了高達(dá)94%的獎(jiǎng)勵(lì)提升（包括在數(shù)千個(gè)多樣化社區(qū)節(jié)點(diǎn)上的測(cè)試）。方法原理由N個(gè)節(jié)點(diǎn)組成的集群會(huì)隨時(shí)間生成并交換軌跡（rollouts）。每個(gè)節(jié)點(diǎn)都擁...

本文將介紹DuPO——這一突破性AI框架可使大語(yǔ)言模型（LLM）實(shí)現(xiàn)自我驗(yàn)證與優(yōu)化，無(wú)需高昂的人工標(biāo)注。我們將探討其“廣義對(duì)偶性”如何解決數(shù)學(xué)、翻譯等不可逆任務(wù)，并助力模型實(shí)現(xiàn)最先進(jìn)性能。當(dāng)前人工智能正處于關(guān)鍵節(jié)點(diǎn)。大語(yǔ)言模型（LLM）已展現(xiàn)出驚人的能力，但其發(fā)展卻受制于一個(gè)顯著且常被忽視的瓶頸：對(duì)反饋的持續(xù)依賴。目前主流的技術(shù)范式——基于人類反饋的強(qiáng)化學(xué)習(xí)（RLHF），是GPT4、Claude3等模型背后的核心驅(qū)動(dòng)力。...

DeepSeekV3、Qwen3和KimiK2等模型已經(jīng)證明，擴(kuò)大模型規(guī)模和計(jì)算資源是提升性能的有效途徑。然而，隨著模型規(guī)模的不斷增長(zhǎng)，計(jì)算效率和資源利用成為了亟待解決的關(guān)鍵問(wèn)題。今天，我們將深入解析美團(tuán)LongCat團(tuán)隊(duì)最新發(fā)布的LongCatFlash模型，這個(gè)擁有5600億參數(shù)的MixtureofExperts(MoE)語(yǔ)言模型如何在保證強(qiáng)大性能的同時(shí)，實(shí)現(xiàn)計(jì)算效率的突破性提升。技術(shù)背景：大型語(yǔ)言模型的效率挑戰(zhàn)近年來(lái)，大型語(yǔ)言模型的發(fā)展呈現(xiàn)出"越大越好"...

圖片引言：具身智能與大模型的完美結(jié)合具身智能（EmbodiedAI）旨在開(kāi)發(fā)具有物理形態(tài)的智能系統(tǒng)，使其能夠在真實(shí)環(huán)境中感知、決策、行動(dòng)和學(xué)習(xí)。這一領(lǐng)域被認(rèn)為是通往通用人工智能（AGI）的有希望之路。盡管經(jīng)過(guò)數(shù)十年的探索，但要使智能體在開(kāi)放動(dòng)態(tài)環(huán)境中實(shí)現(xiàn)人類水平的智能，以執(zhí)行通用任務(wù)，仍然是一個(gè)巨大的挑戰(zhàn)。近年來(lái)，大模型的突破性進(jìn)展徹底改變了具身智能領(lǐng)域，通過(guò)增強(qiáng)感知、交互、規(guī)劃和學(xué)習(xí)能力，為通用智能體奠定...

多模態(tài)學(xué)習(xí)一直是研究熱點(diǎn)，它通過(guò)整合來(lái)自不同模態(tài)的信息來(lái)提升模型性能。然而，在實(shí)際應(yīng)用中，多模態(tài)學(xué)習(xí)常常面臨一個(gè)棘手的問(wèn)題——模態(tài)不平衡，導(dǎo)致模型過(guò)度依賴主導(dǎo)模態(tài)而忽視其他模態(tài)，限制了整體效果。一、技術(shù)背景：多模態(tài)學(xué)習(xí)的挑戰(zhàn)多模態(tài)學(xué)習(xí)旨在通過(guò)統(tǒng)一不同模態(tài)的模型來(lái)增強(qiáng)性能。在現(xiàn)實(shí)世界中，對(duì)象通常可以通過(guò)多種模態(tài)來(lái)表征。例如，在動(dòng)作識(shí)別任務(wù)中，可以整合視頻、音頻和運(yùn)動(dòng)傳感器數(shù)據(jù)來(lái)識(shí)別人類動(dòng)作；在文...

傳統(tǒng)的文檔分塊方法（如固定大小或滑動(dòng)窗口方法）存在幾個(gè)根本性局限：它們常常會(huì)破壞連貫內(nèi)容，如多頁(yè)表格、分步流程以及塊邊界間的交叉引用關(guān)系。純文本提取完全忽略了關(guān)鍵的視覺(jué)信息（圖表、文檔布局），而這些對(duì)于理解至關(guān)重要。由于跨頁(yè)邊界的語(yǔ)義關(guān)系未被保留，會(huì)導(dǎo)致上下文不完整。文檔內(nèi)的邏輯流程和依賴關(guān)系（包括嵌套章節(jié)和流程序列）通常會(huì)丟失，從而影響檢索增強(qiáng)生成（RAG）系統(tǒng)。問(wèn)題表述傳統(tǒng)方法：對(duì)于一個(gè)有n頁(yè)...

山姆·奧特曼一直在大肆宣稱GPT5具備博士級(jí)智能，如今初步跡象已經(jīng)顯現(xiàn)。一位推特用戶稱，GPT5展示了一些前所未見(jiàn)的新數(shù)學(xué)內(nèi)容，互聯(lián)網(wǎng)上找不到相關(guān)信息，且它能用新的數(shù)學(xué)算法和方法給出正確證明。實(shí)際情況是怎樣的“塞巴斯蒂安·布貝克是微軟的正統(tǒng)數(shù)學(xué)家，他給GPT5Pro出了一道凸優(yōu)化領(lǐng)域的題目。這不是教科書(shū)上的題，也不在arXiv學(xué)術(shù)預(yù)印本平臺(tái)上，不是自動(dòng)補(bǔ)全的內(nèi)容，而是一道開(kāi)放性難題。具體來(lái)說(shuō)：任務(wù)是改進(jìn)優(yōu)化領(lǐng)域中...

Transformer架構(gòu)從根本上改變了人工智能的格局。從支撐大型語(yǔ)言模型（LLMs）的對(duì)話能力到實(shí)現(xiàn)實(shí)時(shí)語(yǔ)言翻譯，Transformer已成為現(xiàn)代自然語(yǔ)言處理（NLP）應(yīng)用的核心。然而，其成功背后伴隨著巨大的代價(jià)：訓(xùn)練和部署往往需要超大規(guī)模數(shù)據(jù)中心的計(jì)算和內(nèi)存資源。這種計(jì)算需求給人工智能發(fā)展帶來(lái)了巨大的經(jīng)濟(jì)壓力。雖然科技巨頭能夠承擔(dān)大規(guī)模GPU集群的成本，但小型組織和獨(dú)立研究人員往往難以跟上步伐。因此，提高Transformer模型的...

2025年8月5日，OpenAI取得新突破，發(fā)布了兩款基于Apache2.0許可的開(kāi)放權(quán)重推理模型——GPTOSS120B和GPTOSS20B。這些模型將以往只能通過(guò)API獲取的強(qiáng)大功能賦予了開(kāi)發(fā)者、研究人員和企業(yè)，便于他們進(jìn)行微調(diào)、自主部署和擴(kuò)展。什么是GPTOSS？WhatisGPTOSSGPTOSS（生成式預(yù)訓(xùn)練Transformer開(kāi)源軟件，GenerativePretrainedTransformerOpenSourceSoftware）是OpenAI于2025年8月5日根據(jù)Apache2.0許可發(fā)布的一系列開(kāi)放權(quán)重語(yǔ)言模型。此...

向量數(shù)據(jù)庫(kù)如何為檢索增強(qiáng)生成（RAG）高效匹配數(shù)據(jù)包含4個(gè)層級(jí)和30個(gè)文檔的HNSW圖檢索增強(qiáng)生成（RAG）是向大型語(yǔ)言模型（LLMs）添加外部知識(shí)的重要工具。幾乎每個(gè)RAG系統(tǒng)都包含一個(gè)向量數(shù)據(jù)庫(kù)來(lái)執(zhí)行語(yǔ)義搜索。在這種搜索方式中，存儲(chǔ)在向量數(shù)據(jù)庫(kù)中的文檔嵌入會(huì)與用戶的查詢嵌入進(jìn)行比較。一個(gè)基本的RAG設(shè)置包括一個(gè)嵌入模型、一個(gè)向量數(shù)據(jù)庫(kù)和一個(gè)大型語(yǔ)言模型。向量數(shù)據(jù)庫(kù)用于找到與查詢最匹配的前K個(gè)文檔在實(shí)際應(yīng)用中，將一...