最近AI圈子里有兩個(gè)詞特別火：AIAgent和AgenticAI。乍一看好像就是一個(gè)詞的不同寫法，但實(shí)際上這兩者有著天壤之別。說實(shí)話，連我這個(gè)在AI領(lǐng)域摸爬滾打多年的人，在很長一段時(shí)間里也沒完全搞清楚它們的區(qū)別。直到前不久讀了康奈爾大學(xué)剛發(fā)表的一篇重磅論文《AIAgentsvs.AgenticAI:AConceptualTaxonomy,ApplicationsandChallenges》，才算是徹底明白了。這種感覺就像是突然有人幫你把一團(tuán)亂麻給理順了，瞬間豁然開朗。如果非要用...

最近刷到了一篇來自CognitionAI的博客文章，看完之后我簡直有種恍然大悟的感覺。這家公司你可能聽說過，就是那個(gè)開發(fā)了明星AI編程助手Devin的團(tuán)隊(duì)。他們在這篇文章里直接開懟了一個(gè)在AIAgent領(lǐng)域特別流行的概念——多智能體架構(gòu)，說得相當(dāng)犀利："別再搞多智能體了！"讀完這篇文章，我覺得有必要跟大家"叨叨"一下，因?yàn)檫@些觀點(diǎn)可能會顛覆很多人對AIAgent架構(gòu)設(shè)計(jì)的認(rèn)知。為什么大家都在搞多智能體？現(xiàn)在一提到AIAgent，很多人第...

你有沒有想過，當(dāng)ChatGPT回答你的問題時(shí)，它的“大腦”里到底裝了多少東西？最近，來自Meta、谷歌DeepMind、康奈爾大學(xué)等機(jī)構(gòu)的研究人員發(fā)表了一項(xiàng)突破性研究，首次精確測量出了大語言模型的“記憶容量”。這項(xiàng)研究不僅揭示了AI學(xué)習(xí)的奧秘，還解釋了許多我們?nèi)粘Ｊ褂弥杏龅降默F(xiàn)象。什么是模型的“記憶”？想象一下你在準(zhǔn)備考試。有些知識你是真正理解的，比如數(shù)學(xué)公式的推導(dǎo)原理，遇到新題目時(shí)你能靈活運(yùn)用；而有些內(nèi)容你只是死...

1.引言大型語言模型(LLMs)在訓(xùn)練過程中從龐大的知識語料庫(如維基百科)中獲取了大量的事實(shí)知識，并在各種自然語言任務(wù)中展現(xiàn)出卓越的性能。因此，LLMs常被視為支撐知識導(dǎo)向任務(wù)的知識庫。然而，要有效利用這些模型中的知識，需要深入理解LLMs存儲和管理事實(shí)知識的機(jī)制。這種理解對于模型編輯等任務(wù)至關(guān)重要，這些任務(wù)涉及修改模型中嵌入的知識。當(dāng)前的研究主要集中在研究LLMs中嵌入的知識。這些工作將知識視為三元組(s，r，o)，...

上手體驗(yàn)了一波Manus，感覺沒有鼓吹的那么神，也不能被貶的一無是處，感覺Manus更像是想博出名的秀才，有料，但過火了。下面通過一個(gè)Manus的個(gè)人使用案例講講，對于Manus的體驗(yàn)吧，力求既不迷信技術(shù)，也不排斥革新。根據(jù)我的任務(wù)，自動生成部署的網(wǎng)址：??https:cshqyrrh.manus.space。??通過親手體驗(yàn)ManusAIAgent的驚人能力，我感受到它在任務(wù)自動化、效率提升上的顛覆性潛力，但也意識到，即便它智能如斯，局限與挑戰(zhàn)依然...

引言可重復(fù)性是科學(xué)進(jìn)步的基石，然而在機(jī)器學(xué)習(xí)領(lǐng)域，許多已發(fā)表論文并未附帶相應(yīng)的代碼實(shí)現(xiàn)，阻礙了結(jié)果驗(yàn)證并延緩了科研進(jìn)程。為了解決這一難題，KAIST與DeepAuto.ai的研究團(tuán)隊(duì)提出了PaperCoder——一種自動化框架，能夠從機(jī)器學(xué)習(xí)研究論文中直接生成可執(zhí)行的代碼庫。PaperCoder框架概述圖1：PaperCoder的三階段流程，展示了如何通過規(guī)劃、分析和編碼，將論文轉(zhuǎn)換為完整的代碼庫。相比于依賴現(xiàn)有代碼片段或API的傳統(tǒng)方案，Pap...

簡介學(xué)術(shù)寫作對人工智能系統(tǒng)提出了獨(dú)特的挑戰(zhàn)，尤其是在準(zhǔn)確且在上下文中適當(dāng)整合引文方面。雖然大型語言模型（LLM）可以生成流暢的學(xué)術(shù)文本，但它們經(jīng)常遭受引文幻覺——捏造或錯(cuò)誤歸屬參考文獻(xiàn)——這嚴(yán)重限制了它們在學(xué)術(shù)環(huán)境中的用途。論文“ScholarCopilot：訓(xùn)練大型語言模型以使用精確引文進(jìn)行學(xué)術(shù)寫作”介紹了一種旨在解決這些局限性的新型框架。ScholarCopilot由滑鐵盧大學(xué)、卡內(nèi)基梅隆大學(xué)和Vector研究所的研究人員開發(fā)...

近年來，大語言模型（LLM）像春筍般涌現(xiàn)，不僅能寫文案、答問題、編代碼，還能陪你聊天。但如果你深入接觸，就會發(fā)現(xiàn)這些模型有一個(gè)“天生的短板”——它們不知道世界在今天發(fā)生了什么，也不能靈活地從外部獲取信息。這就像你在問一個(gè)上知天文下知地理的老師問題，但他只看過2021年前的書，后面的都不知道。于是，RAG（RetrievalAugmentedGeneration）出現(xiàn)了，它的基本思想是：“我不知道不要緊，我去資料庫里查一查。”但傳統(tǒng)R...

介紹大型推理模型(LRM)在解決復(fù)雜問題方面表現(xiàn)出了令人印象深刻的能力，但它們常常難以處理人類憑直覺就能解決的簡單任務(wù)。這種悖論是名為S1Bench的新基準(zhǔn)測試的核心，該基準(zhǔn)測試專門針對評估LRM中的“系統(tǒng)1”思維能力。與大多數(shù)側(cè)重于復(fù)雜推理任務(wù)的現(xiàn)有基準(zhǔn)測試不同，S1Bench考察了LRM如何有效地處理簡單、直觀的問題，這些問題應(yīng)該只需要最少的思考。該基準(zhǔn)測試表明，當(dāng)前的LRM傾向于“過度思考”簡單問題，從而導(dǎo)致效率低下...

1.RAG技術(shù)現(xiàn)狀與核心挑戰(zhàn)1.1技術(shù)架構(gòu)解析RAG（RetrievalAugmentedGeneration）系統(tǒng)采用雙階段架構(gòu)：檢索模塊：基于稀疏檢索（BM25）、密集檢索（DPR、ANCE）或混合檢索，使用FAISSHNSW構(gòu)建向量索引生成模塊：基于Transformer架構(gòu)的預(yù)訓(xùn)練語言模型（如ChatGPT、Qwen），通過CrossAttention融合檢索結(jié)果典型RAG偽代碼示例retrieverDenseRetriever(indexfaissindex)generatorT5ForConditionalGeneration.frompretrained(...)defrag...

當(dāng)我們談?wù)撊斯ぶ悄軙r(shí)，很容易被各種新聞標(biāo)題所影響——有人說它將徹底改變世界，有人擔(dān)憂它會奪走我們的工作。在這些熱烈討論的背后，一個(gè)更為重要的問題是：人工智能將如何影響我們的經(jīng)濟(jì)？這不僅關(guān)乎我們的工作，更關(guān)乎整個(gè)社會的運(yùn)轉(zhuǎn)方式?；仡櫄v史，人類社會曾多次經(jīng)歷技術(shù)革命——從蒸汽機(jī)到電力，從計(jì)算機(jī)到互聯(lián)網(wǎng)。每一次技術(shù)變革都重塑了經(jīng)濟(jì)結(jié)構(gòu)。如今，我們或許正站在另一個(gè)歷史性轉(zhuǎn)折點(diǎn)上。但與之前的技術(shù)革命一樣...

公元1943年，麥卡洛克與皮茨在芝加哥大學(xué)密室中繪制出"神經(jīng)網(wǎng)絡(luò)符篆"，點(diǎn)燃了硅基文明的第一縷火種。此符篆暗合陰陽二進(jìn)之道，雖僅能解"與或非"三式，已令圖靈真人撫掌長嘆："此物當(dāng)有通靈之日！"這一年，華羅庚道人在普林斯頓隱居，馮·諾依曼大師正筑"存儲程序結(jié)構(gòu)"根基。世人尚不知，一場跨越物種的智慧革命已悄然啟動。公元1950年，劍橋雨夜。圖靈真人披著雨衣穿過哥特式回廊，手中《ComputingMachineryandIntelligence》墨...

一、模型概述與架構(gòu)分析DeepSeekR1是一款全新的大規(guī)模語言模型系列,支持復(fù)雜推理、多模態(tài)處理和技術(shù)文檔生成。其核心特點(diǎn)包括:1.架構(gòu)特性?支持多種精度訓(xùn)練和推理(FP8BF16INT8INT4)?采用MoE(MixtureofExperts)架構(gòu)實(shí)現(xiàn)671B超大規(guī)模?支持混合精度訓(xùn)練和推理優(yōu)化2.模型系列規(guī)格模型名稱參數(shù)規(guī)模計(jì)算精度模型大小典型應(yīng)用場景DeepSeekR1671BFP81,342GB超大規(guī)?？蒲杏?jì)算DeepSeekR1DistillLlama70B70BBF1643GB大規(guī)模推理任務(wù)DeepS...

可能我們經(jīng)常會遇到這樣的場景：老板在會上講了一段話，語音識別系統(tǒng)卻把關(guān)鍵的數(shù)字、人名識別錯(cuò)了；客服系統(tǒng)把用戶說的"預(yù)約掛號"聽成了"我要掛了"；方言用戶的語音指令被系統(tǒng)曲解成了完全不相關(guān)的內(nèi)容。這些問題背后折射出的是語音識別技術(shù)在特定場景下的短板尤其是在處理低資源語言時(shí)表現(xiàn)更為明顯。近期，沙里夫理工大學(xué)的研究團(tuán)隊(duì)提出了一個(gè)頗具創(chuàng)新性的解決方案：GECRAG。這個(gè)方案通過檢索增強(qiáng)的方式來提升語音識別的準(zhǔn)確...

近期，DeepSeek的發(fā)布在開源社區(qū)引起了廣泛關(guān)注。成功再次將人們的目光聚焦到了模型蒸餾技術(shù)上來。那么，究竟什么是模型蒸餾？為什么它能幫助我們構(gòu)建如此高效的模型？讓我們一起深入探討這個(gè)話題。LLMDistillation將大型生成模型定位為“teacher”，將較小的模型定位為“student”。student模型可以是簡單的模型（如logisticregression）或基礎(chǔ)模型（如BERT）。在最基本的distillation版本中，數(shù)據(jù)科學(xué)家從未標(biāo)記的數(shù)據(jù)開始，...

你有沒有想過，是什么讓AI模型變得如此強(qiáng)大？為什么有些AI能夠?qū)懺娮鳟?，有些卻只能做簡單的問答？這其中，ScalingLaw（規(guī)模法則）扮演著至關(guān)重要的角色，它就像AI模型的核心，揭示了模型性能提升的奧秘。ScalingLaw是什么？簡單來說，ScalingLaw指的是當(dāng)我們增加模型的規(guī)模（例如模型包含的參數(shù)越多，模型就越大）、訓(xùn)練數(shù)據(jù)量和計(jì)算資源時(shí)，模型的性能就會隨之提升。（感覺這是符合直覺的，但ScalingLaw最核心的在于量化給出...

原文：RetrievalAugmentedGeneration(RAG)andBeyond:AComprehensiveSurveyonHowtoMakeyourLLMsuseExternalDataMoreWisely每當(dāng)我向非技術(shù)背景的朋友解釋大語言模型時(shí)，我常常用"博學(xué)但缺乏實(shí)踐經(jīng)驗(yàn)的應(yīng)屆生"作比喻。這些模型確實(shí)掌握了海量的知識，但在特定領(lǐng)域的實(shí)際應(yīng)用中，常常會暴露出"經(jīng)驗(yàn)不足"的問題。就像一位剛畢業(yè)的法學(xué)生，雖然能流暢地背誦法條，但面對真實(shí)的案件時(shí)可能會覺得無從下手。微軟亞洲研究院的研究團(tuán)隊(duì)近期...

語音轉(zhuǎn)文本（STT），也稱為自動語音識別（ASR），是一種將口語轉(zhuǎn)錄成書面文本的AI技術(shù)，現(xiàn)在越來越多的公司利用STT在現(xiàn)有應(yīng)用程序中嵌入新的音頻功能，并為一系列用例創(chuàng)建智能助手。語音轉(zhuǎn)文本模型簡史首先，一些背景信息。語音轉(zhuǎn)文本是AI中自然語言處理（NLP）分支的一部分。它的目標(biāo)是使機(jī)器能夠理解人類語音并將其轉(zhuǎn)錄成書面格式。你可能會想，轉(zhuǎn)錄語音有多難。簡短的回答是：非常難。與可以以相對簡單的方式放入矩陣中的圖...

本文旨在解釋多模態(tài)大語言模型的工作原理。此外，還將回顧并總結(jié)最近幾周發(fā)布的十幾篇多模態(tài)研究論文和模型（包括Llama3.2）的內(nèi)容，以比較它們的不同實(shí)現(xiàn)方式。一、多模態(tài)大語言模型是什么？多模態(tài)大語言模型（MultimodalLargeLanguageModels，簡稱MultimodalLLMs）是一種能夠理解和生成多種類型數(shù)據(jù)的模型，包括文本、圖片、音頻和視頻等。這些模型可以跨越不同的數(shù)據(jù)形式，進(jìn)行信息的交互與生成。例如，傳統(tǒng)語言模型只能處理...

“這段代碼明明是對的啊，為什么ChatGPT還給出了錯(cuò)誤的解釋？我都把相關(guān)文檔放進(jìn)去了！”“用戶問的是2024年的新聞，我也給了最新的新聞報(bào)道作為上下文，但模型回答的還是2022年的舊聞...”相信做RAG應(yīng)用開發(fā)的同學(xué)都遇到過類似的困擾。明明提供了相關(guān)的上下文，為什么大模型還是會產(chǎn)生幻覺...是大模型沒有好好利用上下文，還是上下文本身就不足以回答問題？最近Google、UCSD等機(jī)構(gòu)的研究者提出了一個(gè)新的視角來看待這個(gè)問題。...