AndrejKarpathy核心思想核心觀點(diǎn)：實(shí)現(xiàn)真正可靠、能勝任知識型工作的通用人工智能代理（Agent），是一個需要大約十年（20252035年）才能成熟的工程挑戰(zhàn)，而非短期內(nèi)可以實(shí)現(xiàn)的飛躍。第一部分：核心論斷——為什么是“代理的十年”？定義“成熟的代理”：“代理”不是一個好玩的玩具或演示，而是一個可以被“雇傭”來完成實(shí)際工作的“員工”或“實(shí)習(xí)生”。它必須足夠可靠、智能，并且具備多模態(tài)能力來操作真實(shí)世界的數(shù)字工具。對...

核心論點(diǎn)：算力是驅(qū)動AI進(jìn)步的根本引擎，其指數(shù)級擴(kuò)張將持續(xù)至2030年報告的基石論點(diǎn)是：AI能力的飛躍式發(fā)展，其最核心、最根本的驅(qū)動力是計算規(guī)模（Scaling）的持續(xù)擴(kuò)張。算法和數(shù)據(jù)的創(chuàng)新固然重要，但它們更多是服務(wù)于、并得益于更大規(guī)模的計算。通過推斷當(dāng)前算力及相關(guān)要素的指數(shù)級增長趨勢，我們可以相當(dāng)可靠地預(yù)測2030年AI的技術(shù)形態(tài)和能力邊界。一、趨勢預(yù)測：通往2030年的“擴(kuò)張之路”及其資源需求基于當(dāng)前趨勢推斷，AI的...

CXL3.X技術(shù)正從理論討論轉(zhuǎn)向?qū)嶋H部署，業(yè)界對其必要性和潛力的關(guān)注日益增加。它特別適合作為構(gòu)建大規(guī)模實(shí)用計算系統(tǒng)的標(biāo)準(zhǔn)，因為它通過內(nèi)存共享實(shí)現(xiàn)更高效的資源利用，并通過支持多級交換和基于端口路由（PortBasedRouting，PBR）的互連架構(gòu)來提升可擴(kuò)展性和靈活性。為了探索CXL3.x技術(shù)的實(shí)際應(yīng)用領(lǐng)域，CXL成員公司Panmnesia的團(tuán)隊在我們的CXL3.x全系統(tǒng)框架上運(yùn)行了各種工作負(fù)載。如上圖所示，Panmnesia的CXL3.x全系統(tǒng)框架包括C...

核心論點(diǎn)合成數(shù)據(jù)是雙刃劍，其價值在于“策略性混合”而非“純粹替代”這項研究通過超過10萬GPU小時和1000個模型的超大規(guī)模實(shí)驗，系統(tǒng)性地揭示了合成數(shù)據(jù)在大型語言模型（LLM）預(yù)訓(xùn)練階段的真實(shí)作用。其根本結(jié)論是：合成數(shù)據(jù)并非萬能解藥，盲目使用甚至有害；但若作為“催化劑”與高質(zhì)量的真實(shí)數(shù)據(jù)策略性地混合，則能大幅提升訓(xùn)練效率與模型潛力。關(guān)鍵發(fā)現(xiàn)與工程實(shí)踐指南1.“混合”是王道：特定配比可將訓(xùn)練速度提升510倍純合成...

核心觀點(diǎn)核心論點(diǎn)：生成式AI正經(jīng)歷從云端向邊緣的根本性范式轉(zhuǎn)移。這一戰(zhàn)略轉(zhuǎn)型由對低延遲、高隱私、強(qiáng)可靠性及可持續(xù)性的迫切需求所驅(qū)動，而這些恰是傳統(tǒng)云中心化模型的固有瓶頸。然而，將AI部署于邊緣的核心挑戰(zhàn)，在于前沿大模型巨大的資源消耗與邊緣設(shè)備嚴(yán)苛的資源限制之間的尖銳矛盾。為系統(tǒng)性地剖析并應(yīng)對這一挑戰(zhàn)，本文提出了一個核心分析框架——“數(shù)據(jù)模型計算”（DataModelCompute,DMC）交互三角，它定義了邊緣AI必須...

核心觀點(diǎn)一、新Jensen定律AI工廠經(jīng)濟(jì)學(xué)定義：在一個電力受限且需求彈性的AI工廠中，任何能提升“每瓦性能”與“系統(tǒng)利用率”的增量投資，都將使可商業(yè)化的產(chǎn)出（Token吞吐量）增速，超過總成本的增速。兩大商業(yè)成果（飛輪效應(yīng)）：1.買得越多，賺得越多(BuyMore,EarnMore)：通過提升總產(chǎn)出實(shí)現(xiàn)收入增長。2.買得越多，省得越多(BuyMore,SaveMore)：通過提升效率降低單位生產(chǎn)成本。二、定律的數(shù)學(xué)基石與成立前提AI工廠的財務(wù)模型：...

?一、核心命題訓(xùn)練“機(jī)器人GPT”式通用機(jī)器人基礎(chǔ)模型的關(guān)鍵瓶頸在于“機(jī)器人數(shù)據(jù)鴻溝”：現(xiàn)有數(shù)據(jù)集規(guī)模遠(yuǎn)低于數(shù)萬億token，且缺乏多樣性（跨環(huán)境、物體、任務(wù)、光照）。要實(shí)現(xiàn)2萬億token目標(biāo)，傳統(tǒng)單機(jī)采集需數(shù)萬年，但通過組合現(xiàn)實(shí)機(jī)器人集群、模擬數(shù)據(jù)和人類視頻數(shù)據(jù)，可在幾年內(nèi)接近目標(biāo)。這需數(shù)十億美元級投資，但2025年進(jìn)展（如NVIDIA的ProjectGR00T更新和SkildAI的通用機(jī)器人腦）顯示技術(shù)路徑日益成熟，凸顯合成數(shù)據(jù)和...

Enfabrica，一家專注于高性能網(wǎng)絡(luò)芯片的公司，推出了其彈性內(nèi)存網(wǎng)絡(luò)系統(tǒng)（ElasticMemoryFabricSystem，EMFASYS）。該系統(tǒng)通過整合其3.2TbpsACFSSuperNIC與基于CXL的DDR5內(nèi)存，為AI集群提供靈活的高性能內(nèi)存池，有望改變數(shù)據(jù)中心管理生成式AI內(nèi)存的方式。AI推理中的內(nèi)存瓶頸生成式AI是迄今為止最復(fù)雜的應(yīng)用之一，其依賴復(fù)雜的計算處理海量數(shù)據(jù)集。大型語言模型（LLM）將信息分解為Token，通過神經(jīng)網(wǎng)絡(luò)傳遞以生成參數(shù)——這些參數(shù)...

摘要大型語言模型（LargeLanguageModels，LLM）的性能在根本上取決于推理過程中提供的上下文信息。本綜述首次提出并定義了上下文工程（ContextEngineering），這一正式學(xué)科超越了簡單的提示設(shè)計，涵蓋了對LLM信息負(fù)載的系統(tǒng)性優(yōu)化。我們提出了一種全面的分類框架，將上下文工程分解為基礎(chǔ)組件和集成這些組件的復(fù)雜系統(tǒng)實(shí)現(xiàn)。首先，我們考察了基礎(chǔ)組件：（1）上下文檢索與生成（ContextRetrievalandGeneration），包括基于提示的...

1.關(guān)于AI的潛力與風(fēng)險“我們當(dāng)然希望這些AI系統(tǒng)能夠帶來它們所承諾的一切，比如找到新的治病方法、新的能源形式，做出很多對整個人類有巨大幫助的事。但同時也確實(shí)存在一些擔(dān)憂，比如如果最早的AI是在錯誤的價值觀引導(dǎo)下開發(fā)的，或者在沒有安全保障的情況下建成的，那可能會帶來很嚴(yán)重的問題。”2.關(guān)于AGI的定義和發(fā)展節(jié)奏“我們一直把AGI理解為一種能夠具備人類所有核心認(rèn)知能力的系統(tǒng)。我們之所以以人類大腦為參照，是因為人...

?概述IT高管們明白投資AI項目及其支持基礎(chǔ)設(shè)施的必要性。根據(jù)IDC的研究，技術(shù)領(lǐng)導(dǎo)者預(yù)計在未來兩年內(nèi)，整體AI預(yù)算和專項GenAI預(yù)算將翻倍。然而，預(yù)算并非無限，且如前所述，AI項目的成功率相當(dāng)?shù)?。因此，組織的最高層級正密切監(jiān)控著支出與成果。根據(jù)報告，35.1%的受訪者表示，在未來18個月內(nèi)，AI賦能的能力將對其團(tuán)隊的數(shù)據(jù)管理效率和效能產(chǎn)生最大影響。然而，受訪者也指出，數(shù)據(jù)管理是使用GenAI的最大障礙之一。為支持關(guān)鍵工...

對許多從事高性能計算（HPC）的人而言，工作流程大致如此：科學(xué)首先用微分方程刻畫世界；只要解出或近似這些方程，就能追蹤模型隨時間的演化——天氣預(yù)報便是典型例子。而在量子力學(xué)里，積分微積分則被用來預(yù)測原子與分子的能級。所有這些方法的核心都是基于理論或第一性原理（基本物理規(guī)則）的模型，這些模型反映了自然界的行為方式。最終的仲裁者當(dāng)然是自然，而模型根據(jù)各種因素提供不同程度的準(zhǔn)確性。有些模型表現(xiàn)出色，通常...

OpenAI正通過其Stargate項目重塑AI格局，這是一項與Oracle和SoftBank合作的宏大計劃，在美國德克薩斯州阿比林（Abilene,Texas）建設(shè)全球最大的單一數(shù)據(jù)中心。這一占地900英畝的龐然大物已消耗300兆瓦（MW）電力，遠(yuǎn)超埃隆·馬斯克（ElonMusk）旗下xAI的Colossus——一座擁有20萬個GPU、功率250兆瓦（MW）的設(shè)施。OpenAI計劃到2026年中將阿比林?jǐn)?shù)據(jù)中心的功率提升至創(chuàng)紀(jì)錄的1.2吉瓦（GW），并獲得高達(dá)5000億美元的四年投資以及白...

谷歌近期在AI領(lǐng)域邁出重要一步。2025年5月，OpenAI——ChatGPT的開發(fā)公司及微軟的重要合作伙伴——與GoogleCloud達(dá)成協(xié)議，租用其TensorProcessingUnit（TPU），為AI硬件市場帶來顯著影響。這不僅是一項云服務(wù)合作，更是一次戰(zhàn)略調(diào)整，挑戰(zhàn)了Nvidia在GPU領(lǐng)域的領(lǐng)先地位，凸顯了微軟的資源瓶頸，并鞏固了谷歌定制芯片的市場競爭力。OpenAI的戰(zhàn)略選擇：為何轉(zhuǎn)向谷歌？OpenAI業(yè)務(wù)增長迅速，據(jù)路透社報道，截至2025年6月，其年化收...

來源：https:newsletter.maartengrootendorst.compavisualguidetomixtureofexperts如您關(guān)注最新發(fā)布的大型語言模型（LLM），可能會頻繁在標(biāo)題中看到“MoE”這個詞。那么，“MoE”究竟是什么？為何眾多LLM都開始采用它呢？在這份圖解中，我們將通過50多張可視化圖，詳細(xì)探索這個重要組件——混合專家模型（MixtureofExperts,MoE）！在這份圖解中，我們將深入探討MoE的兩個主要組成部分，即專家（Experts）和路由器（Router），及...

?核心觀點(diǎn)1.大語言模型推理的定義常規(guī)觀點(diǎn)：大語言模型（LLM）的推理被視為類似人類的高級能力，定義模糊，常引發(fā)爭論。Zhou的觀點(diǎn)：推理爭論因缺乏明確定義而無意義；Zhou將推理定義為輸入與輸出之間的中間Token（推理步驟），僅是模型輸出的可預(yù)測行為，而非神秘過程。2.預(yù)訓(xùn)練模型的推理能力常規(guī)觀點(diǎn)：預(yù)訓(xùn)練模型需通過思維鏈（CoT）提示或微調(diào)才能具備推理能力。Zhou的觀點(diǎn)：預(yù)訓(xùn)練模型已具備推理能力，推理路徑存在于輸出...

?摘要本文批判性地區(qū)分了人工智能代理（AIAgents）與代理式人工智能（AgenticAI），提出了結(jié)構(gòu)化的概念分類、應(yīng)用映射和挑戰(zhàn)分析，以闡明二者在設(shè)計理念和能力上的差異。本文首先概述了搜索策略和基礎(chǔ)定義，將AI代理描述為由大型語言模型（LLM）和大型圖像模型（LIM）驅(qū)動的模塊化系統(tǒng)，專注于狹窄、特定任務(wù)的自動化。生成式人工智能（GenerativeAI）被定位為前驅(qū)，而AI代理通過工具集成、提示工程和推理增強(qiáng)得以發(fā)展。相比之...

光子技術(shù)（Photonics）在數(shù)據(jù)中心AI加速中扮演著日益重要的角色。光學(xué)組件的全球市場規(guī)模已相當(dāng)可觀，去年收入達(dá)170億美元。歷史上，電信領(lǐng)域（如海底光纜和光纖到戶）主導(dǎo)了需求。然而，如今數(shù)據(jù)通信領(lǐng)域，尤其是AI驅(qū)動的數(shù)據(jù)中心，已占據(jù)市場超60%的份額。這一轉(zhuǎn)變正在加速光學(xué)技術(shù)的增長。為匹配AI計算集群（包括GPU和定制加速器在內(nèi)的xPU）不斷提升的性能，光學(xué)傳輸速率正迅速提高。圖1：光學(xué)組件市場歷史與預(yù)測。來源：OMD...

什么是AI代理？AI代理是一種軟件組件，具備代表用戶或系統(tǒng)自主執(zhí)行任務(wù)的能力。用戶可將多個代理整合為系統(tǒng)，以協(xié)調(diào)復(fù)雜的工作流程、協(xié)同管理各代理間的活動、運(yùn)用邏輯推理解決復(fù)雜問題，并評估用戶查詢的響應(yīng)。如果你曾與客戶服務(wù)聊天機(jī)器人互動，或要求生成式AI模型創(chuàng)作一首十四行詩，那么你已經(jīng)接觸到AI代理的基礎(chǔ)形式。若你察覺自ChatGPT推動生成式AI成為主流以來，其性能顯著提升，你的觀察并無偏差。盡管AI代理的概念已存...

?MinIOMinIOAIStor與ModelContextProtocol（MCP）Server應(yīng)用的AI能力自然語言處理（NLP）：支持與主流大語言模型（LLMs）如AnthropicClaude或OpenAIGPT集成，用戶可通過自然語言進(jìn)行意圖驅(qū)動的查詢（如：“FindunclassifiedimagesinbucketX”），無需編寫結(jié)構(gòu)化命令，從而實(shí)現(xiàn)對存儲系統(tǒng)的類對話式交互。自動元數(shù)據(jù)標(biāo)注：借助MCPServer的askobject功能，通過AI模型自動提取和分類非結(jié)構(gòu)化數(shù)據(jù)（如圖像元數(shù)據(jù)），可能基于嵌入式...