核心觀點(diǎn)總結(jié)：語言驅(qū)動Agent與非共識之路姚順雨的經(jīng)歷和研究都體現(xiàn)了“非共識”的路徑，他一直致力于Agent（智能體）研究，并堅信語言是實現(xiàn)泛化和開放世界決策的本質(zhì)工具。1.Agent的本質(zhì)：語言是為泛化而生的工具?非共識起點(diǎn)：2018年選擇讓語言模型玩游戲，而不是當(dāng)時主流的BERT。?開放世界的本質(zhì)：真實世界的行為空間是開放的（openended），傳統(tǒng)NLP的有限選項無法應(yīng)對。?語言的特殊性：語言是一個通用性（generalpurpose...

前言2025年是AIAgent真正進(jìn)入生產(chǎn)環(huán)境的元年。不同于早期AutoGPT式的寬泛自主Agent，現(xiàn)在的生產(chǎn)級Agent更加垂直化、范圍明確、高度可控，具備定制化的認(rèn)知架構(gòu)。LinkedIn、Uber、Replit和Elastic等公司都在生產(chǎn)環(huán)境中使用LangGraph構(gòu)建實際業(yè)務(wù)場景。本文將基于LangGraph框架，為應(yīng)用開發(fā)者提供一套完整的Agent構(gòu)建方法論，從概念驗證到生產(chǎn)部署的全流程實戰(zhàn)指南。核心架構(gòu)：狀態(tài)圖驅(qū)動的Agent設(shè)計LangGraph采用有向圖架構(gòu)組織A...

本文將帶你了解LLM評估的最新狀態(tài)，探索經(jīng)過驗證的策略，包括離線和在線基準(zhǔn)測試。評估大型語言模型（LLM）感覺就像是試圖解開一個巨大的線團(tuán)——事情千頭萬緒，往往不知道應(yīng)該從哪一頭開始。從應(yīng)對不可預(yù)測的用戶輸入到選擇合適的指標(biāo)，整個過程可能讓人不知所措。但是，請不要驚慌！在這篇文章中，我們將為你梳理一些久經(jīng)考驗的最佳實踐、常見的陷阱和實用技巧，幫助你對LLM的性能進(jìn)行基準(zhǔn)測試。無論你是剛剛?cè)腴T還是需要快速...

Nature最新論文深度剖析：從15.6%到86.7%，這是如何實現(xiàn)的？DeepSeekR1論文首登《自然》封面，梁文鋒團(tuán)隊正面回應(yīng)蒸餾質(zhì)疑、發(fā)布詳盡安全報告9月17日，在Nature上發(fā)表的DeepSeekR1論文《DeepSeekR1incentivizesreasoninginLLMsthroughreinforcementlearning》[1]引起了業(yè)界廣泛關(guān)注。這不僅僅是因為它在AIME2024數(shù)學(xué)競賽上取得了86.7%的驚人成績，更重要的是它展示了一條完全不同的技術(shù)路徑：不依賴人工標(biāo)注的推理軌跡，純粹通...

前言2025年是AIAgent真正進(jìn)入生產(chǎn)環(huán)境的元年。不同于早期AutoGPT式的寬泛自主Agent，現(xiàn)在的生產(chǎn)級Agent更加垂直化、范圍明確、高度可控，具備定制化的認(rèn)知架構(gòu)。LinkedIn、Uber、Replit和Elastic等公司都在生產(chǎn)環(huán)境中使用LangGraph構(gòu)建實際業(yè)務(wù)場景。本文將基于LangGraph框架，為應(yīng)用開發(fā)者提供一套完整的Agent構(gòu)建方法論，從概念驗證到生產(chǎn)部署的全流程實戰(zhàn)指南。核心架構(gòu)：狀態(tài)圖驅(qū)動的Agent設(shè)計LangGraph采用有向圖架構(gòu)組織A...

Google發(fā)布的《Agents》白皮書，為AIAgent的工程化實踐提供了系統(tǒng)性的技術(shù)框架。作為一線開發(fā)者，我們需要的不是概念解釋，而是可操作的技術(shù)方案。本文基于白皮書內(nèi)容，結(jié)合實際開發(fā)經(jīng)驗，為Agent應(yīng)用開發(fā)者提供從架構(gòu)設(shè)計到生產(chǎn)部署的完整技術(shù)路徑。如果你正在或計劃開發(fā)Agent應(yīng)用，這篇文章將幫你避開常見的技術(shù)陷阱，選擇合適的架構(gòu)模式。Agent的核心架構(gòu)分為三個關(guān)鍵部分：模型、工具和編排層。1.模型層（Model）這是Agent...

隨著大模型技術(shù)的飛速發(fā)展，AI智能體（AIAgent）正成為下一代AI應(yīng)用的核心。本文將深入探討AI智能體的核心構(gòu)成、設(shè)計范式，并分析其在工程化、評估和未來發(fā)展上的關(guān)鍵要點(diǎn)。特別關(guān)注智能體如何與GPU加速卡、云原生環(huán)境協(xié)同工作，為大模型技術(shù)愛好者和GPU加速卡使用者提供深度洞察。1.什么是AI智能體？并非所有的AI產(chǎn)品都能稱為智能體（Agent）。一個完整的智能體需具備以下四項核心能力：對話能力、推理能力、長記憶能力和工具...

大家好，作為大模型技術(shù)的深度玩家，你是否已經(jīng)厭倦了單純的問答和對話？當(dāng)LLM（大型語言模型）的推理能力遇上各種外部工具，我們正迎來一個全新的時代——智能體（Agent）時代。智能體，顧名思義，就是能像人一樣思考、規(guī)劃、行動，并根據(jù)環(huán)境反饋進(jìn)行調(diào)整的AI實體。它不再是被動回答問題的工具，而是能夠主動執(zhí)行復(fù)雜任務(wù)的“大腦”。今天，我們就來一起深入探討六種當(dāng)下最前沿的智能體設(shè)計范式，看看如何用它們真正釋放GPU的...

核心摘要智能體需要上下文來執(zhí)行任務(wù)。上下文工程，是一門將恰當(dāng)信息精準(zhǔn)填入智能體上下文窗口的藝術(shù)與科學(xué)。本文將當(dāng)下主流智能體中常見的上下文工程策略歸納為幾大類。上下文工程的本質(zhì)安德烈·卡帕西（AndrejKarpathy）曾將大型語言模型（LLMs）比作一種新型操作系統(tǒng)。其中，LLM如同中央處理器（CPU），其上下文窗口則扮演著隨機(jī)存取存儲器（RAM）的角色，作為模型的工作記憶。正如RAM容量有限，LLM的上下文窗口在處理多種上...

在當(dāng)前大模型（LLM）應(yīng)用如火如荼的時代，無論是構(gòu)建智能客服、實時搜索助手，還是驅(qū)動創(chuàng)意內(nèi)容生成，大模型的推理速度都已不再是可有可無的“奢侈品”，而是直接決定用戶體驗和運(yùn)營成本的關(guān)鍵。我們常常會發(fā)現(xiàn)，即便是一個在訓(xùn)練階段表現(xiàn)優(yōu)異的大模型，部署到生產(chǎn)環(huán)境后，其理論性能與實際表現(xiàn)之間卻存在著巨大的鴻溝。這種差距可能表現(xiàn)為：請求延遲時高時低，從毫秒級飆升到數(shù)十秒；系統(tǒng)吞吐量不穩(wěn)定，并發(fā)處理能力難以預(yù)測；...

痛點(diǎn)：大模型性能評估的"黑盒困境"想象一下這樣的場景：你剛剛部署了一個32B參數(shù)的DeepSeekR1模型，信心滿滿地準(zhǔn)備上線服務(wù)。但突然有人問你："這個模型能承受多大的并發(fā)？延遲如何？每秒能處理多少tokens？"面對這些問題，很多開發(fā)者只能憑經(jīng)驗猜測，或者寫一些簡單的腳本測試。這就像是駕駛一輛沒有儀表盤的汽車——你永遠(yuǎn)不知道自己跑得有多快，油還能跑多遠(yuǎn)。傳統(tǒng)壓測方案的局限性：???指標(biāo)單一：只能測基本的QPS，缺乏細(xì)...

Part.1RAG這么火，你會用嗎？自從大模型技術(shù)走向市場以來，“幻覺”現(xiàn)象總是對用戶造成困擾，而RAG（RetrievalAugmentedGeneration，檢索增強(qiáng)生成）技術(shù)正在成為解決這一難題的利器。國內(nèi)眾多科技大廠在實踐RAG技術(shù)時都取得了階段性的成果。螞蟻集團(tuán)采用RAG技術(shù)，通過知識庫分層構(gòu)建、復(fù)雜文檔處理、混合搜索策略和總結(jié)模型優(yōu)化，答案獲取效率提高約20%。阿里云通過外掛知識庫提供可靠知識，優(yōu)化知識檢索與答案生成流程，成功化...

在大模型應(yīng)用日益普及的今天，如何寫出高質(zhì)量的提示詞成為了每個開發(fā)者必須掌握的技能。最近，專業(yè)提示工程師SanderSchulhoff和他的團(tuán)隊完成了一項重要研究：分析超過1500篇學(xué)術(shù)論文，梳理出200多種提示技巧，并從中篩選出了5種最有效的核心方法。這些發(fā)現(xiàn)不僅有學(xué)術(shù)價值，更具備很強(qiáng)的實踐指導(dǎo)意義。讓我們深入了解這些經(jīng)過驗證的技巧。1.少量示例法：讓模型從示例中學(xué)習(xí)原理解析傳統(tǒng)的提示往往直接拋出問題，期望模型能夠理解...

引言ClaudeCode是Anthropic推出的智能編程助手，它直接集成到你的終端環(huán)境中，能夠理解你的代碼庫，并通過自然語言命令幫助你更快地編程。本文將系統(tǒng)介紹ClaudeCode的無門檻配置方法，通過使用GitHubCopilot作為模型提供者，讓你無需訂閱Claude賬戶即可享受強(qiáng)大的AI編程能力。什么是ClaudeCodeClaudeCode是一個革命性的開發(fā)工具，它將AI助手直接集成到你的開發(fā)環(huán)境中。與傳統(tǒng)的代碼生成工具不同，ClaudeCode具有以下特點(diǎn)：?理...

前言上周，團(tuán)隊準(zhǔn)備用??DeepSeek32B??模型做微調(diào)，結(jié)果第一次訓(xùn)練就遇到了顯存爆炸。各種OOM錯誤讓人抓狂。經(jīng)過摸索和實踐，終于摸清了LLaMAFactory參數(shù)配置的門道。今天把這些經(jīng)驗分享出來，希望能幫大家避開我踩過的坑。LLaMAFactory參數(shù)體系全景LLaMAFactory有400+個配置參數(shù)，看起來很復(fù)雜，但其實可以分為三個層次：核心層（必須配置）：決定能否跑起來優(yōu)化層（影響性能）：決定跑得好不好高級層（錦上添花）：決定跑...

隨著大模型應(yīng)用的普及，越來越多的企業(yè)開始關(guān)注私有化部署。今天我們聊聊如何在??海光DCUK100AI??計算卡上部署Xinference推理框架，構(gòu)建一套完整的私有AI推理服務(wù)。為什么選擇Xinference？Xinference是一個功能強(qiáng)大的開源推理平臺，可以理解為"本地版的OpenAIAPI"。它的優(yōu)勢在于：統(tǒng)一接口：無論是大語言模型、多模態(tài)模型還是嵌入模型，都提供統(tǒng)一的調(diào)用方式。硬件兼容性強(qiáng)：支持CPU、NVIDIAGPU、海光DCU等多種硬件平臺。自...

隨著Claude4、DeepSeekV3等大語言模型的爆發(fā)式發(fā)展，模型參數(shù)規(guī)模已經(jīng)達(dá)到千億甚至萬億級別。這些"巨無霸"模型雖然性能強(qiáng)大，但也帶來了巨大的計算和存儲挑戰(zhàn)。一個70B參數(shù)的模型，僅權(quán)重就需要約140GB的顯存，這讓大多數(shù)企業(yè)和個人用戶望而卻步。量化技術(shù)的出現(xiàn)，為解決這一難題提供了有效路徑。通過將模型權(quán)重從32位浮點(diǎn)數(shù)壓縮到4位或8位整數(shù)，可以大幅降低存儲需求和計算成本，同時盡可能保持模型性能。什么是模型量化？模型...

一、前言隨著大語言模型（LLM）的飛速發(fā)展，如何在特定領(lǐng)域或任務(wù)上對預(yù)訓(xùn)練模型進(jìn)行高效微調(diào)，已成為業(yè)界關(guān)注的焦點(diǎn)。LLaMAFactory作為一個功能強(qiáng)大且易于上手的LLM微調(diào)框架，受到了廣泛關(guān)注。本文將聚焦于在國產(chǎn)DCU平臺上，利用LLaMAFactory對Llama3模型進(jìn)行LoRA微調(diào)的實踐過程，并分享其中的關(guān)鍵步驟與經(jīng)驗。??海光DCU實戰(zhàn)項目來了！助您輕松駕馭大模型與HPC開發(fā)??為幫助開發(fā)者更便捷在海光DCU上進(jìn)行大模型（訓(xùn)練、微調(diào)、推...

從梁寧的《真需求》一書中，我提煉出對AI大模型創(chuàng)業(yè)者特別有價值的洞見。本文將結(jié)合AI領(lǐng)域特點(diǎn)，探討價值創(chuàng)造、共識構(gòu)建和產(chǎn)品打磨的核心原則。一、從價值本質(zhì)看AI大模型創(chuàng)業(yè)"商業(yè)價值無法自己一廂情愿地說有就有，它是由交易的對手盤一買方，來決定的。因此，進(jìn)入商業(yè)世界的第一個訓(xùn)練，就是要擺脫自己的主觀感受和主觀愿望，站到買方那一側(cè)來審視自己手上的東西。"在AI大模型創(chuàng)業(yè)中，這一點(diǎn)尤為關(guān)鍵。技術(shù)人員容易陷入"技術(shù)決...

還在反復(fù)輸入同樣的AI提示詞嗎？還在為找不到之前用過的高質(zhì)量Prompt而煩惱嗎？如果你是AI大模型的重度用戶，那么今天介紹的這款瀏覽器插件絕對能讓你愛不釋手。QuickPrompt，一款專為提示詞管理設(shè)計的效率工具，它能讓你的AI對話效率提升10倍不止。一鍵喚出，告別復(fù)制粘貼在ChatGPT、Claude或文心一言等任何輸入框中，只需輸入??p??，立即喚出你的提示詞庫，從中選擇需要的提示詞一鍵插入。解放雙手，無需在各種筆記軟件間...