目錄一、引言二、以「對(duì)話(huà)為中心」的ChatBot三、以「交付為中心」的多智能體Agent三、什么是智能體Agent1.從Prompt到思維鏈2.ReAct架構(gòu)3.Agent4.Manus：一個(gè)Agent典型案例5.大模型上下文協(xié)議（MCP）四、智能體Agent實(shí)現(xiàn)的源碼剖析（OpenManus項(xiàng)目）1.準(zhǔn)備2.代碼五、總結(jié)一、引言從2022年12月份OpenAI發(fā)布ChatGPT產(chǎn)品至今已有2年多的時(shí)間，當(dāng)大家已經(jīng)習(xí)慣于在對(duì)話(huà)框中與AI交互，習(xí)慣于通過(guò)各種Prompt技巧讓AI更好的理解并回答我...

一、背景Deepseekr1模型的爆火標(biāo)志著本地部署大模型的需求日益增長(zhǎng)。本文主要探討如何優(yōu)化本地部署大模型的性能，并結(jié)合我們的實(shí)踐進(jìn)行評(píng)測(cè)分析，文章最后我們將分享如何在本地高效部署滿(mǎn)血版Deepseekr1大模型。在生產(chǎn)環(huán)境中，我們已部署專(zhuān)用的大模型推理集群，并對(duì)其性能進(jìn)行了全面優(yōu)化。對(duì)于大模型推理來(lái)說(shuō)，性能優(yōu)化主要聚焦于兩個(gè)關(guān)鍵指標(biāo)：吞吐量與響應(yīng)時(shí)間(RT)。吞吐量傳統(tǒng)上，我們用每秒請(qǐng)求數(shù)（QPS）來(lái)衡量吞吐量，即系...

一、背景得物開(kāi)放平臺(tái)是一個(gè)把得物能力進(jìn)行開(kāi)放，同時(shí)提供給開(kāi)發(fā)者提供公告、應(yīng)用控制臺(tái)、權(quán)限包申請(qǐng)、業(yè)務(wù)文檔等功能的平臺(tái)。面向商家：通過(guò)接入商家自研系統(tǒng)?？梢詫?shí)現(xiàn)自動(dòng)化庫(kù)存、訂單、對(duì)賬等管理。面向ISV：接入得物開(kāi)放平臺(tái)，能為其產(chǎn)品提供更完善的全平臺(tái)支持。面向內(nèi)部應(yīng)用：提供安全、可控的、快速支持的跨主體通訊。得物開(kāi)放平臺(tái)目前提供了一系列的文檔以及工具去輔助開(kāi)發(fā)者在實(shí)際調(diào)用API之前進(jìn)行基礎(chǔ)的引導(dǎo)和查詢(xún)。...

一、背景得物開(kāi)放平臺(tái)是一個(gè)把得物能力進(jìn)行開(kāi)放，同時(shí)提供給開(kāi)發(fā)者提供公告、應(yīng)用控制臺(tái)、權(quán)限包申請(qǐng)、業(yè)務(wù)文檔等功能的平臺(tái)。面向商家：通過(guò)接入商家自研系統(tǒng)?？梢詫?shí)現(xiàn)自動(dòng)化庫(kù)存、訂單、對(duì)賬等管理。面向ISV：接入得物開(kāi)放平臺(tái)，能為其產(chǎn)品提供更完善的全平臺(tái)支持。面向內(nèi)部應(yīng)用：提供安全、可控的、快速支持的跨主體通訊。得物開(kāi)放平臺(tái)目前提供了一系列的文檔以及工具去輔助開(kāi)發(fā)者在實(shí)際調(diào)用API之前進(jìn)行基礎(chǔ)的引導(dǎo)和查詢(xún)。...

如何把多個(gè)大模型合并部署以節(jié)省成本呢？本文將深入探討這一技術(shù)與應(yīng)用場(chǎng)景，利用多Lora合并部署大模型。一、背景近期，我們?cè)诖竽Ｐ图旱牟渴疬^(guò)程中遇到了一些挑戰(zhàn)。公司有多個(gè)業(yè)務(wù)場(chǎng)景，每個(gè)場(chǎng)景都基于自身的數(shù)據(jù)進(jìn)行微調(diào)，訓(xùn)練出相應(yīng)的大模型并上線(xiàn)。然而，這些場(chǎng)景的調(diào)用量并不高，同時(shí)大模型的部署成本較為昂貴，這造成了資源的浪費(fèi)。本文將介紹我們?nèi)绾卫枚郘ora技術(shù)，將多個(gè)場(chǎng)景合并部署，從而有效解決這一問(wèn)題。同時(shí)...

隨著得物業(yè)務(wù)的快速發(fā)展，積累了大量的時(shí)序數(shù)據(jù)，這些數(shù)據(jù)對(duì)精細(xì)化運(yùn)營(yíng)，提升效率、降低成本有著重要作用。在得物的時(shí)序數(shù)據(jù)挖掘場(chǎng)景中，時(shí)序預(yù)測(cè)Prophet模型使用頻繁，本文對(duì)Prophet的原理和源碼進(jìn)行深入分析，歡迎閱讀和交流。一、引入時(shí)間序列是指按照時(shí)間先后順序收集或觀測(cè)的一系列數(shù)據(jù)點(diǎn)，這類(lèi)數(shù)據(jù)通常都具有一定時(shí)間相關(guān)性，基于這種順序性，我們可以對(duì)時(shí)間序列進(jìn)行多種數(shù)據(jù)挖掘任務(wù)，包括分類(lèi)、聚類(lèi)、異常檢測(cè)和預(yù)測(cè)等...

一、背景最近我們?cè)谏a(chǎn)環(huán)境批量部署了大模型專(zhuān)用推理集群，并成功讓包括70B在內(nèi)的大模型推理速度提升50%，大幅縮減部署成本，穩(wěn)定應(yīng)用于生產(chǎn)環(huán)境。本文基于我們?cè)诓渴鸫竽Ｐ屯评砑簳r(shí)的一些經(jīng)驗(yàn)，分享一些有效提升大模型的推理速度方法。最后，我們?cè)诮Y(jié)尾處推薦了幾個(gè)經(jīng)過(guò)我們?cè)u(píng)測(cè)且表現(xiàn)優(yōu)異的大模型推理框架。希望這些建議能幫助讀者在項(xiàng)目中選擇適合自己的推理框架。OpenAI的科學(xué)家HyungWonChung在2023年的公開(kāi)演講《LargeL...

一、背景電商供應(yīng)鏈的系統(tǒng)建設(shè)一般偏向于數(shù)據(jù)管理類(lèi)型，但此類(lèi)系統(tǒng)建設(shè)有一個(gè)很明顯的問(wèn)題就是前后端開(kāi)發(fā)的溝通成本較高（相對(duì)研發(fā)成本而言），特別是一些簡(jiǎn)單加減字段的訴求溝通成本甚至達(dá)到50%以上，如何將這部分溝通成本降低下來(lái)，并保證高質(zhì)量的交付成為目前亟待解決的問(wèn)題。經(jīng)過(guò)對(duì)需求和系統(tǒng)頁(yè)面進(jìn)行分析，我們得出如下數(shù)據(jù)：供應(yīng)鏈≤2人日的需求投入工時(shí)占接近50%，兩周的迭代周期，一個(gè)前端甚至能接到10+需求，時(shí)間碎片...

OpenAI發(fā)布的視頻生成模型Sora(https:openai.comsora)，能根據(jù)文本生成長(zhǎng)達(dá)一分鐘的高質(zhì)量視頻，理論上支持任意分辨率，如1920x1080、1080x1920，生成能力遠(yuǎn)超此前只能生成25幀576x1024圖像的頂尖視頻生成模型StableVideoDiffusion。一起公布的，還有一篇非常簡(jiǎn)短的技術(shù)報(bào)告，報(bào)告大致介紹了Sora的架構(gòu)及應(yīng)用場(chǎng)景，并未對(duì)模型的原理做過(guò)多的介紹。技術(shù)報(bào)告鏈接：https:openai.comresearchvideogenerationmodelsasworldsimulator...