1、當ChatGPT爆火后，大語言模型LLM的完整修煉之路

圖片

從ChatGPT橫空出世以來，大語言模型（LLM）已經(jīng)成為了AI領域最炙手可熱的研究方向。最近發(fā)表的這篇綜述性論文為我們?nèi)娼馕隽薒LM從訓練到推理的完整技術路線圖。  

圖片

縱觀LLM的發(fā)展歷程，我們見證了一個重要的技術演進過程：從最早的統(tǒng)計語言模型(SLM)，到基于神經(jīng)網(wǎng)絡的語言模型(NLM)，再到以ELMo為代表的預訓練語言模型(PLM)。而真正的突破性進展，則是Transformer架構(gòu)的出現(xiàn)。這個支持并行計算的自注意力機制，讓模型可以輕松實現(xiàn)規(guī)模化擴展，為后來GPT系列等大模型的誕生鋪平了道路。

圖片

有趣的是，隨著模型規(guī)模的不斷擴大（通常超過60-100億參數(shù)），研究人員發(fā)現(xiàn)了一個令人驚嘆的現(xiàn)象：模型會突然展現(xiàn)出"涌現(xiàn)"能力。它不僅能生成高質(zhì)量文本，還具備了強大的學習和推理能力，甚至可以通過上下文學習（ICL）來完成少樣本學習任務。這也解釋了為什么ChatGPT能在各類下游任務中展現(xiàn)出如此出色的表現(xiàn)。    

圖片

圖片

不過，訓練和部署LLM并非易事。論文指出，這需要處理海量數(shù)據(jù)的專業(yè)知識和豐富的分布式并行訓練經(jīng)驗。未來的發(fā)展趨勢將更加注重降本增效：在訓練端，重點關注數(shù)據(jù)預處理、訓練架構(gòu)優(yōu)化、預訓練任務設計等；在推理端，則致力于模型壓縮、并行計算和內(nèi)存調(diào)度等技術創(chuàng)新。這些都將是推動LLM技術繼續(xù)演進的關鍵。

圖片

論文標題：Understanding LLMs: A Comprehensive Overview from Training to Inference

論文鏈接：??https://arxiv.org/abs/2401.02038??

2、為什么說AI Agent還不夠？一文讀懂下一代智能助手的關鍵缺陷

圖片

近期AI Agent成為了行業(yè)熱點，但一篇最新發(fā)表的研究論文指出，僅僅依靠能力更強的AI Agent并不足以解決目前面臨的根本性問題。研究團隊深入分析了當前AI Agent存在的局限性，并提出了一個全新的生態(tài)系統(tǒng)解決方案。

圖片

傳統(tǒng)的AI Agent在執(zhí)行任務時往往需要頻繁的人工干預，難以適應不同用戶的個性化需求，同時在隱私保護和可信度方面也存在明顯短板。論文提出，要建立一個包含Agents（執(zhí)行具體任務）、Sims（代表用戶偏好和行為）以及Assistants（直接與用戶交互并協(xié)調(diào)任務執(zhí)行）三個核心組件的新型生態(tài)系統(tǒng)。

這個創(chuàng)新的生態(tài)系統(tǒng)設計獨特之處在于：Agents負責執(zhí)行專門的任務，Sims作為用戶的數(shù)字化表征可以攜帶用戶偏好和隱私設置，而Assistants則作為私密版本的agent，深入理解用戶需求并靈活調(diào)用Sims和Agents來完成任務。這種分層架構(gòu)不僅能提供個性化服務，還能確保用戶隱私和系統(tǒng)可信度。

研究人員預測，未來可能會出現(xiàn)類似應用商店的"agent商店"，提供經(jīng)過驗證的各類agents供用戶或其Assistants調(diào)用。但成功的關鍵在于確保整個生態(tài)系統(tǒng)的標準化、社會接受度以及持續(xù)的價值創(chuàng)造。這需要在技術創(chuàng)新的基礎上，更加注重用戶體驗、信任建設和社會規(guī)范的融合。    

論文標題：Agents Are Not Enough

論文鏈接：???https://www.arxiv.org/abs/2412.16241??

本文轉(zhuǎn)載自 ??AI帝國??，作者： 無影寺