Chroma發(fā)現(xiàn)，即使是最先進(jìn)的LLM在處理長輸入時也會出現(xiàn)性能不一致的"上下文退化"問題。通過測試主流模型發(fā)現(xiàn)，隨著輸入長度增加，模型性能持續(xù)下降。長上下文能力不僅是技術(shù)指標(biāo)，更是需要精心設(shè)計的系統(tǒng)工程。1.現(xiàn)有評估基準(zhǔn)的局限性1.1大海撈針測試的不足2.擴(kuò)展后的測試方案3.測試項目3.1針與問題的相似度對性能的影響（NeedleQuestionSimilarity）3.2干擾項對性能的影響（ImpactofDistractors）3.3針與草堆的相似度對性能的...

文檔簡要介紹了如何利用GraphRAG，實現(xiàn)對長篇小說等大規(guī)模文本的高效理解與問答。內(nèi)容涵蓋GraphRAG的基本原理、核心優(yōu)勢及其在實際應(yīng)用中的操作流程，幫助初學(xué)者快速上手并掌握其用法。1.什么是知識圖譜（knowledgegraph）2.傳統(tǒng)RAG與GraphRAG差異3.GraphRAG知識模型的核心定義4.GraphRAG工作的核心階段5.安裝GraphRAG6.使用方法6.1CLI命令行6.2PythonAPI7.初始化8.修改配置9.準(zhǔn)備數(shù)據(jù)10.創(chuàng)建索引10.1索引階段的Token使用情況11...

本文介紹了神經(jīng)概率語言模型（NPLM）的基本原理、結(jié)構(gòu)與實現(xiàn)方法。通過對比傳統(tǒng)Ngram模型，闡述了NPLM如何利用神經(jīng)網(wǎng)絡(luò)自動學(xué)習(xí)詞語間的深層關(guān)系，有效提升語言建模的泛化能力。內(nèi)容涵蓋數(shù)據(jù)準(zhǔn)備、模型搭建、訓(xùn)練流程及推理預(yù)測。1.什么是神經(jīng)概率語言模型NPLM2.為什么需要神經(jīng)語言模型2.1傳統(tǒng)語言模型的問題2.2神經(jīng)概率語言模型（NPLM）的誕生3.模型架構(gòu)詳解4.完整代碼實現(xiàn)4.1構(gòu)建語料庫4.2生成訓(xùn)練數(shù)據(jù)4.3模型定義4.3實例化NP...

Ragas是一個專為檢索增強(qiáng)生成（RAG）系統(tǒng)設(shè)計的開源評估框架。它通過多維度指標(biāo)，系統(tǒng)性評估檢索與生成質(zhì)量，支持無參考自動化評測，幫助開發(fā)者精準(zhǔn)定位性能瓶頸，提升RAG系統(tǒng)的準(zhǔn)確性與可靠性，適用于各類知識密集型應(yīng)用場景。Ragas：專為RAG系統(tǒng)打造的高效評估工具1.RAG與評估的必要性2.RAGAS是什么3.Ragas關(guān)鍵評估指標(biāo)詳解3.1檢索質(zhì)量指標(biāo)3.1.1上下文精確度(ContextPrecision)3.1.2上下文召回率(ContextRecall)3.2生成質(zhì)量指...

本文介紹了神經(jīng)概率語言模型（NPLM）的基本原理、結(jié)構(gòu)與實現(xiàn)方法。通過對比傳統(tǒng)Ngram模型，闡述了NPLM如何利用神經(jīng)網(wǎng)絡(luò)自動學(xué)習(xí)詞語間的深層關(guān)系，有效提升語言建模的泛化能力。內(nèi)容涵蓋數(shù)據(jù)準(zhǔn)備、模型搭建、訓(xùn)練流程及推理預(yù)測。1.什么是神經(jīng)概率語言模型NPLM2.為什么需要神經(jīng)語言模型2.1傳統(tǒng)語言模型的問題2.2神經(jīng)概率語言模型（NPLM）的誕生3.模型架構(gòu)詳解4.完整代碼實現(xiàn)4.1構(gòu)建語料庫4.2生成訓(xùn)練數(shù)據(jù)4.3模型定義4.3實例化NP...

介紹了在Windows系統(tǒng)中通過WSL2運(yùn)行大模型推理框架vLLM。vLLM具備高吞吐、低延遲、節(jié)省顯存等優(yōu)勢，適配多種模型與硬件平臺。講解了推理代碼示例，與OpenAIAPI接口兼容的部署方式。1.vLLM的核心優(yōu)勢2.vLLM對Windows的支持3.安裝vLLM前的準(zhǔn)備：Nvidia顯卡驅(qū)動和WSL5.新建Python虛擬環(huán)境6.安裝GPU版PyTorch6.1確定CUDAToolkit版本6.2選擇與以確認(rèn)CUDA版本匹配的Pytorch9.安裝vLLM8.使用vLLM離線批量推理8.1下載模型8.2代碼示例8.3...

本文介紹了如何使用Unsloth框架微調(diào)大語言模型，以《傷寒論》數(shù)據(jù)集為例訓(xùn)練一個中醫(yī)專家模型。Unsloth顯著降低了微調(diào)的資源需求。文章涵蓋了從環(huán)境配置、模型選擇、數(shù)據(jù)準(zhǔn)備到訓(xùn)練部署的完整流程，為垂直領(lǐng)域模型微調(diào)提供了實用參考。1.關(guān)于Unsloth2.Unsloth的核心優(yōu)勢3.使用要求4.安裝Unsloth5.選擇模型6.數(shù)據(jù)集準(zhǔn)備7.開始微調(diào)7.1引入依賴7.2加載模型7.3加載數(shù)據(jù)集7.4定義LoRA7.5使用SFTTrainer進(jìn)行訓(xùn)練7.6模型保存7.7訓(xùn)練過...

ServerSentEvents提供了一種健壯、簡潔且高效的解決方案，用于實現(xiàn)從服務(wù)器到客戶端的實時、單向數(shù)據(jù)傳輸。其基于HTTP的基礎(chǔ)、內(nèi)置的重連機(jī)制以及易于實現(xiàn)的特點，使其非常適合用于廣播更新、通知以及流式傳輸大型語言模型(LLM)響應(yīng)等增量內(nèi)容。1.實時Web通信簡介2.理解ServerSentEvents(SSE)2.1.關(guān)鍵特性2.2.常見場景3.SSE協(xié)議的消息結(jié)構(gòu)3.1完整HTTP響應(yīng)示例4.使用SSE實現(xiàn)類似ChatGPT的打字機(jī)效果4.2.前端實現(xiàn)（HTML+JS）4.1....

將ClaudeCode與KimiK2結(jié)合使用進(jìn)行AI編程的實踐。KimiK2擁有強(qiáng)大推理與編碼能力，ClaudeCode則能無縫集成IDE提供智能輔助。通過健身教練預(yù)約項目，展示了二者高效協(xié)同的開發(fā)體驗。1.KimiK21.1編碼能力評估1.2申請APIKEY2.ClaudeCode2.1安裝2.2安裝IDE插件3.開發(fā)一個健身教練預(yù)約demo4.效果最近，AI編程領(lǐng)域中ClaudeCode引發(fā)了廣泛關(guān)注。作為Claude系列的成員，它具備強(qiáng)大的編程能力，但由于國內(nèi)訪問受限，許多用戶經(jīng)常面臨賬號...

DeepSeekR1的發(fā)布讓整個AI界重新思考成本與性能的關(guān)系。用相對較低的成本訓(xùn)練出媲美GPT4的模型，這種可能性正在變?yōu)楝F(xiàn)實。而現(xiàn)在，中國AI公司MiniMax又悄然交出了另一份答卷。這家因海螺（Hailuo）AI視頻而聲名鵲起的公司，剛剛發(fā)布了他們的最新大型語言模型MiniMaxM1。M1完全采用Apache2.0許可證開源，任何企業(yè)和開發(fā)者都可以免費(fèi)使用。更有趣的是訓(xùn)練成本：僅用53.47萬美元就完成了完整的強(qiáng)化學(xué)習(xí)訓(xùn)練。MiniMaxM1的成本控制能...

"我覺得未來十年，是一個只要你有能力去動手做、去實現(xiàn)想法，這種能力就會被極大放大的時代。"——MichaelTruell,CursorCEO最近Cursor的CEOMichaelTruell接受YCombinator的一段長訪談，Cursor站在AI編程的最前沿，通過這次訪談帶領(lǐng)我們更好的看清楚AI編程的視角。我們正在經(jīng)歷編程史上最重要的范式轉(zhuǎn)換——從手工編寫代碼的"人工編譯器"時代，躍遷到專注創(chuàng)意和邏輯的"設(shè)計師"時代。如果有一天你只需要描述你想要什么，電腦就能...

在自然語言處理（NLP）領(lǐng)域，我們面臨的第一個挑戰(zhàn)就是如何讓計算機(jī)理解人類的語言。計算機(jī)不認(rèn)識漢字或字母，它們只懂?dāng)?shù)字。因此，我們需要一種方法，將詞語轉(zhuǎn)換成計算機(jī)可以處理的數(shù)字形式。1.什么是詞向量？我們不能直接把"蘋果"這兩個字輸入到機(jī)器學(xué)習(xí)模型中。模型無法進(jìn)行任何計算。我們需要先把它變成一組數(shù)字。早期的方法早期自然語言處理方法，如獨(dú)熱編碼和詞袋模型，雖然對某些機(jī)器學(xué)習(xí)任務(wù)有用，但并不能捕捉到詞的意...

介紹了Anthropic的元提示詞工具，展示了如何編寫清晰、具體、結(jié)構(gòu)化的提示詞。深入講解了提示詞工程的重要性，并總結(jié)了寫作提示詞的三個核心原理與技巧，讓用戶能像指導(dǎo)新員工一樣高效地引導(dǎo)AI，獲得穩(wěn)定準(zhǔn)確的輸出結(jié)果。1.提示詞工程基礎(chǔ)：Anthropic元提示詞的核心理念什么是提示詞工程Anthropic元提示詞第1行的核心思想2.Anthropic元提示詞教你的三個寫作原理原理1:讓AI分步驟思考不要一次性處理復(fù)雜任務(wù)原理2:用完整示例教會...

本文介紹了在增強(qiáng)檢索生成（RAG）流程中，文本分塊的重要性和實現(xiàn)方式。詳細(xì)解釋了為什么要對文本進(jìn)行切分及代碼示例，展示了分塊后的效果。通過合理分塊，可以有效應(yīng)對模型的輸入限制，提升檢索與生成的質(zhì)量，是構(gòu)建高效LLM應(yīng)用的關(guān)鍵步驟之一。1.文檔分塊的原因2.文檔分塊的基本思路2.1基于長度的分塊類型2.2代碼實現(xiàn)2.2拆分結(jié)果3.圖形化顯示分塊總結(jié)在快速發(fā)展的自然語言處理（NLP）領(lǐng)域，增強(qiáng)檢索生成（RAG）已成為提高AI生...

隨著GenAI技術(shù)的突飛猛進(jìn)，LLM的"幻覺"問題已成為業(yè)界關(guān)注焦點。最近，由Vectara發(fā)布了一份《幻覺排行榜》，對主流模型的幻覺表現(xiàn)進(jìn)行了系統(tǒng)對比。量化展示了不同LLM的幻覺率差異采用Vectara自研的HHEM2.1評估模型為選型提供一個參考本排行榜使用Vectara的商業(yè)幻覺評估模型HHEM2.1，來計算LLM排名（更新于2025年4月29日）排行榜地址：??https:github.comvectarahallucinationleaderboardtabreadmeovfile????https:hugging...

在RAG系統(tǒng)中，僅靠向量相似度檢索容易造成信息重復(fù)或片面。為提升回答的多樣性與覆蓋度，引入MMR（MaximumMarginalRelevance）算法能有效在“相關(guān)性”與“多樣性”之間取得平衡，從而挑選出既相關(guān)又不重復(fù)的信息，提升系統(tǒng)輸出的質(zhì)量與實用性。1.MMR是什么，它能解決什么問題？2.MMR的基本思想3.MMR的原理和公式解析3.1算法流程3.2舉個例子：摘要任務(wù)中的MMR4.MMR的應(yīng)用場景4.1.信息檢索（比如搜索引擎的結(jié)果排序）4.2.問答系統(tǒng)...

在RAG的核心步驟中，有一個至關(guān)重要的步驟：“文本分塊（TextSplitting）”。它的主要作用就是把一大段文本切分成更小、更合理的片段，這樣模型才能更好地理解、處理或者存儲這些內(nèi)容。如果一整篇文章不拆開，那embedding的顆粒度太粗，問答的時候很容易不準(zhǔn)。所以切得好不好，直接影響最后答案的相關(guān)性和準(zhǔn)確性。最基本的分塊方法是根據(jù)文檔的長度進(jìn)行拆分。這種簡單而有效的方法確保每個塊不會超過指定的大小限制。基于長度拆...

RAG（檢索增強(qiáng)生成）是一種很厲害的技術(shù)，能幫助企業(yè)開發(fā)更智能的AI應(yīng)用。這類AI不僅能結(jié)合實時數(shù)據(jù)，還能利用企業(yè)自己的數(shù)據(jù)，生成更自然、更有互動感的對話。RAG的核心思路是讓AI在回答問題時，不是光靠自己“想”，而是先去查找外部的、可靠的專業(yè)知識，把這些信息當(dāng)作參考，讓回答更準(zhǔn)確、更有依據(jù)。但問題在于，AI找到的資料是否靠譜，直接決定了它給出的答案是否可信。所以，優(yōu)化RAG的搜索過程非常重要，能有效提升AI生成...

本文整理了MCP的基本協(xié)議規(guī)范，包括協(xié)議架構(gòu)、協(xié)議基本消息類型、協(xié)議生命周期管理、協(xié)議的傳輸層1.協(xié)議之架構(gòu)1.1基本組件1.2基本消息類型1.3能力協(xié)商2.協(xié)議規(guī)范之基本消息類型2.1Requests（消息請求）2.2Responses（消息應(yīng)答）2.3Notifications（通知）2.4舉例：Client獲取ServerTool列表3.協(xié)議規(guī)范之生命周期管理3.1Initialization（初始化）：3.2Operation（操作）3.3Shutdown（關(guān)閉）4.協(xié)議規(guī)范之傳輸層5.參考整個規(guī)范，可...

說實話，我以前特別怕做PPT。每次老板說“做個PPT吧”，我心里就咯噔一下。光是想到要查資料、寫內(nèi)容、調(diào)格式，我就想原地消失。更別提那些熬夜改來改去的日子了，眼睛都快瞎了，PPT還是丑得沒法看。每次交完P(guān)PT，我都覺得自己被掏空。最近體驗了DeepSeek+Kimi這個神器，簡直像開了掛一樣！它就像個超級助手，幫我搞定所有麻煩事。查資料？它來！寫內(nèi)容？它來！排版設(shè)計？它還來！以前要花一整天才能搞定的PPT，現(xiàn)在10來分鐘就...