大模型發(fā)展這兩年，應(yīng)用型AI的焦點一直在“提示工程”（promptengineering），但隨著更強大的大語言模型（LLM）走向多輪、長時間的自主行動，一個更關(guān)鍵的概念開始走到臺前：上下文工程（contextengineering）。與其把精力放在如何雕琢每一句提示，不如把問題聚焦到：怎樣構(gòu)造和維持“最可能讓模型產(chǎn)生期望行為”的上下文？本文是參考??Claude??官網(wǎng)博客的總結(jié)，文章原文：https:www.anthropic.comengineeringeffectivecont...

最近Claude在??github???上有一個比較火的項目：??https:github.comanthropicsskills???，項目是圍繞新概念??Skills??，我覺得實際上是：通過工程化結(jié)構(gòu)來實現(xiàn)智能體，用一種工程范式來完成子功能，就像C++代碼中提出一種更好的設(shè)計模式來解決通用問題。?1.什么是???Skills?????Skills???是一組由說明文檔、腳本與資源組成的“技能包”，Claude會在需要時動態(tài)加載，用于提升在特定任務(wù)上的一致性與表...

最近??OpenAI??發(fā)表了一篇文章《WhyLanguageModelsHallucinate》，解釋為什么會出現(xiàn)"幻覺"，周末我讀了一下，總結(jié)這篇文章。什么是"幻覺"？幻覺是語言模型生成了似是而非的答案，即使很簡單的問題，但是模型可能給出一些不符合事實的答案，比如：問題：請用一句話回復(fù)，其中第三個詞是“dog”回答：Ihaveadog.詞列表：I,have,dog,a.以上就是一個"幻覺"錯誤，??dog??并不是第三個詞。幻覺分類：內(nèi)在幻覺（IntrinsicHallu...

Vibe編程已經(jīng)出現(xiàn)半年了，這半年也嘗試了很多工具和構(gòu)建了一些小的應(yīng)用，這篇文章也談?wù)勎覍τ赩ibe編程的理解。Vibe編程Vibe編程中文翻譯是氛圍編程，2025年2月3日，前OpenAI聯(lián)合創(chuàng)始人、前特斯拉人工智能主管AndrejKarpathy在社交平臺X上發(fā)布了一條看似平常卻引發(fā)全網(wǎng)熱議的推文，其大意是說：有一種新的編碼方式，稱之為Vibe編程；它讓你完全沉浸在氛圍中，擁抱指數(shù)級增長，甚至忘記代碼的存在。Karpathy用一種近乎詩意的語言...

盡管多模態(tài)大模型已廣泛應(yīng)用于各個領(lǐng)域，但計算機到底是如何識別一只貓的？最近閱讀了一篇文章（https:www.quantamagazine.orghowcanaiidacatanillustratedguide20250430），內(nèi)容容易理解，總結(jié)如下。一個簡單的分類器假設(shè)在同一個坐標(biāo)系中存在三角形和方形，如下圖：如果要將這兩個類型分開，就需要一條分界線，但是如何知道這條分界線？傳統(tǒng)的機器學(xué)習(xí)可以通過??SVM??，計算一條與剛好兩個分類的各個點上距離和最小的一條...

導(dǎo)言你不需要成為數(shù)據(jù)科學(xué)家或機器學(xué)習(xí)工程師每個人都可以編寫提示。在考慮大型語言模型的輸入和輸出時，文本提示（有時伴隨著其他模態(tài)，如圖像提示）是模型用來預(yù)測特定輸出的輸入。你不需要成為數(shù)據(jù)科學(xué)家或機器學(xué)習(xí)工程師每個人都可以編寫提示。然而，編寫最有效的提示可能很復(fù)雜。提示的許多方面都會影響其效果：你使用的模型、模型的訓(xùn)練數(shù)據(jù)、模型配置、你的措辭、風(fēng)格和語氣、結(jié)構(gòu)以及上下文都很重要。因此，提示工程是...

最近在看編譯器的書籍，想從0開始寫一個簡單的自制編程語言練練手，但是同時想到自己現(xiàn)在手頭有ChatGPT，于是萌生想法：如果我了解編譯器整個設(shè)計過程，為什么我還需要重頭開始寫編譯器呢？為何不直接將整個實現(xiàn)思路給到GPT，讓GPT幫我實現(xiàn)代碼，我只需要考慮如何設(shè)計詞法和語法，如何優(yōu)化等過程即可，說干就干，于是開始《ChatGPTAI自制編程語言》系列文章。1、試驗在驗證《AI自制編程語言》之前，我在想整個流程是否按照想法...

隨著當(dāng)前各種編程??Agent???，??MCP???的層出不窮，大模型的正在加速進化，于是又開始探索，不過這次的目標(biāo)是用??golang???實現(xiàn)??JavaScript??引擎（目標(biāo)是完成ES5.1的全部功能）。1.回顧JS編譯器的實現(xiàn)過程如上是總結(jié)的??V8??大體的實現(xiàn)方式，編程語言的實現(xiàn)已經(jīng)經(jīng)歷了幾十年的發(fā)展，包括V8，Lua等語言基本都采用類似實現(xiàn)步驟：詞法分析語法分析語義解析和優(yōu)化虛擬機通過JIT實現(xiàn)性能優(yōu)化...2.如何選擇...

在早期的圖像分類中，通常流程是先人工提取特征，然后用對應(yīng)的機器學(xué)習(xí)算法對特征進行分類，分類的準(zhǔn)確率一般依賴特征選取的方法，甚至依賴經(jīng)驗主義。YannLeCun最早提出將卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用到圖像識別領(lǐng)域的，其主要邏輯是使用卷積神經(jīng)網(wǎng)絡(luò)提取圖像特征，并對圖像所屬類別進行預(yù)測，通過訓(xùn)練數(shù)據(jù)不斷調(diào)整網(wǎng)絡(luò)參數(shù)，最終形成一套能自動提取圖像特征并對這些特征進行分類的網(wǎng)絡(luò)，如圖：圖像處理1、卷積神經(jīng)網(wǎng)絡(luò)卷積神經(jīng)網(wǎng)絡(luò)（Convo...

為了探索和改進AI工具在編程方面的體驗，同時也想驗證一些AI的邊界，于是又想到了嘗試從0實現(xiàn)高性能JSON解析器，說干就干。開始以為比較簡單，不會超過半天就能實現(xiàn)，但是經(jīng)過各種提示詞優(yōu)化，最終花了兩天時間...1.選用工具現(xiàn)在有各種AICopilot，比較常用的Cursor，Windsurf，Trae等，不過我現(xiàn)在用的比較順手的是：Windsurf。除了編程工具，然后就是模型，目前代碼領(lǐng)域比較強的：Claude3.7Sonnet和Claude3.7SonnetThinkingGPT4...

最近MCP這么火，了解了一段時間也該寫篇總結(jié)，那就開始吧。1.什么是MCPMCP（ModelContextProtocol，模型上下文協(xié)議），2024年11月底，由Anthropic推出的一種開放標(biāo)準(zhǔn)，旨在統(tǒng)一大型語言模型（LLM）與外部數(shù)據(jù)源和工具之間的通信協(xié)議。官網(wǎng)的介紹：https:modelcontextprotocol.iointroductionMCP包括幾個核心功能：Resources是允許服務(wù)器公開可由客戶端讀取并用作LLM交互上下文的數(shù)據(jù)和內(nèi)容，包括文件內(nèi)容，數(shù)據(jù)庫，API，圖片等...

1.LanceDB介紹LanceDB是一個開源的用Rust實現(xiàn)的向量數(shù)據(jù)庫（https:github.comlancedblancedb），它的主要特點是：提供單機服務(wù)，可以直接嵌入到應(yīng)用程序中支持多種向量索引算法，包括Flat、HNSW、IVF等。支持全文檢索，包括BM25、TFIDF等。支持多種向量相似度算法，包括Cosine、L2等。與Arrow生態(tài)系統(tǒng)緊密集成，允許通過SIMD和GPU加速在共享內(nèi)存中實現(xiàn)真正的零拷貝訪問。2.LanceDB安裝pipinstalllancedb預(yù)覽版本：pipinstallpre...

我們在寫Prompt可能經(jīng)常遇到不準(zhǔn)確或者無法獲得外部知識，因此本文講述CoT和ReAct如何運作并提高大語言模型準(zhǔn)確性。第一部分：CoT（思維鏈）1、什么是CoT通用的Prompt：問題：Roger有5個網(wǎng)球。他買了2罐網(wǎng)球。每罐有3個網(wǎng)球。他現(xiàn)在有多少個網(wǎng)球？答案：答案是11個。問題：自助餐廳有23個蘋果。如果他們用了20個來做午餐，又買了6個，他們現(xiàn)在有多少個蘋果？輸出答案：答案是29個。CoT的Prompt：問題：Roger有5個網(wǎng)球。他買了2...

前面一篇文章介紹了??《從0開發(fā)大模型之DeepSeek的GRPO》??，并且實現(xiàn)了一個簡單版本的GRPO?代碼，不過從工程領(lǐng)域來看，并沒有復(fù)現(xiàn)DeepSeekR1，于是最近申請了48G的顯存，結(jié)合一些開源的方案復(fù)現(xiàn)ahamonent，并給出完整的代碼和工具鏈。1、什么是ahamonentDeepSeekR1論文中提到，模型讓作者「見證了強化學(xué)習(xí)的力量和美感」，在DeepSeekR1Zero的中間版本，「頓悟時刻」來了：模型學(xué)會了以人類的語氣進行反思。ahamonent2、使...

最近在看一篇github上大佬的文章，從0開始訓(xùn)練llama3，覺得對于《從0開發(fā)大模型》有點幫助，于是翻譯一下，發(fā)現(xiàn)其中很多內(nèi)容當(dāng)前系列文章的知識點相似。原文：https:github.comnaklechallama3fromscratch其中metallamaMetaLlama38B文件地址：https:huggingface.cometallamaMetaLlama38Btreemainoriginal1、Tokenizer原始代碼沒有實現(xiàn)tokenizer，而是使用llama3的tokenizer.model，實現(xiàn)代碼如下：執(zhí)行：pipinstallblobfile執(zhí)行：...

最近，DeepSeekR1的發(fā)布為國產(chǎn)大模型爭光了（太強了），不過GRPO算法源自DeepSeekMath7B模型，該模型在MATH基準(zhǔn)測試中取得了優(yōu)異成績，論文發(fā)表于2024年2月份：https:huggingface.copapers2402.03300，以下是該論文的摘要原文：Mathematicalreasoningposesasignificantchallengeforlanguagemodelsduetoitscomplexandstructurednature.Inthispaper,weintroduceDeepSeekMath7B,whichcontinuespretrainingDeepSeekCoderBasev1.57Bw...

1、為什么需要DPORafailov等人在2023年發(fā)表了一篇論文《DirectPreferenceOptimization:YourLanguageModelisSecretlyaRewardModel》，該論文提出了一種新的訓(xùn)練方法，稱為直接偏好優(yōu)化（DPO），該論文介紹：雖然大規(guī)模無監(jiān)督語言模型(LM)可以學(xué)習(xí)廣泛的世界知識和一些推理技能，但由于其訓(xùn)練完全無監(jiān)督，因此很難精確控制其行為?，F(xiàn)有的獲得這種可控性的方法是收集模型生成相對質(zhì)量的人類標(biāo)簽，并微調(diào)無監(jiān)督語言模型以符合這些偏...

1、什么是位置編碼在語言中，一句話是由詞組成的，詞與詞之間是有順序的，如果順序亂了或者重排，其實整個句子的意思就變了，所以詞與詞之間是有順序的。在循環(huán)神經(jīng)網(wǎng)絡(luò)中，序列與序列之間也是有順序的，所以循環(huán)神經(jīng)網(wǎng)絡(luò)中，序列與序列之間也是有順序的，不需要處理這種問題。但是在Transformer中，每個詞是獨立的，所以需要將詞的位置信息添加到模型中，讓模型維護順序關(guān)系。位置編碼位置編碼就是將helloworld!的token和位置...