最近在看編譯器的書籍，想從0開始寫一個(gè)簡單的自制編程語言練練手，但是同時(shí)想到自己現(xiàn)在手頭有ChatGPT，于是萌生想法：如果我了解編譯器整個(gè)設(shè)計(jì)過程，為什么我還需要重頭開始寫編譯器呢？為何不直接將整個(gè)實(shí)現(xiàn)思路給到GPT，讓GPT幫我實(shí)現(xiàn)代碼，我只需要考慮如何設(shè)計(jì)詞法和語法，如何優(yōu)化等過程即可，說干就干，于是開始《ChatGPTAI自制編程語言》系列文章。1、試驗(yàn)在驗(yàn)證《AI自制編程語言》之前，我在想整個(gè)流程是否按照想法...

隨著當(dāng)前各種編程??Agent???，??MCP???的層出不窮，大模型的正在加速進(jìn)化，于是又開始探索，不過這次的目標(biāo)是用??golang???實(shí)現(xiàn)??JavaScript??引擎（目標(biāo)是完成ES5.1的全部功能）。1.回顧JS編譯器的實(shí)現(xiàn)過程如上是總結(jié)的??V8??大體的實(shí)現(xiàn)方式，編程語言的實(shí)現(xiàn)已經(jīng)經(jīng)歷了幾十年的發(fā)展，包括V8，Lua等語言基本都采用類似實(shí)現(xiàn)步驟：詞法分析語法分析語義解析和優(yōu)化虛擬機(jī)通過JIT實(shí)現(xiàn)性能優(yōu)化...2.如何選擇...

在早期的圖像分類中，通常流程是先人工提取特征，然后用對(duì)應(yīng)的機(jī)器學(xué)習(xí)算法對(duì)特征進(jìn)行分類，分類的準(zhǔn)確率一般依賴特征選取的方法，甚至依賴經(jīng)驗(yàn)主義。YannLeCun最早提出將卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用到圖像識(shí)別領(lǐng)域的，其主要邏輯是使用卷積神經(jīng)網(wǎng)絡(luò)提取圖像特征，并對(duì)圖像所屬類別進(jìn)行預(yù)測(cè)，通過訓(xùn)練數(shù)據(jù)不斷調(diào)整網(wǎng)絡(luò)參數(shù)，最終形成一套能自動(dòng)提取圖像特征并對(duì)這些特征進(jìn)行分類的網(wǎng)絡(luò)，如圖：圖像處理1、卷積神經(jīng)網(wǎng)絡(luò)卷積神經(jīng)網(wǎng)絡(luò)（Convo...

為了探索和改進(jìn)AI工具在編程方面的體驗(yàn)，同時(shí)也想驗(yàn)證一些AI的邊界，于是又想到了嘗試從0實(shí)現(xiàn)高性能JSON解析器，說干就干。開始以為比較簡單，不會(huì)超過半天就能實(shí)現(xiàn)，但是經(jīng)過各種提示詞優(yōu)化，最終花了兩天時(shí)間...1.選用工具現(xiàn)在有各種AICopilot，比較常用的Cursor，Windsurf，Trae等，不過我現(xiàn)在用的比較順手的是：Windsurf。除了編程工具，然后就是模型，目前代碼領(lǐng)域比較強(qiáng)的：Claude3.7Sonnet和Claude3.7SonnetThinkingGPT4...

最近MCP這么火，了解了一段時(shí)間也該寫篇總結(jié)，那就開始吧。1.什么是MCPMCP（ModelContextProtocol，模型上下文協(xié)議），2024年11月底，由Anthropic推出的一種開放標(biāo)準(zhǔn)，旨在統(tǒng)一大型語言模型（LLM）與外部數(shù)據(jù)源和工具之間的通信協(xié)議。官網(wǎng)的介紹：https:modelcontextprotocol.iointroductionMCP包括幾個(gè)核心功能：Resources是允許服務(wù)器公開可由客戶端讀取并用作LLM交互上下文的數(shù)據(jù)和內(nèi)容，包括文件內(nèi)容，數(shù)據(jù)庫，API，圖片等...

1.LanceDB介紹LanceDB是一個(gè)開源的用Rust實(shí)現(xiàn)的向量數(shù)據(jù)庫（https:github.comlancedblancedb），它的主要特點(diǎn)是：提供單機(jī)服務(wù)，可以直接嵌入到應(yīng)用程序中支持多種向量索引算法，包括Flat、HNSW、IVF等。支持全文檢索，包括BM25、TFIDF等。支持多種向量相似度算法，包括Cosine、L2等。與Arrow生態(tài)系統(tǒng)緊密集成，允許通過SIMD和GPU加速在共享內(nèi)存中實(shí)現(xiàn)真正的零拷貝訪問。2.LanceDB安裝pipinstalllancedb預(yù)覽版本：pipinstallpre...

我們?cè)趯慞rompt可能經(jīng)常遇到不準(zhǔn)確或者無法獲得外部知識(shí)，因此本文講述CoT和ReAct如何運(yùn)作并提高大語言模型準(zhǔn)確性。第一部分：CoT（思維鏈）1、什么是CoT通用的Prompt：問題：Roger有5個(gè)網(wǎng)球。他買了2罐網(wǎng)球。每罐有3個(gè)網(wǎng)球。他現(xiàn)在有多少個(gè)網(wǎng)球？答案：答案是11個(gè)。問題：自助餐廳有23個(gè)蘋果。如果他們用了20個(gè)來做午餐，又買了6個(gè)，他們現(xiàn)在有多少個(gè)蘋果？輸出答案：答案是29個(gè)。CoT的Prompt：問題：Roger有5個(gè)網(wǎng)球。他買了2...

前面一篇文章介紹了??《從0開發(fā)大模型之DeepSeek的GRPO》??，并且實(shí)現(xiàn)了一個(gè)簡單版本的GRPO?代碼，不過從工程領(lǐng)域來看，并沒有復(fù)現(xiàn)DeepSeekR1，于是最近申請(qǐng)了48G的顯存，結(jié)合一些開源的方案復(fù)現(xiàn)ahamonent，并給出完整的代碼和工具鏈。1、什么是ahamonentDeepSeekR1論文中提到，模型讓作者「見證了強(qiáng)化學(xué)習(xí)的力量和美感」，在DeepSeekR1Zero的中間版本，「頓悟時(shí)刻」來了：模型學(xué)會(huì)了以人類的語氣進(jìn)行反思。ahamonent2、使...

最近在看一篇github上大佬的文章，從0開始訓(xùn)練llama3，覺得對(duì)于《從0開發(fā)大模型》有點(diǎn)幫助，于是翻譯一下，發(fā)現(xiàn)其中很多內(nèi)容當(dāng)前系列文章的知識(shí)點(diǎn)相似。原文：https:github.comnaklechallama3fromscratch其中metallamaMetaLlama38B文件地址：https:huggingface.cometallamaMetaLlama38Btreemainoriginal1、Tokenizer原始代碼沒有實(shí)現(xiàn)tokenizer，而是使用llama3的tokenizer.model，實(shí)現(xiàn)代碼如下：執(zhí)行：pipinstallblobfile執(zhí)行：...

最近，DeepSeekR1的發(fā)布為國產(chǎn)大模型爭光了（太強(qiáng)了），不過GRPO算法源自DeepSeekMath7B模型，該模型在MATH基準(zhǔn)測(cè)試中取得了優(yōu)異成績，論文發(fā)表于2024年2月份：https:huggingface.copapers2402.03300，以下是該論文的摘要原文：Mathematicalreasoningposesasignificantchallengeforlanguagemodelsduetoitscomplexandstructurednature.Inthispaper,weintroduceDeepSeekMath7B,whichcontinuespretrainingDeepSeekCoderBasev1.57Bw...

1、為什么需要DPORafailov等人在2023年發(fā)表了一篇論文《DirectPreferenceOptimization:YourLanguageModelisSecretlyaRewardModel》，該論文提出了一種新的訓(xùn)練方法，稱為直接偏好優(yōu)化（DPO），該論文介紹：雖然大規(guī)模無監(jiān)督語言模型(LM)可以學(xué)習(xí)廣泛的世界知識(shí)和一些推理技能，但由于其訓(xùn)練完全無監(jiān)督，因此很難精確控制其行為?，F(xiàn)有的獲得這種可控性的方法是收集模型生成相對(duì)質(zhì)量的人類標(biāo)簽，并微調(diào)無監(jiān)督語言模型以符合這些偏...

1、什么是位置編碼在語言中，一句話是由詞組成的，詞與詞之間是有順序的，如果順序亂了或者重排，其實(shí)整個(gè)句子的意思就變了，所以詞與詞之間是有順序的。在循環(huán)神經(jīng)網(wǎng)絡(luò)中，序列與序列之間也是有順序的，所以循環(huán)神經(jīng)網(wǎng)絡(luò)中，序列與序列之間也是有順序的，不需要處理這種問題。但是在Transformer中，每個(gè)詞是獨(dú)立的，所以需要將詞的位置信息添加到模型中，讓模型維護(hù)順序關(guān)系。位置編碼位置編碼就是將helloworld!的token和位置...