對(duì)過(guò)去一年多的 AI 輪子們碎碎念
過(guò)去這一年多，是 AI 技術(shù)的大浪潮，GPT 各種詞匯也出現(xiàn)在原本非 ML 領(lǐng)域的同學(xué)視野中。增長(zhǎng)了不少知識(shí)。
從我這個(gè)普通碼農(nóng)來(lái)看，感觸最深的就是這手里的錘子一直在變。有的同學(xué)總是會(huì)因?yàn)橐恍┬碌臒狳c(diǎn)被迫離開(kāi)根源。因?yàn)樾碌募夹g(shù)總是需要人去嘗試一下。
以個(gè)人狹隘的視角，總結(jié)了四個(gè)階段的工具類的輪子趨勢(shì)變化，僅供參考。歡迎大家一起學(xué)習(xí)和提供建議。
1、LangChain 火爆，成為 AI 代名詞：
首先較早火爆的是：LangChain[1] 和 Semantic Kernel[2] 這兩個(gè)框架。當(dāng)時(shí)被各大媒體都盯著。一時(shí)間 LangChain，成為了 AI 輪子的代表詞。主打只簡(jiǎn)簡(jiǎn)單單用幾十行代碼，就能完成各種的 AI 酷炫功能。
圖片來(lái)自網(wǎng)絡(luò)
甚至還出現(xiàn) LangChain 和 Semantic Kernel 互相搶高低的情況，框架約等于 AI。這個(gè)還是比較尷尬的。
2、自研 SDK 和 LlamaIndex 等的轉(zhuǎn)移：
在同期稍晚些 LlamaIndex[3] 等更多的框架也出來(lái)了，開(kāi)始出現(xiàn)一波 LangChain 太復(fù)雜，很多內(nèi)部細(xì)節(jié)導(dǎo)致實(shí)現(xiàn)更復(fù)雜的聲音。
圖片來(lái)官網(wǎng)截圖
此時(shí)有一波往 LlamaIndex、AutoXXX 或自研 SDK 等遷移的節(jié)奏。（最近）這波聲音也變大了，出現(xiàn)了許多 XXX 放棄 LangChain 等文章和推送：
圖片
前面兩個(gè)階段主要都是為了提高使用 AI 類功能的效率為主。并基于此進(jìn)一步展開(kāi)。
3、Fine-tuning、知識(shí)庫(kù)、RAG、Agent、多模態(tài)、向量數(shù)據(jù)庫(kù)等深入研究：
在大家都在使用各種各樣的框架后，對(duì)于真正的效果，有了很多場(chǎng)景上的度量和思考。畢竟各家公司也要考核真正的投入產(chǎn)出比和價(jià)值。
例如：AI 客服、知識(shí)庫(kù)問(wèn)答上，希望能夠達(dá)到更加的高的準(zhǔn)確度（專業(yè)度等），更多的情緒價(jià)值，更具性價(jià)比的開(kāi)銷等。能不能做得更好，賺到錢。
至少涉及到以下相關(guān)的技術(shù)，有興趣的同學(xué)可以進(jìn)一步學(xué)習(xí)：
技術(shù) | 應(yīng)用場(chǎng)景 | 解決問(wèn)題 |
RAG (檢索增強(qiáng)生成) | 自然語(yǔ)言處理任務(wù) ， 如文本生成 、 智能問(wèn)答 | 提供更準(zhǔn)確的回答 ， 生成與上下文更相關(guān)的內(nèi)容 |
Fine-tuning | 特定領(lǐng)域應(yīng)用 ， 如醫(yī)療 、 法律等 | 提高模型在特定任務(wù)和領(lǐng)域的表現(xiàn) |
Function Calling | AI 助手與外部系統(tǒng)集成 ， 如日程安排 、 信息查詢 | 執(zhí)行特定任務(wù) ， 增強(qiáng) AI 助手的功能和實(shí)用性 |
Prompt | 自然語(yǔ)言處理任務(wù) ， 如對(duì)話生成 、 文本摘要 | 指導(dǎo)生成文本的方向和上下文 ， 提高生成內(nèi)容的質(zhì)量和相關(guān)性 |
Agent | 自動(dòng)化任務(wù)執(zhí)行 ， 如客服 、 任務(wù)代理 | 自動(dòng)化復(fù)雜任務(wù) ， 提高效率 ， 減少人工干預(yù) |
注：上面這個(gè)表格是 ChatGPT 生成的簡(jiǎn)單介紹。
4、Dify LLM 應(yīng)用開(kāi)發(fā)平臺(tái)的再次崛起：
在我的記憶中 dify 應(yīng)該也是比較早就開(kāi)始做的了，但大家當(dāng)時(shí)可能聚焦前面的能用的階段更多。
現(xiàn)階段各類業(yè)務(wù)模式和內(nèi)容物，都有個(gè)大概了。誰(shuí)更夠更快更靈活決定了一切。因此感覺(jué) dify 近期又再火爆了一把，較多人推薦。
圖片
其提供了一套產(chǎn)品化的界面和 API。這節(jié)省很多重復(fù)造輪子的工作，在前期有中臺(tái)部門搭好體系后，業(yè)務(wù)團(tuán)隊(duì)可以專注在業(yè)務(wù)需求上。不用一個(gè)個(gè)框架重新看了。
總結(jié)
每個(gè)新興技術(shù)的誕生后，都會(huì)有新的提效和方法論的工具建設(shè)。感覺(jué)都和上面四個(gè)階段有雷同的發(fā)展模式。
今天做這個(gè)粗暴的梳理總結(jié)，只是便于自己和大家以后在新一輪來(lái)臨時(shí)，可以更好的尋找新的路徑先做出來(lái)，了解目前在工具/框架側(cè)的進(jìn)度。
參考資料
[1]LangChain: https://github.com/langchain-ai/langchain
[2]Semantic Kernel: https://github.com/microsoft/semantic-kernel
[3]LlamaIndex: https://docs.llamaindex.ai/en/stable/
