萬(wàn)字 AI 干貨及感悟分享

作者：徐小夕 2024-07-19 08:34:18

最近一直在研究 AI Agent 在零代碼平臺(tái)中的應(yīng)用, 特地研究并總結(jié)了一份AI學(xué)習(xí)的干貨, 方便大家快速理解LLM, 并熟悉主流的AI大模型框架, 以及如何基于AI, 來(lái)改善我們傳統(tǒng)的工作模式.

嗨, 大家好, 我是徐小夕.

之前一直在社區(qū)分享零代碼&低代碼的技術(shù)實(shí)踐，也陸陸續(xù)續(xù)設(shè)計(jì)并開發(fā)了多款可視化搭建產(chǎn)品，比如：

H5-Dooring（頁(yè)面可視化搭建平臺(tái)）
V6.Dooring（可視化大屏搭建平臺(tái)）
橙子6試卷（表單搭建引擎）
Nocode/WEP 文檔知識(shí)引擎

圖片

上面是本文的核心大綱, 接下來(lái)開始我的分享和總結(jié)。

LLM介紹

1. LLM概念

大語(yǔ)言模型（Large Language Model）：通常是具有大規(guī)模參數(shù)和計(jì)算能力的自然語(yǔ)言處理模型，例如 OpenAI 的 GPT-3 模型。這些模型可以通過(guò)大量的數(shù)據(jù)和參數(shù)進(jìn)行訓(xùn)練，以生成人類類似的文本或回答自然語(yǔ)言的問(wèn)題。大型語(yǔ)言模型在自然語(yǔ)言處理、文本生成和智能對(duì)話等領(lǐng)域有廣泛應(yīng)用。

2. 大模型分類

按照輸入數(shù)據(jù)類型的不同，大模型主要可以分為以下三大類：

圖片

語(yǔ)言大模型（NLP）：是指在自然語(yǔ)言處理（Natural Language Processing，NLP）領(lǐng)域中的一類大模型，通常用于處理文本數(shù)據(jù)和理解自然語(yǔ)言。這類大模型的主要特點(diǎn)是它們?cè)诖笠?guī)模語(yǔ)料庫(kù)上進(jìn)行了訓(xùn)練，以學(xué)習(xí)自然語(yǔ)言的各種語(yǔ)法、語(yǔ)義和語(yǔ)境規(guī)則。例如：GPT 系列（OpenAI）。

視覺(jué)大模型（CV）: 是指在計(jì)算機(jī)視覺(jué)（Computer Vision，CV）領(lǐng)域中使用的大模型，通常用于圖像處理和分析。這類模型通過(guò)在大規(guī)模圖像數(shù)據(jù)上進(jìn)行訓(xùn)練，可以實(shí)現(xiàn)各種視覺(jué)任務(wù), 比如圖像分類, 人臉識(shí)別, 目標(biāo)檢測(cè)。

多模態(tài)大模型：是指能夠處理多種不同類型數(shù)據(jù)的大模型，例如文本、圖像、音頻等多模態(tài)數(shù)據(jù)。這類模型結(jié)合了 NLP 和 CV 的能力，以實(shí)現(xiàn)對(duì)多模態(tài)信息的綜合理解和分析，從而能夠更全面地理解和處理復(fù)雜的數(shù)據(jù)。例如：DingoDB 多模向量數(shù)據(jù)庫(kù)（九章云極 DataCanvas）、DALL-E(OpenAI)、悟空畫畫（華為）、midjourney。

3.大語(yǔ)言模型的工作機(jī)制

圖片

最知名的大型語(yǔ)言模型（LLM）架構(gòu)基本都是Transformer架構(gòu)。典型的Transformer模型在處理輸入數(shù)據(jù)時(shí)有四個(gè)主要步驟：

1. 詞嵌入: 模型進(jìn)行詞嵌入，將單詞轉(zhuǎn)換為高維向量表示。然后，數(shù)據(jù)通過(guò)多個(gè)Transformer層進(jìn)行傳遞。這有助于模型理解單詞的含義，并基于此進(jìn)行預(yù)測(cè)。

2.位置編碼（Positional Encoding）: 位置編碼是幫助模型確定單詞在序列中的位置的技術(shù)。位置編碼主要用于跟蹤單詞的順序。例如，當(dāng)將句子”我喜歡貓”輸入到模型時(shí)，位置編碼可以幫助模型區(qū)分”我”是在句子的開頭，而”貓”是在句子的結(jié)尾。這對(duì)于模型理解上下文和生成連貫的輸出非常重要。

3.自注意力機(jī)制（Self-Attention Mechanism） : 自注意力機(jī)制是Transformer模型的核心組成部分。它允許模型在生成輸出時(shí)，有效地在輸入序列的不同位置進(jìn)行交互和關(guān)注。自注意力機(jī)制的關(guān)鍵思想是計(jì)算輸入序列中每個(gè)單詞之間的相關(guān)性，并將這些相關(guān)性用于權(quán)衡模型在每個(gè)位置的關(guān)注程度。

4. 前饋神經(jīng)網(wǎng)絡(luò)（Feed-forward Neural Network）: 前饋神經(jīng)網(wǎng)絡(luò)對(duì)每個(gè)位置的表示進(jìn)行進(jìn)一步的處理。前饋神經(jīng)網(wǎng)絡(luò)是由多個(gè)全連接層組成的，其中每個(gè)層都有一組參數(shù)，用于將輸入進(jìn)行非線性變換。這個(gè)過(guò)程可以幫助模型在生成輸出時(shí)引入更多的復(fù)雜性和靈活性。

二.LangChain原理和應(yīng)用案例

Langchain 是一個(gè)開源框架，它允許開發(fā)人員將類似 GPT-4 這樣的大型語(yǔ)言模型與外部的計(jì)算和數(shù)據(jù)源結(jié)合起來(lái), 用于提升大型語(yǔ)言模型（LLMs）的功能。

圖片

它提供了 Python 和 TypeScript的軟件包。

Langchain 通過(guò)三個(gè)核心組件實(shí)現(xiàn)增強(qiáng)：

Compents“組件”: 為L(zhǎng)LMs提供接口封裝、模板提示和信息檢索索引；
Chains“鏈”: 它將不同的組件組合起來(lái)解決特定的任務(wù)，比如在大量文本中查找信息；
Agents“代理”: 它們使得LLMs能夠與外部環(huán)境進(jìn)行交互，例如通過(guò)；

Langchain 的這種結(jié)構(gòu)設(shè)計(jì)使LLMs不僅能夠處理文本，還能夠在更廣泛的應(yīng)用環(huán)境中進(jìn)行操作和響應(yīng)，大大擴(kuò)展了它們的應(yīng)用范圍和有效性。

圖片

有點(diǎn)類似java的JDBC, 為 Java 開發(fā)人員提供了一種統(tǒng)一的方式來(lái)訪問(wèn)不同數(shù)據(jù)庫(kù)，使得在不同數(shù)據(jù)庫(kù)之間切換更加方便。

1.LangChain的工作流程

圖片

提問(wèn)：用戶提出問(wèn)題；
向語(yǔ)言模型查詢：?jiǎn)栴}被轉(zhuǎn)換成向量表示，用于在向量數(shù)據(jù)庫(kù)中進(jìn)行相似性搜索；
獲取相關(guān)信息：從向量數(shù)據(jù)庫(kù)中提取相關(guān)信息塊；
輸入給語(yǔ)言模型：將相關(guān)信息輸入給語(yǔ)言模型；
生成答案或執(zhí)行操作：語(yǔ)言模型結(jié)合初始問(wèn)題和相關(guān)信息，提供答案或執(zhí)行相應(yīng)操作。

2. 應(yīng)用場(chǎng)景

LangChain 的應(yīng)用場(chǎng)景十分廣泛，以下是一些常見的應(yīng)用場(chǎng)景和案例：

文本總結(jié)：可以對(duì)長(zhǎng)篇文章、書籍、報(bào)告等文本進(jìn)行總結(jié)，提取關(guān)鍵信息，例如對(duì)新聞文章進(jìn)行摘要，幫助讀者快速了解主要內(nèi)容。
文檔問(wèn)答：基于文檔內(nèi)容進(jìn)行問(wèn)答，例如針對(duì)產(chǎn)品手冊(cè)、技術(shù)文檔等，用戶提出問(wèn)題，系統(tǒng)根據(jù)文檔中的信息給出準(zhǔn)確回答。
信息抽取：從大量文本中抽取結(jié)構(gòu)化的信息，如從簡(jiǎn)歷中提取姓名、聯(lián)系方式、工作經(jīng)歷等關(guān)鍵內(nèi)容。
聊天機(jī)器人：構(gòu)建具備記憶能力的聊天機(jī)器人，能夠與用戶進(jìn)行多輪對(duì)話，并記住之前的對(duì)話內(nèi)容，提供更個(gè)性化的服務(wù)。例如在線客服機(jī)器人，能夠理解用戶的問(wèn)題并提供解決方案。
智能問(wèn)答系統(tǒng)：應(yīng)用于智能客服、智能助手等，回答各種問(wèn)題，提供相關(guān)的知識(shí)和信息。
代碼理解與分析：分析代碼，并從代碼中獲取邏輯，同時(shí)也支持代碼相關(guān)的問(wèn)答。
語(yǔ)言翻譯：雖然 LangChain 本身不直接進(jìn)行語(yǔ)言翻譯，但可以與其他翻譯工具或模型結(jié)合，實(shí)現(xiàn)翻譯功能。
數(shù)據(jù)庫(kù)交互：從數(shù)據(jù)庫(kù)或類數(shù)據(jù)庫(kù)內(nèi)容中抽取數(shù)據(jù)信息，實(shí)現(xiàn)對(duì)數(shù)據(jù)庫(kù)的查詢和操作。
內(nèi)容生成：生成文章、故事、詩(shī)歌等各種文本內(nèi)容。
API 交互：通過(guò)對(duì) API 文檔的閱讀和理解，向真實(shí)世界的 API 發(fā)送請(qǐng)求并獲取數(shù)據(jù)，例如調(diào)用天氣預(yù)報(bào) API 來(lái)獲取天氣信息并回答用戶的相關(guān)問(wèn)題。

三. AI Agents 原理和應(yīng)用案例

AI Agents（人工智能代理）的原理是通過(guò)感知環(huán)境、進(jìn)行決策和執(zhí)行動(dòng)作來(lái)實(shí)現(xiàn)特定目標(biāo)。它通常包含規(guī)劃、記憶、工具和行動(dòng)等關(guān)鍵模塊，其工作流程大致如下：

目標(biāo)初始化：為 AI Agents 設(shè)定清晰的目標(biāo)，它們利用核心語(yǔ)言模型（如 GPT-3.5 或 GPT-4）來(lái)理解這些目標(biāo)，并啟動(dòng)相應(yīng)的行動(dòng)計(jì)劃；
任務(wù)列表創(chuàng)建：根據(jù)設(shè)定的目標(biāo)生成一系列任務(wù)，確定任務(wù)的優(yōu)先級(jí)、規(guī)劃執(zhí)行順序，并為可能的意外情況做好準(zhǔn)備；
信息收集：收集相關(guān)信息，這可能包括搜索互聯(lián)網(wǎng)、訪問(wèn)數(shù)據(jù)庫(kù)或與其他 AI 模型交互等，以執(zhí)行特定任務(wù)；
數(shù)據(jù)管理和策略細(xì)化：不斷管理和分析收集到的數(shù)據(jù)，根據(jù)數(shù)據(jù)和目標(biāo)調(diào)整策略；
執(zhí)行任務(wù)：基于規(guī)劃和記憶來(lái)執(zhí)行具體的行動(dòng)，這可能包括與外部世界互動(dòng)，或通過(guò)工具的調(diào)用來(lái)完成一個(gè)動(dòng)作；
學(xué)習(xí)和優(yōu)化：從每次交互和任務(wù)執(zhí)行中學(xué)習(xí)，不斷優(yōu)化自身的性能和策略，以更好地適應(yīng)新情況和實(shí)現(xiàn)目標(biāo)。

大白話來(lái)說(shuō)就是一種能自主實(shí)現(xiàn)目標(biāo)的“個(gè)體”. 類似如下流程:

圖片

我們將場(chǎng)景抽象成模型, 大致長(zhǎng)下面這個(gè)樣子:

圖片

1. 開發(fā)一個(gè)AI Agent的步驟

確定目標(biāo)和功能：明確你希望 AI Agent 實(shí)現(xiàn)的具體目標(biāo)和具備的功能。
選擇合適的技術(shù)和框架：根據(jù)需求選擇適合的人工智能技術(shù)，如深度學(xué)習(xí)框架等。
數(shù)據(jù)收集和準(zhǔn)備：收集和整理與目標(biāo)相關(guān)的數(shù)據(jù)，進(jìn)行清洗和預(yù)處理。
模型訓(xùn)練：使用收集的數(shù)據(jù)訓(xùn)練模型，調(diào)整參數(shù)以優(yōu)化性能。
模型評(píng)估和優(yōu)化：對(duì)訓(xùn)練好的模型進(jìn)行評(píng)估，根據(jù)結(jié)果進(jìn)行優(yōu)化和改進(jìn)。
集成和部署：將模型與相關(guān)系統(tǒng)集成，并進(jìn)行部署和測(cè)試。

使用通義千問(wèn)實(shí)現(xiàn)AI Agent的案例:

要使用通義千問(wèn)實(shí)現(xiàn)一個(gè) AI Agent，我們可以參考下面的步驟：

安裝所需的庫(kù)：使用 pip 安裝qwen-agent命令為pip install -u qwen-agent
準(zhǔn)備模型服務(wù)：你可以選擇使用阿里云的 Dashscope 提供的模型服務(wù)，或者自行部署和使用開源的通義千問(wèn)模型服務(wù)。如果使用 Dashscope，需確保設(shè)置了環(huán)境變量
開發(fā)自己的 agent：以下是一個(gè)簡(jiǎn)單的示例，創(chuàng)建一個(gè)能夠讀取 PDF 文件和利用工具的代理。

首先，添加一個(gè)自定義工具，例如圖片生成工具：

import urllib.parse  
import json5  
from qwen_agent.tools.base import basetool, register_tool  
  
@register_tool('my_image_gen')  
class myimagegen(basetool):  
    description = 'aipainting(image generation) service, input text description, and return the image url drawn based on text information.'  
    parameters = ({  
        'name': 'prompt',  
        'type':'string',  
        'description': 'detailed description of the desired image content, in english',  
       'equired': True  
    })  
  
    def call(self, params: str, **kwargs) -> str:  
        prompt = json5.loads(params)('prompt')  
        prompt = urllib.parse.quote(prompt)  
        return json5.dumps(  
            {'image_url': f'https://image.pollinations.ai/prompt/{prompt}'},  
            ensure_ascii=False)

然后，配置使用的 LLM 模型：

llm_cfg = {  
   'odel': 'qwen-max',  
   'odel_server': 'dashscope',  
   #'api_key': 'your_dashscope_api_key',  # 可根據(jù)實(shí)際情況設(shè)置或使用環(huán)境變量  
   # 可選的生成配置，用于調(diào)整生成參數(shù)  
   'generate_cfg': {  
        'top_p': 0.8  
    }  
}

接下來(lái)，創(chuàng)建 agent：

from qwen_agent.agents import assistant  
  
system_instruction = '''you are a helpful assistant.  
after receiving the user's request, you should:  
-first draw an image and obtain the image url,  
-then run code `request.get(image_url)` to download the image,  
-and finally select an image operation from the given document to process the image.  
please show the image using `plt.show()`.'''  
  
tools = ('my_image_gen', )  # 這里添加你需要的工具  
  
agent = assistant(system_instructinotallow=system_instruction, tools=tools, llm_cfg=llm_cfg)

最后，我們可以以聊天機(jī)器人的形式運(yùn)行這個(gè)助理，與它進(jìn)行交互并執(zhí)行相關(guān)任務(wù)。請(qǐng)注意，這只是一個(gè)基本的示例，實(shí)際開發(fā)中可能需要根據(jù)具體需求進(jìn)一步擴(kuò)展和定制 agent 的功能，包括添加更多工具、處理不同類型的任務(wù)、優(yōu)化交互方式等。

四.Rag原理和應(yīng)用案例

圖片

為什么要用RAG技術(shù)?

RAG（檢索增強(qiáng)生成）主要解決了大語(yǔ)言模型（LLM）的以下幾個(gè)問(wèn)題：

幻覺(jué)問(wèn)題：LLM 因?yàn)槭穷A(yù)訓(xùn)練模型，當(dāng)用戶提出的問(wèn)題與其知識(shí)儲(chǔ)備不相符時(shí)，可能會(huì)產(chǎn)生看似正確實(shí)則錯(cuò)誤的回答，即出現(xiàn)“幻覺(jué)”。RAG 通過(guò)從外部知識(shí)庫(kù)中檢索相關(guān)信息，為 LLM 提供更準(zhǔn)確的依據(jù)，從而減少幻覺(jué)的產(chǎn)生。
數(shù)據(jù)新鮮度問(wèn)題：LLM 預(yù)訓(xùn)練完成后，不能感知實(shí)時(shí)更新的數(shù)據(jù)。RAG 可以將實(shí)時(shí)更新的公域數(shù)據(jù)或企業(yè)內(nèi)部私域數(shù)據(jù)進(jìn)行處理后，提供給 LLM，使其能夠生成基于最新信息的回答。
知識(shí)局限性問(wèn)題：LLM 可能在某些小眾領(lǐng)域的知識(shí)不足。RAG 能通過(guò)向量匹配，幫助找到與提問(wèn)最相關(guān)的段落或文章，補(bǔ)充 LLM 缺乏的知識(shí)。
隱私保護(hù)問(wèn)題：企業(yè)可能出于安全考慮，不想讓 LLM 訓(xùn)練自家的敏感數(shù)據(jù)或機(jī)密文檔。RAG 可以在不暴露敏感數(shù)據(jù)的情況下，從知識(shí)庫(kù)中檢索相關(guān)信息，為 LLM 提供回答所需的內(nèi)容。

RAG是一種使用來(lái)自私有或?qū)Ｓ袛?shù)據(jù)源的信息來(lái)輔助文本生成的技術(shù)。它將檢索模型（用于搜索大型數(shù)據(jù)集或知識(shí)庫(kù)）和生成模型（如大型語(yǔ)言模型 LLM）結(jié)合在一起，通過(guò)從更多數(shù)據(jù)源添加背景信息，以及通過(guò)訓(xùn)練來(lái)補(bǔ)充 LLM 的原始知識(shí)庫(kù)，從而提高搜索體驗(yàn)的相關(guān)性，改善大型語(yǔ)言模型的輸出，且無(wú)需重新訓(xùn)練模型。

RAG 的工作原理如下：

檢索：將用戶的查詢通過(guò)嵌入模型轉(zhuǎn)化為向量，與向量數(shù)據(jù)庫(kù)中的其他上下文信息進(jìn)行比對(duì)，通過(guò)相似性搜索找到向量數(shù)據(jù)庫(kù)中最匹配的前 k 個(gè)數(shù)據(jù)。
增強(qiáng)：將用戶的查詢和檢索到的額外信息一起嵌入到預(yù)設(shè)的提示模板中，提供更豐富、更具上下文的信息，以便于后續(xù)的生成過(guò)程。
生成：將經(jīng)過(guò)檢索增強(qiáng)的提示內(nèi)容輸入到大型語(yǔ)言模型（LLM）中，生成所需的輸出。

舉一個(gè)RAG 的一個(gè)應(yīng)用案例：假設(shè)要構(gòu)建一個(gè)智能客服系統(tǒng)，能夠回答關(guān)于產(chǎn)品的各種問(wèn)題。首先，收集產(chǎn)品相關(guān)的文檔、常見問(wèn)題解答等數(shù)據(jù)，并將這些數(shù)據(jù)進(jìn)行處理和向量化后存入向量數(shù)據(jù)庫(kù)。當(dāng)用戶提出問(wèn)題時(shí)，系統(tǒng)通過(guò)檢索模塊在向量數(shù)據(jù)庫(kù)中查找相關(guān)信息，然后將查詢和檢索到的信息一起輸入到提示模板中進(jìn)行增強(qiáng)。最后，利用大型語(yǔ)言模型根據(jù)增強(qiáng)后的提示生成準(zhǔn)確且符合語(yǔ)境的回答。

例如，用戶詢問(wèn)“某產(chǎn)品的最新功能有哪些”，RAG 系統(tǒng)會(huì)從數(shù)據(jù)庫(kù)中檢索到該產(chǎn)品的最新信息，將其與問(wèn)題一起提供給 LLM，使得 LLM 生成的回答包含最新的、準(zhǔn)確的產(chǎn)品功能描述，而不僅僅依賴于其預(yù)先訓(xùn)練的知識(shí)。

完整的RAG工作流程分為兩個(gè)階段:

圖片

RAG 的優(yōu)點(diǎn)包括提高答案準(zhǔn)確性、減少幻覺(jué)、能夠識(shí)別最新信息以保持回答的及時(shí)性和準(zhǔn)確性、高度透明從而增強(qiáng)用戶對(duì)輸出結(jié)果的信任、可定制化以支持不同領(lǐng)域的專業(yè)知識(shí)，以及在安全性和隱私管理方面有較好的控制、處理大規(guī)模數(shù)據(jù)集時(shí)具有更好的擴(kuò)展性和經(jīng)濟(jì)效率、提供更值得信賴的結(jié)果等。

然而，RAG 系統(tǒng)在實(shí)際應(yīng)用中也面臨一些挑戰(zhàn)，例如檢索質(zhì)量方面可能存在精度問(wèn)題（檢索結(jié)果不完全相關(guān)）、低召回率問(wèn)題（未能檢索到所有相關(guān)文檔塊）、過(guò)時(shí)信息問(wèn)題；回應(yīng)生成質(zhì)量方面可能出現(xiàn)錯(cuò)誤信息、回答不相關(guān)性、有害或偏見性回應(yīng)等；在增強(qiáng)過(guò)程中面臨上下文融合、處理冗余和重復(fù)、評(píng)估文段價(jià)值、保持輸出一致性、避免過(guò)度依賴增強(qiáng)信息等問(wèn)題。

為了解決這些挑戰(zhàn)，可能需要優(yōu)化檢索算法、提升嵌入模型的性能、精心設(shè)計(jì)提示模板、進(jìn)行數(shù)據(jù)清洗和更新、引入人工審核或反饋機(jī)制等措施。同時(shí)，根據(jù)具體的應(yīng)用場(chǎng)景和需求，選擇合適的檢索模型、LLM、向量數(shù)據(jù)庫(kù)等組件，并不斷調(diào)整和改進(jìn)系統(tǒng)的參數(shù)和配置，以提高 RAG 系統(tǒng)的性能和效果。

推薦2個(gè)相對(duì)成熟的Rag方案:

GraphRAG：微軟開源的一種基于圖的檢索增強(qiáng)生成方法。它利用大型語(yǔ)言模型構(gòu)建知識(shí)圖譜，將圖譜聚類成不同粒度級(jí)別的相關(guān)實(shí)體社區(qū)。在進(jìn)行 RAG 操作時(shí)，遍歷所有社區(qū)以創(chuàng)建“社區(qū)答案”，并進(jìn)行縮減得到最終答案。該方法在處理私有數(shù)據(jù)時(shí)性能較好，具備跨大型數(shù)據(jù)集的復(fù)雜語(yǔ)義問(wèn)題推理能力。其開源地址為：https://github.com/microsoft/graphrag
HyKGE：這是知識(shí)圖譜與檢索增強(qiáng)生成技術(shù)結(jié)合的一種方案。通過(guò)利用大型語(yǔ)言模型的深度語(yǔ)義理解與知識(shí)生成能力，結(jié)合知識(shí)圖譜豐富的結(jié)構(gòu)化信息，能夠提高醫(yī)學(xué)信息檢索的效率，并確?；卮鸬木_度。該框架利用大型語(yǔ)言模型生成假設(shè)性回答以增強(qiáng)圖譜檢索，采用 HO 片段重排名機(jī)制過(guò)濾噪聲知識(shí)，包含假設(shè)輸出模塊、命名實(shí)體識(shí)別模塊、知識(shí)圖譜檢索模塊和 HO 片段粒度感知重排模塊等組件。