在現(xiàn)代人工智能系統(tǒng)架構(gòu)中，當(dāng)大型語(yǔ)言模型（LLMs）和向量數(shù)據(jù)庫(kù)吸引著大部分目光時(shí)，一個(gè)更為基礎(chǔ)的處理過(guò)程正在幕后默默工作——它最終決定了系統(tǒng)輸出的質(zhì)量、可靠性和相關(guān)性。這個(gè)過(guò)程就是分塊（Chunking）：在信息到達(dá)模型之前對(duì)其進(jìn)行策略性分割的關(guān)鍵步驟。作為RAG（檢索增強(qiáng)生成）系統(tǒng)的"隱藏架構(gòu)"，分塊技術(shù)的優(yōu)劣直接影響著LLM的理解、推理和回答能力，堪稱AI應(yīng)用的"智能基石"。

分塊的核心價(jià)值與三元挑戰(zhàn)

分塊的本質(zhì)是將大型文檔分解為更小、更易管理的"塊"，再將其嵌入向量數(shù)據(jù)庫(kù)。這就像給模型提供易于消化的故事片段，而非一次性灌輸完整手稿。這些塊經(jīng)過(guò)嵌入、存儲(chǔ)后，可基于語(yǔ)義相關(guān)性進(jìn)行檢索。優(yōu)質(zhì)的分塊能讓AI響應(yīng)更精準(zhǔn)，而拙劣的分塊則會(huì)導(dǎo)致幻覺(jué)、片面回答或無(wú)關(guān)結(jié)果。

分塊過(guò)程面臨著三個(gè)相互競(jìng)爭(zhēng)的核心目標(biāo)，構(gòu)成了獨(dú)特的"三元挑戰(zhàn)"：

• 塊大?。狠^大的塊提供更豐富的上下文，但難以精確檢索；較小的塊更適合查詢，但可能缺乏完整性
• 上下文豐富度：每個(gè)塊需要包含足夠的周邊信息，使LLM能夠清晰推理
• 檢索精度：塊必須在語(yǔ)義上緊湊，以確保向量搜索時(shí)的正確匹配

這種"精度-豐富度-大小"的三角平衡，使分塊既是科學(xué)也是藝術(shù)。從自然語(yǔ)言處理的發(fā)展歷程看，分塊技術(shù)已從 rigid 的固定長(zhǎng)度分割，發(fā)展到遞歸分塊器，再到如今模仿人類認(rèn)知策略的語(yǔ)義和智能體感知方法。

基礎(chǔ)分塊策略：從簡(jiǎn)單到智能的演進(jìn)

固定大小分塊：入門(mén)級(jí)解決方案

固定大小分塊如同工具箱中的錘子，不考慮文本內(nèi)容或結(jié)構(gòu)，僅基于字符或token計(jì)數(shù)定期分割文檔。例如將文檔按每500個(gè)token或1000個(gè)字符進(jìn)行等長(zhǎng)劃分，具有一致性、可預(yù)測(cè)性和高速處理的優(yōu)點(diǎn)。

但其簡(jiǎn)單性也是最大缺點(diǎn)：由于不關(guān)注句子或段落邊界，常導(dǎo)致思想被截?cái)?、語(yǔ)法破碎和尷尬的塊過(guò)渡，增加檢索器和LLM的處理難度。關(guān)鍵參數(shù)包括：

• chunk_size：每個(gè)塊的最大字符或token數(shù)，用于平衡上下文與精度
• chunk_overlap：設(shè)置塊之間的重疊部分（通常為塊大小的10-20%），如滑動(dòng)窗口般平滑過(guò)渡并防止重要思想被分割

使用LangChain的CharacterTextSplitter實(shí)現(xiàn)固定大小分塊：

from langchain.text_splitter import CharacterTextSplitter
text_splitter = CharacterTextSplitter(
    separator=" ",
    chunk_size=200,
    chunk_overlap=20
)
chunks = text_splitter.split_text(sample_text)

遞歸字符分割：更智能的基線方法

遞歸字符分割超越了機(jī)械分割，嘗試在最有意義的邊界處拆分文檔——先按段落，再按句子，然后按單詞，最后才是任意字符斷點(diǎn)。這種策略基于分隔符的層次結(jié)構(gòu)，例如LangChain的RecursiveCharacterTextSplitter常用的分隔符列表為["\n\n", "\n", " ", ""]，處理流程如下：

1. 首先嘗試使用列表中的第一個(gè)分隔符（雙換行符\n\n，通常對(duì)應(yīng)段落分隔）分割整個(gè)文檔
2. 檢查生成的塊是否仍大于指定的chunk_size
3. 對(duì)超大塊，遞歸使用下一個(gè)分隔符（單換行符\n）繼續(xù)分割
4. 沿分隔符層次結(jié)構(gòu)持續(xù)處理，直到所有塊小于chunk_size或分隔符用盡

遞歸分塊確保首先尊重段落邊界，然后是行分隔等，生成語(yǔ)義更清晰、LLM更易理解的塊：

from langchain.text_splitter import RecursiveCharacterTextSplitter
text_splitter = RecursiveCharacterTextSplitter(
    chunk_size=150,
    separators=["\n\n", "\n", " ", ""]
)
chunks = text_splitter.create_documents([sample_text])

內(nèi)容感知分塊：利用文檔固有結(jié)構(gòu)

當(dāng)文檔已具有清晰結(jié)構(gòu)（如Markdown標(biāo)題、HTML標(biāo)簽或代碼塊）時(shí)，內(nèi)容感知分塊直接利用這些結(jié)構(gòu)標(biāo)記進(jìn)行分割。這種策略特別適用于：

• Markdown文檔：使用LangChain的MarkdownHeaderTextSplitter按#、##、###等標(biāo)題級(jí)別分塊，保留文件的邏輯層次
• HTML/XML內(nèi)容：以<div>、<section>等標(biāo)簽作為分割點(diǎn)
• 源代碼：尊重函數(shù)或類邊界，確保每個(gè)塊在語(yǔ)法上有效且有意義

以Markdown分塊為例：

from langchain.text_splitter import MarkdownHeaderTextSplitter
headers = [("#", "Header 1"), ("##", "Header 2"), ("###", "Header 3")]
markdown_splitter = MarkdownHeaderTextSplitter(headers_to_split_notallow=headers)
chunks = markdown_splitter.split_text(md_content)

每個(gè)塊不僅保留章節(jié)內(nèi)容，還攜帶元數(shù)據(jù)（如{'Header 1': 'Introduction'}），便于檢索時(shí)的過(guò)濾或重排序。

策略選擇指南：

• 高度結(jié)構(gòu)化數(shù)據(jù)（Markdown/HTML）→ 內(nèi)容感知分塊
• 干凈的散文（博客/文章）→ 遞歸分割
• 雜亂的非結(jié)構(gòu)化文本（原始日志/粘貼內(nèi)容）→ 固定大小分塊

語(yǔ)義連貫的高級(jí)分塊策略

語(yǔ)義分塊：基于意義而非標(biāo)點(diǎn)的分組

傳統(tǒng)分塊方法不關(guān)注內(nèi)容含義，而語(yǔ)義分塊通過(guò)分析連續(xù)句子的相似度來(lái)識(shí)別主題變化點(diǎn)。其核心流程為：

1. 句子分割：將文檔拆分為句子
2. 嵌入生成：使用文本嵌入模型（如text-embedding-3-small或SentenceTransformers）將每個(gè)句子轉(zhuǎn)換為向量
3. 相似度評(píng)分：計(jì)算每對(duì)相鄰句子向量的余弦相似度
4. 斷點(diǎn)檢測(cè)：當(dāng)相似度低于定義閾值（如所有降幅的第5百分位）時(shí)引入分割

這種方法能檢測(cè)真實(shí)的主題轉(zhuǎn)換點(diǎn)，生成語(yǔ)義內(nèi)聚的塊，顯著提升復(fù)雜查詢的檢索相關(guān)性。但需注意其計(jì)算成本較高，且需要對(duì)閾值、緩沖區(qū)大小和嵌入模型進(jìn)行調(diào)優(yōu)。

LangChain的SemanticChunker實(shí)現(xiàn)：

from langchain_experimental.text_splitter import SemanticChunker
from langchain.embeddings import OpenAIEmbeddings
text_splitter = SemanticChunker(
    OpenAIEmbeddings(),
    breakpoint_threshold_type="percentile"
)
docs = text_splitter.create_documents([sample_text])

層次與關(guān)系分塊："從小到大"的范式

RAG系統(tǒng)中存在一個(gè)根本矛盾：小塊檢索更精準(zhǔn)，但大塊生成效果更佳。層次分塊通過(guò)LangChain的ParentDocumentRetriever解決這一問(wèn)題，創(chuàng)建文檔的多級(jí)表示：

• 子塊：針對(duì)檢索優(yōu)化的小而精的塊，存入向量存儲(chǔ)
• 父塊：針對(duì)生成優(yōu)化的大上下文塊，存入單獨(dú)的文檔存儲(chǔ)

檢索時(shí)先對(duì)小子塊進(jìn)行相似度搜索，再獲取包含這些子塊的父文檔，實(shí)現(xiàn)"精確檢索+廣泛生成"的平衡：

from langchain.retrievers import ParentDocumentRetriever
child_splitter = RecursiveCharacterTextSplitter(chunk_size=400)
parent_splitter = RecursiveCharacterTextSplitter(chunk_size=2000)
vectorstore = Chroma(embedding_functinotallow=OpenAIEmbeddings())
store = InMemoryStore()
retriever = ParentDocumentRetriever(
    vectorstore=vectorstore,
    docstore=store,
    child_splitter=child_splitter,
    parent_splitter=parent_splitter,
)
retriever.add_documents(docs)

層次分塊超越了線性分塊，構(gòu)建了文檔內(nèi)部的結(jié)構(gòu)關(guān)系（段落屬于章節(jié)，章節(jié)屬于文檔），為更高級(jí)的知識(shí)圖譜（如GraphRAG）奠定基礎(chǔ)。

分塊策略的評(píng)估藝術(shù)

四步評(píng)估框架

由于沒(méi)有放之四海而皆準(zhǔn)的分塊策略，科學(xué)評(píng)估至關(guān)重要：

1. 創(chuàng)建黃金數(shù)據(jù)集：基于文檔構(gòu)建或生成具有代表性的問(wèn)答對(duì)，可由領(lǐng)域?qū)＜沂謩?dòng)制作或使用LLM合成
2. 隔離變量：僅改變分塊策略，保持嵌入模型、檢索器設(shè)置、生成LLM等其他因素不變
3. 運(yùn)行基準(zhǔn)測(cè)試：在黃金數(shù)據(jù)集上運(yùn)行不同分塊策略的RAG管道，記錄檢索上下文和生成答案
4. 測(cè)量與比較：使用RAGAS等框架評(píng)分，獲取具體指標(biāo)

關(guān)鍵評(píng)估指標(biāo)

檢索質(zhì)量

• 上下文精度：檢索到的塊中真正相關(guān)的比例
• 上下文召回：可用相關(guān)塊中被找到的比例

生成質(zhì)量

• 忠實(shí)度：答案是否基于檢索上下文，而非LLM虛構(gòu)
• 回答相關(guān)性：答案是否真正有用且切題

使用RAGAS進(jìn)行評(píng)估的示例：

from ragas import evaluate
from ragas.metrics import context_precision, context_recall, faithfulness, answer_relevancy
results_data = {
    'question': [...],
    'answer': [...],
    'contexts': [[...], ...],
    'ground_truth': [...]
}
dataset = Dataset.from_dict(results_data)
result = evaluate(
    dataset=dataset,
    metrics=[context_precision, context_recall, faithfulness, answer_relevancy],
)

精度-召回-忠實(shí)度的權(quán)衡

選擇大塊（如2048 tokens）可能提高召回率（捕獲所有相關(guān)信息），但會(huì)引入大量無(wú)關(guān)內(nèi)容，導(dǎo)致LLM產(chǎn)生幻覺(jué)或離題回答（忠實(shí)度降低）。理想的分塊應(yīng)實(shí)現(xiàn)平衡的上下文：足夠豐富以覆蓋需求，同時(shí)足夠?qū)Ｗ⒁员３帜Ｐ偷臏?zhǔn)確性。

分塊作為智能的隱藏架構(gòu)

從固定大小分塊的簡(jiǎn)單性，到語(yǔ)義分塊的細(xì)微差別，再到層次結(jié)構(gòu)的系統(tǒng)性，分塊技術(shù)塑造了知識(shí)呈現(xiàn)給模型的方式。選擇的策略將決定系統(tǒng)是精確檢索還是泛泛而談，是生成有根有據(jù)的見(jiàn)解還是自信的幻覺(jué)。

在構(gòu)建RAG系統(tǒng)時(shí)，分塊不應(yīng)被視為低級(jí)預(yù)處理步驟，而應(yīng)作為智能架構(gòu)的核心。通過(guò)理解數(shù)據(jù)特性、任務(wù)需求和評(píng)估反饋，精心設(shè)計(jì)的分塊策略能為L(zhǎng)LM提供優(yōu)質(zhì)的"思考材料"，釋放AI系統(tǒng)的真正潛力。隨著技術(shù)發(fā)展，分塊將與知識(shí)圖譜、動(dòng)態(tài)檢索策略進(jìn)一步融合，推動(dòng)AI從信息處理向真正的認(rèn)知智能演進(jìn)。