在大語言模型（LLM）飛速發(fā)展的當下，分塊技術（Chunking）（RAG 中的分塊策略：從基礎到前沿的全面剖析）作為提升模型性能的關鍵手段，受到了廣泛關注。它在優(yōu)化信息處理、提高檢索效率、增強模型理解能力等方面發(fā)揮著不可或缺的作用。深入探究 LLMs 中的分塊技術，對于推動自然語言處理（NLP）領域的發(fā)展具有重要意義。

一、分塊技術的基本概念

分塊，簡單來說，就是將連續(xù)的文本流分解為更小的、連貫的單元，這些單元被稱為 “塊”（chunks）。這些塊成為后續(xù)分析的基礎，能助力信息檢索、情感分析、機器翻譯等多種任務。在構建檢索增強生成（RAG）模型時，分塊的有效性尤為關鍵，因為輸入數(shù)據(jù)的質量和相關性會顯著影響模型的表現(xiàn)。不同的嵌入模型有不同的最大輸入長度限制，傳統(tǒng)分塊方法常依據(jù)簡單標準，如標記（token）、句子數(shù)量進行劃分，而語義分塊則深入挖掘文本的潛在含義，旨在提取能捕捉內(nèi)容精髓的語義有意義片段。

二、分塊技術的重要性

1. 信息獲取與質量提升分塊能提高信息獲取的質量。當文本被拆分成小塊后，每一塊內(nèi)容更具針對性和意義，從而優(yōu)化搜索和信息檢索流程。例如，在文檔檢索系統(tǒng)中，用戶輸入特定查詢時，分塊后的文本能更精準地匹配相關內(nèi)容，返回更符合需求的結果。
2. 存儲與成本優(yōu)化有效的分塊技術可以優(yōu)化存儲成本。較大的塊能降低存儲成本，而較小的塊雖然更精細，但需要更多的存儲空間。在處理海量文本數(shù)據(jù)時，合理選擇分塊大小可在存儲成本和數(shù)據(jù)處理效率之間找到平衡。
3. 減少查詢延遲分塊有助于減少查詢延遲。較少的塊數(shù)量能實現(xiàn)更快的信息訪問，因為模型在處理數(shù)據(jù)時需要檢索和分析的內(nèi)容更少，從而提高響應速度，提升用戶體驗。

三、分塊技術對 LLMs 的影響

1. 上下文理解與準確性分塊有助于 LLMs 更好地理解上下文。但過多的上下文信息可能導致模型生成錯誤信息，即 “幻覺” 現(xiàn)象。例如，在問答任務中，如果分塊包含過多不相關信息，模型可能會基于這些干擾信息生成不準確的答案。
2. 效率與成本考量較大的塊能讓 LLMs 處理更多上下文，但這也會增加延遲和成本。在實際應用中，需要根據(jù)具體場景權衡塊的大小，以確保在可接受的成本范圍內(nèi)實現(xiàn)最佳性能。
3. 適應不同問題類型用戶提問的類型決定了分塊策略。對于簡短且具體的問題，較小的塊可能更合適，因為它們能更精準地匹配問題，提供針對性的答案；而對于復雜的綜合性問題，則可能需要較大的塊來提供足夠的上下文信息。

四、分塊技術的具體方法

1. 固定大小分塊

• 基于標記（Token）的分塊在 Langchain 和 Llam Index 中，可使用 TokenTextSplitter 進行基于標記的分塊。其過程是先利用分詞器將文本轉換為標記，然后根據(jù)設定的標記大?。╰oken_size）進行截斷，并設置重疊大?。╫verlap_size）。這種方法能較好地適應模型對標記的處理要求，但可能會在句子中間截斷，導致一定的上下文損失。
• 基于字符的分塊該方法按固定數(shù)量的字符對文本進行分塊，如將文檔拆分為每塊 500 字符。它簡單直接，但可能會破壞單詞或句子結構，造成上下文丟失?？赏ㄟ^ LangChain 中的 CharacterTextSplitter 嘗試這種方法，它依據(jù)特定分隔符進行分塊。
• 基于單詞的分塊把文本分割成包含固定數(shù)量單詞的塊，例如每塊 100 個單詞。這種方式能保留單詞的完整性，但仍可能破壞句子邊界，影響上下文理解。

2. 基于句子的分塊此技術依據(jù)句子邊界將文本分割成塊，保證每個塊包含完整的句子，從而更好地保留上下文。然而，這可能導致塊大小不一，給某些 AI 模型的處理帶來挑戰(zhàn)。實現(xiàn)基于句子的分塊有多種方法和工具，如簡單的按句號和換行符分割（但這種方法無法處理所有特殊情況）、使用自然語言處理工具包（NLTK）、強大的 NLP 庫 spaCy 以及 llama_index 中的 SentenceSplitter。
3. 遞歸字符分塊遞歸字符分塊以分層迭代的方式，使用一組分隔符將輸入文本劃分為更小的塊。如果首次分割未得到理想大小或結構的塊，該方法會遞歸調用自身，采用不同的分隔符或標準，直到達到期望的塊大小或結構。雖然塊大小不會完全一致，但能保持相近。在 LangChain 中，可通過 RecursiveCharacterTextSplitter 來實現(xiàn)這種分塊方式。
4. 語義分塊這是一種新的實驗性分塊技術，由 Greg Kamradt 首次提出。其核心原理是利用嵌入模型將語義相似的句子組合在一起。傳統(tǒng)的全局分塊大小機制可能無法考慮文檔內(nèi)各部分的語義關系，而語義分塊通過以下步驟解決這一問題：首先將文檔拆分為句子；然后為每個句子創(chuàng)建包含其前后若干句子的組；接著為每個句子組生成嵌入，并與 “錨定” 句子關聯(lián)；最后順序比較每個組之間的距離，當主題或主題相同時，相鄰句子組嵌入之間的距離較低，反之則較高，以此有效劃分不同的塊。LangChain 和 Llama Index 都支持語義分塊，且實現(xiàn)方式略有不同。
5. 文檔特定分塊（Unstructured 庫）Unstructured 庫支持多種文檔類型，包括.pdf、.docx、.doc 等。它提供自適應分區(qū)策略，能根據(jù)文檔特征自動選擇最合適的分區(qū)方法，還針對不同需求提供 “fast”“hi_res”“ocr_only” 等專門策略。在處理包含表格、圖像等復雜內(nèi)容的文檔時，Unstructured 庫能更高效地提取信息并進行分塊處理。
6. 基于 LLM 的分塊 / LLM 輔助分塊這種前沿方法利用大語言模型對文本進行分析，基于對內(nèi)容的理解來識別有意義的塊。雖然它能實現(xiàn)高度準確和上下文感知的分塊，但計算成本高昂，且可能需要大量訓練數(shù)據(jù)支持。

五、分塊技術在 RAG 中的應用

檢索增強生成（RAG）是一種將信息檢索系統(tǒng)與大語言模型相結合的技術，旨在克服 LLMs 在信息訪問和處理方面的局限性。RAG 通過 “神經(jīng)檢索器” 從大量數(shù)據(jù)源中提取相關信息，并利用這些信息生成更準確、上下文更合適的響應。

在 RAG 系統(tǒng)中，分塊起著至關重要的作用。它加快了信息檢索的速度，使檢索過程更高效，因為較小的塊能針對用戶查詢提供更具體、準確的響應。同時，分塊有助于 LLMs 更好地理解上下文，確保模型檢索和使用正確的信息。此外，分塊還能優(yōu)化存儲和處理成本，根據(jù)實際需求選擇合適大小的塊，平衡存儲成本和模型性能。不同的查詢類型也決定了分塊策略的選擇，以滿足多樣化的用戶需求。

六、PDF 和 DOCX 文檔分塊的比較

1. PDF 文檔PDF 格式能保持頁面、段落和行的一致格式，支持豐富的內(nèi)容，如圖片、表格和圖表。然而，其結構復雜性較高，文本、圖像和表格的定位可能使處理變得復雜，部分 PDF 文件中的文本可能以圖像形式存儲，需要光學字符識別（OCR）技術處理。在分塊應用方面，基于行的分塊較困難，因為 PDF 中的行可能不連續(xù)；而基于句子和段落的分塊，如果能正確檢測結構元素，則更為高效。
2. DOCX 文檔DOCX 作為基于 XML 的格式，更易于提取文本和樣式信息，結構更規(guī)整、易管理。文本部分可根據(jù)標題、段落、表格和樣式信息進行劃分。雖然處理復雜表格或嵌入圖像可能耗時，但總體復雜度低于 PDF。在分塊應用中，基于句子或段落的分塊通常更成功，因為提取結構信息并相應分割文本相對容易。

七、分塊技術的未來展望

隨著 LLMs 和 NLP 技術的不斷發(fā)展，分塊技術也將持續(xù)演進。未來，分塊技術可能會更加智能化和自適應。結合深度學習和強化學習等技術，分塊算法能夠根據(jù)文本的語義、語法以及用戶的使用習慣，動態(tài)地調整分塊策略，以實現(xiàn)最優(yōu)的性能。同時，在處理多模態(tài)數(shù)據(jù)（如文本、圖像、音頻結合的文檔）時，分塊技術也需要進一步拓展，以適應復雜的數(shù)據(jù)結構和多樣化的信息表示形式。此外，如何在資源受限的環(huán)境（如移動設備、邊緣計算設備）中高效地實現(xiàn)分塊技術，也是未來研究的重要方向。