def fixed_size_chunk(text: str, chunk_size: int = 50) -> list[str]:
    """
    將文本按固定詞數(shù)進(jìn)行切分。
    Args:
        text (str): 待切分的原始文本字符串。
        chunk_size (int): 每個(gè)文本塊所包含的詞語(yǔ)數(shù)量。
                          默認(rèn)為 50 個(gè)詞。
    Returns:
        list[str]: 包含切分后文本塊的字符串列表。
    """
    words = text.split() 
    chunks = [" ".join(words[i:i+chunk_size]) for i in range(0, len(words), chunk_size)]
    return chunks
# --- 示例用法 ---
# 假設(shè) pdf_text_example 是從 PDF 文檔中提取出的一個(gè)長(zhǎng)文本內(nèi)容
# 為了演示，我將使用一個(gè)足夠長(zhǎng)的示例文本，但您可以替換為您的實(shí)際文本
pdf_text_example = """
在人工智能領(lǐng)域，檢索增強(qiáng)生成（RAG）技術(shù)已經(jīng)成為構(gòu)建實(shí)用、知識(shí)驅(qū)動(dòng)的大型語(yǔ)言模型（LLM）應(yīng)用的核心范式。它有效地彌合了模型靜態(tài)知識(shí)與動(dòng)態(tài)外部信息之間的鴻溝，讓 LLM 能夠引用實(shí)時(shí)或領(lǐng)域特定的數(shù)據(jù)，極大地提高了回復(fù)的準(zhǔn)確性和可靠性。然而，當(dāng)我們邁向更復(fù)雜的 AI 應(yīng)用時(shí)，僅僅依賴(lài)向量相似性搜索，在處理那些相互關(guān)聯(lián)、關(guān)系至關(guān)重要的數(shù)據(jù)時(shí)常常顯得力不從心。構(gòu)建真正智能的代理或提供高度準(zhǔn)確、理解上下文深度的回答，需要理解信息之間的‘聯(lián)系’，而不僅僅是‘相似’。這正是對(duì)下一代 RAG 應(yīng)用的需求所在。支撐這些高級(jí)能力的數(shù)據(jù)庫(kù)，必須能夠同時(shí)處理向量相似性和復(fù)雜的結(jié)構(gòu)化關(guān)系。HelixDB 應(yīng)運(yùn)而生，正是為了應(yīng)對(duì)這一挑戰(zhàn)。它打破了傳統(tǒng)數(shù)據(jù)庫(kù)的界限，是一個(gè)革命性的開(kāi)源圖向量數(shù)據(jù)庫(kù)，巧妙融合了圖數(shù)據(jù)庫(kù)強(qiáng)大的關(guān)系表達(dá)能力與向量數(shù)據(jù)庫(kù)高效的相似性搜索能力。HelixDB 旨在為下一代 RAG 應(yīng)用提供一個(gè)更智能、更靈活的數(shù)據(jù)存儲(chǔ)基礎(chǔ)，讓你能夠基于內(nèi)容相似性和結(jié)構(gòu)化關(guān)系進(jìn)行更豐富的上下文檢索。如果你正在探索 RAG 的未來(lái)，并尋求能夠同時(shí)處理向量和復(fù)雜關(guān)系的強(qiáng)大開(kāi)源數(shù)據(jù)解決方案，那么理解 HelixDB 至關(guān)重要。通過(guò)本文，你將一文讀懂這款為下一代 RAG 應(yīng)用量身打造的開(kāi)源圖向量數(shù)據(jù)庫(kù)的核心理念、架構(gòu)優(yōu)勢(shì)以及它如何助力你的智能化創(chuàng)新。讓我們一起深入了解 HelixDB 的獨(dú)特之處吧！這是一個(gè)額外的句子，確保文本足夠長(zhǎng)，可以被切分成多個(gè)塊，以演示第二個(gè)塊的打印。
"""
# 將文本按每50個(gè)詞語(yǔ)切分成塊
chunks_result = fixed_size_chunk(pdf_text_example, chunk_size=10)
print(f"原始文本被切分成了 {len(chunks_result)} 個(gè)塊。")
# --- 解決方案在這里：添加安全檢查 ---
# 嘗試打印第一個(gè)塊
if len(chunks_result) > 0:
    print("\n--- 第一個(gè)塊內(nèi)容示例 ---")
    print(chunks_result[0])
else:
    print("\n--- 列表為空，無(wú)法打印第一個(gè)塊 ---")
# 嘗試打印第二個(gè)塊，先檢查列表長(zhǎng)度是否至少有2個(gè)元素
if len(chunks_result) > 1:
    print("\n--- 第二個(gè)塊內(nèi)容示例 ---")
    print(chunks_result[1])
else:
    print("\n--- 無(wú)法打印第二個(gè)塊，因?yàn)榱斜黹L(zhǎng)度不足（少于2個(gè)塊） ---")
# 如果您想打印所有生成的塊，可以使用循環(huán)：
# print("\n--- 所有生成的文本塊 ---")
# for i, chunk in enumerate(chunks_result):
#     print(f"塊 {i}:")
#     print(chunk)
#     print("-" * 20)

[(base) lugalee@labs rag ]% /opt/homebrew/bin/python3 /Volumes/home/rag/fixedsiz.py
原始文本被切分成了 2 個(gè)塊。


--- 第一個(gè)塊內(nèi)容示例 ---
在人工智能領(lǐng)域，檢索增強(qiáng)生成（RAG）技術(shù)已經(jīng)成為構(gòu)建實(shí)用、知識(shí)驅(qū)動(dòng)的大型語(yǔ)言模型（LLM）應(yīng)用的核心范式。它有效地彌合了模型靜態(tài)知識(shí)與動(dòng)態(tài)外部信息之間的鴻溝，讓 LLM 能夠引用實(shí)時(shí)或領(lǐng)域特定的數(shù)據(jù)，極大地提高了回復(fù)的準(zhǔn)確性和可靠性。然而，當(dāng)我們邁向更復(fù)雜的 AI 應(yīng)用時(shí)，僅僅依賴(lài)向量相似性搜索，在處理那些相互關(guān)聯(lián)、關(guān)系至關(guān)重要的數(shù)據(jù)時(shí)常常顯得力不從心。構(gòu)建真正智能的代理或提供高度準(zhǔn)確、理解上下文深度的回答，需要理解信息之間的‘聯(lián)系’，而不僅僅是‘相似’。這正是對(duì)下一代 RAG 應(yīng)用的需求所在。支撐這些高級(jí)能力的數(shù)據(jù)庫(kù)，必須能夠同時(shí)處理向量相似性和復(fù)雜的結(jié)構(gòu)化關(guān)系。HelixDB 應(yīng)運(yùn)而生，正是為了應(yīng)對(duì)這一挑戰(zhàn)。它打破了傳統(tǒng)數(shù)據(jù)庫(kù)的界限，是一個(gè)革命性的開(kāi)源圖向量數(shù)據(jù)庫(kù)，巧妙融合了圖數(shù)據(jù)庫(kù)強(qiáng)大的關(guān)系表達(dá)能力與向量數(shù)據(jù)庫(kù)高效的相似性搜索能力。HelixDB 旨在為下一代 RAG


--- 第二個(gè)塊內(nèi)容示例 ---
應(yīng)用提供一個(gè)更智能、更靈活的數(shù)據(jù)存儲(chǔ)基礎(chǔ)，讓你能夠基于內(nèi)容相似性和結(jié)構(gòu)化關(guān)系進(jìn)行更豐富的上下文檢索。如果你正在探索 RAG 的未來(lái)，并尋求能夠同時(shí)處理向量和復(fù)雜關(guān)系的強(qiáng)大開(kāi)源數(shù)據(jù)解決方案，那么理解 HelixDB 至關(guān)重要。通過(guò)本文，你將一文讀懂這款為下一代 RAG 應(yīng)用量身打造的開(kāi)源圖向量數(shù)據(jù)庫(kù)的核心理念、架構(gòu)優(yōu)勢(shì)以及它如何助力你的智能化創(chuàng)新。讓我們一起深入了解 HelixDB 的獨(dú)特之處吧！