譯者 | 可樂(lè)

審校 | 重樓

LlamaIndex是一套開(kāi)源Python框架，類(lèi)似于智能數(shù)據(jù)管理員，能夠通過(guò)文檔為AI提供信息支撐。它專(zhuān)為檢索增強(qiáng)生成（RAG）而打造，可幫助AI在回答問(wèn)題或生成內(nèi)容前檢索文件、數(shù)據(jù)庫(kù)或記錄條目，找尋正確信息。這樣AI生成的答案將更加準(zhǔn)確，且顯著優(yōu)于依賴(lài)預(yù)訓(xùn)練知識(shí)儲(chǔ)備的常規(guī)聊天機(jī)器人。

LlamaIndex的工作流程分為三個(gè)步驟：

• 加載數(shù)據(jù)（讀取PDF或Word等文件）；
• 檢索內(nèi)容（像圖書(shū)館目錄那樣組織數(shù)據(jù)）；
• 查詢(xún)數(shù)據(jù)（讓AI在目錄中搜索答案）。LlamaIndex用戶(hù)友好度高、功能多樣，能夠處理各類(lèi)數(shù)據(jù)，是開(kāi)發(fā)AI驅(qū)動(dòng)型應(yīng)用程序的首選方案。

如何使用LlamaIndex

LlamaIndex在一切需要為AI提供數(shù)據(jù)支撐的場(chǎng)景下均可大放異彩。下面來(lái)看幾種主要用法：

• 企業(yè)搜索：公司創(chuàng)建AI搜索工具來(lái)掃描文檔或電子郵件，可回答“我們的休假政策是什么？”或“查找最新預(yù)算報(bào)告”等問(wèn)題。
• 客戶(hù)支持：企業(yè)構(gòu)建聊天機(jī)器人，從手冊(cè)或常見(jiàn)問(wèn)題解答中提取答案，以提供快速準(zhǔn)確的幫助信息。
• 數(shù)據(jù)分析：分析師使用LlamaIndex匯總報(bào)告、提取研究見(jiàn)解或比較不同文件的數(shù)據(jù)內(nèi)容。
• 知識(shí)管理：組織可以索引舊有記錄或技術(shù)文檔，確保AI能訪(fǎng)問(wèn)到重要知識(shí)。

例如，律師事務(wù)所可以索引案件檔案，讓AI在幾秒鐘內(nèi)找到法律判例。制造企業(yè)可以分析舊有生產(chǎn)日志以提高效率等。LlamaIndex功能強(qiáng)大，且能夠與各類(lèi)任務(wù)無(wú)縫銜接。

LlamaIndex架構(gòu)與Tika集成

要了解LlamaIndex與Apache Tika如何協(xié)作，請(qǐng)先參考以下架構(gòu)圖：

此圖展示了Tika在解析過(guò)程中，如何處理LlamaParse無(wú)法處理的陳舊.doc文件，使得LlamaIndex能夠順暢處理各種文件類(lèi)型。

關(guān)于Apache Tika

Apache Tika是一款開(kāi)源工具，可謂是文件的通用翻譯器。它能夠讀取超千種文件類(lèi)型，包括PDF、1997-2003版微軟Word .doc文件，提取文本及作者/創(chuàng)建日期等詳細(xì)信息。Tika由Apache基金會(huì)負(fù)責(zé)維護(hù)，是開(kāi)發(fā)者們從多種格式（尤其是復(fù)雜的OLE2舊文件）中提取數(shù)據(jù)的理想工具。

我們可以將Tika理解成一位圖書(shū)館管理員，無(wú)論書(shū)籍多么古老，它都能閱讀并概括其中內(nèi)容。與LlamaIndex配合，Tika可以處理現(xiàn)代工具無(wú)法應(yīng)對(duì)的.doc文件、將其納入AI知識(shí)庫(kù)；能夠抓取文本和元數(shù)據(jù)（例如標(biāo)題和日期），豐富數(shù)據(jù)儲(chǔ)備以幫助AI生成更準(zhǔn)確的答案。作為開(kāi)源項(xiàng)目，Tika允許免費(fèi)使用并不斷改進(jìn)，因此能夠與LlamaIndex完全適配。

Apache Tika架構(gòu)

Tika的優(yōu)勢(shì)在于其巧妙的設(shè)計(jì)，如下圖所示：

我們將Tika設(shè)想為一位圖書(shū)管理員，它在拿到書(shū)（輸入文件）后，會(huì)利用Tika Fa?ade來(lái)判斷如何閱讀。它還會(huì)選擇合適的幫助程序，例如專(zhuān)門(mén)處理陳舊Word文檔（OfficeParser）或其他文件類(lèi)型（Parser Slection）的工具。這些幫助程序會(huì)提取內(nèi)容并添加注釋?zhuān)ㄗ髡咝彰≒arsing）。在將摘要信息交付至LlamaIndex（Output）后，即可供AI使用。以.doc文件為例，Tika會(huì)使用名為Apache POI的工具來(lái)解碼這種復(fù)雜格式，捕捉各個(gè)細(xì)節(jié)。這樣的設(shè)計(jì)使得Tika功能強(qiáng)大且多樣，能夠輕松處理各種文件類(lèi)型。

當(dāng)Tika遇見(jiàn)LlamaIndex：高效處理遺留文檔的關(guān)鍵

Tika能夠在LlamaIndex中為L(zhǎng)egacyOfficeReader模塊提供支持。此模塊由貢獻(xiàn)者Wey Gu于2025年初添加，位于LlamaIndex GitHub的llama_index/readers/file/legacy_office/目錄下，它處理.doc文件的方式如下：

• 向LlamaIndex傳入一個(gè).doc文件；
• LegacyOfficeReader將其發(fā)送給運(yùn)行于小型Java程序之上的Tika；
• Tika提取文本和詳細(xì)信息，例如文件標(biāo)題或創(chuàng)建日期；
• LlamaIndex將結(jié)果存儲(chǔ)為AI可搜索的格式。

以下是代碼片段：

from tika import parser
from llama_index.core.readers.base import BaseReader
from llama_index.core.schema import Document

class LegacyOfficeReader(BaseReader):
    def load_data(self, file_path: str) -> List[Document]:
        parsed = parser.from_file(file_path)
        text = parsed.get("content", "")
        metadata = parsed.get("metadata", {})
        return [Document(text=text, metadata=metadata)]

Tika為可選工具，只在處理舊文件時(shí)才須用到，因此不會(huì)影響到LlamaIndex的輕量化設(shè)計(jì)。這就類(lèi)似于只有在閱讀古代手稿時(shí)才需要求助于古籍專(zhuān)家。

現(xiàn)實(shí)用例

Tika-LlamaIndex集成通過(guò)整合并運(yùn)用多樣化的數(shù)據(jù)集，對(duì)各行各業(yè)產(chǎn)生了深遠(yuǎn)影響，下面來(lái)看幾個(gè)典型案例：

• 律師事務(wù)所：通過(guò)索引多年前的.doc文檔及近期法律文件，即可快速識(shí)別原有判例。通過(guò)查詢(xún)已索引的合同、法院判決及備忘錄，可加快法律研判速度。
• 制造業(yè)：分析過(guò)往數(shù)十年的生產(chǎn)日志，找出效率低下的環(huán)節(jié)并優(yōu)化工作流程。監(jiān)控維護(hù)記錄，識(shí)別預(yù)測(cè)設(shè)備故障的模式，從而減少停機(jī)時(shí)間。
• 醫(yī)療保?。?/span>整理并索引遺留病歷及現(xiàn)代數(shù)字健康檔案，加快診斷及療法制定速度。總結(jié)醫(yī)學(xué)研究論文，幫助醫(yī)生及時(shí)了解最新療法。
• 教育：高?？伤饕z留的學(xué)術(shù)及研究論文、學(xué)位論文與研究文獻(xiàn)，實(shí)現(xiàn)AI驅(qū)動(dòng)的學(xué)術(shù)搜索。建立AI輔助學(xué)習(xí)工具，對(duì)教學(xué)大綱、過(guò)往討論及教書(shū)內(nèi)容進(jìn)行全面檢索。
• 金融：分析歷史財(cái)務(wù)報(bào)表、遺留協(xié)議或政策文件，以識(shí)別趨勢(shì)或合規(guī)風(fēng)險(xiǎn)。啟動(dòng)AI支持的跨內(nèi)部數(shù)據(jù)庫(kù)搜索，以便快速訪(fǎng)問(wèn)政策更新或客戶(hù)咨詢(xún)。
• 零售與電商：索引并查詢(xún)多年銷(xiāo)售報(bào)告、庫(kù)存日志與供應(yīng)商合同，簡(jiǎn)化運(yùn)營(yíng)流程。使用AI分析客戶(hù)反饋或社交媒體數(shù)據(jù)，以改進(jìn)產(chǎn)品供應(yīng)。
• 政府與公共部門(mén)：將人口普查數(shù)據(jù)或市政文件等遺留記錄數(shù)字化并編制索引，以便快速納入AI驅(qū)動(dòng)搜索。通過(guò)提供歷史數(shù)據(jù)及報(bào)告中的洞察見(jiàn)解，協(xié)助政策制定者進(jìn)行科學(xué)決策。
• 媒體與出版：索引歸檔報(bào)紙、手稿與文章，幫助記者和研究人員高效獲取歷史背景?？偨Y(jié)冗長(zhǎng)的報(bào)告或書(shū)籍，快速查閱重要內(nèi)容。
• 能源與公共事業(yè)：整理數(shù)十年前的項(xiàng)目文件、環(huán)境報(bào)告及技術(shù)規(guī)范中的數(shù)據(jù)，以?xún)?yōu)化能源產(chǎn)出。利用AI識(shí)別遺留合規(guī)文件或運(yùn)營(yíng)數(shù)據(jù)中的潛在風(fēng)險(xiǎn)。
• 初創(chuàng)企業(yè)與中小企業(yè)：無(wú)需繁重人力即可整合新舊文件，幫助小型團(tuán)隊(duì)快速獲取重要洞察。使用AI從存儲(chǔ)在傳統(tǒng)及現(xiàn)有格式中的反饋處識(shí)別客戶(hù)趨勢(shì)。

總結(jié)

LlamaIndex是我們通往智能數(shù)據(jù)的AI橋梁，能夠組織各類(lèi)文件內(nèi)容、降低訪(fǎng)問(wèn)門(mén)檻。從獲取前沿洞察到保存機(jī)構(gòu)知識(shí)，Tika與LlamaIndex這對(duì)組合有望幫助組織機(jī)構(gòu)充分釋放其數(shù)據(jù)潛力。

原文標(biāo)題：AI-Powered Knowledge: LlamaIndex and Apache Tika for Enterprises，作者：Ram Ghadiyaram