在LLM應(yīng)用開(kāi)發(fā)中，一個(gè)關(guān)鍵任務(wù)是構(gòu)建高質(zhì)量的提示，因?yàn)樘崾镜馁|(zhì)量直接影響LLM的性能表現(xiàn)。而其中至關(guān)重要的部分是上下文背景信息，RAG中的檢索目的也正是為構(gòu)造這些背景素材。

現(xiàn)在，我們將關(guān)注一個(gè)衍生問(wèn)題：如何將復(fù)雜結(jié)構(gòu)的內(nèi)容倉(cāng)庫(kù)（如代碼庫(kù)、網(wǎng)站等）轉(zhuǎn)換為L(zhǎng)LM友好的格式，以便后續(xù)使用。

以代碼庫(kù)為例，開(kāi)發(fā)者們普遍面臨以下痛點(diǎn)：

• 復(fù)雜的目錄結(jié)構(gòu)：大型項(xiàng)目通常包含多層嵌套的目錄和眾多文件，手動(dòng)整理耗時(shí)且易出錯(cuò)。
• 上下文缺失：?jiǎn)蝹€(gè)文件的代碼往往缺乏完整上下文，而LLM需要全面的信息才能生成高質(zhì)量輸出。
• 格式不一致：不同類(lèi)型的文件（如源代碼、配置文件、文檔等）格式各異，需統(tǒng)一處理。
• 隱私安全問(wèn)題：處理私有倉(cāng)庫(kù)或敏感數(shù)據(jù)時(shí)，如何確保信息安全是重要考量。
• 大規(guī)模處理效率：面對(duì)大型代碼庫(kù)，如何高效提取和處理信息成為挑戰(zhàn)。

在這一領(lǐng)域，有一個(gè)代表性項(xiàng)目repo2txt[1]，它可以將GitHub中的Repo轉(zhuǎn)換為格式化的文本文件，方便LLM理解并作為提示使用。

repo2txt的核心特性包括：

• 基于Web的直觀界面：無(wú)需安裝，即開(kāi)即用，降低了使用門(mén)檻。
• 倉(cāng)庫(kù)結(jié)構(gòu)可視化：清晰展示GitHub倉(cāng)庫(kù)的目錄結(jié)構(gòu)，便于快速定位內(nèi)容。
• 靈活的內(nèi)容選擇：用戶(hù)可以精確選擇需要包含的文件或目錄。
• 自動(dòng)格式化：將選中的內(nèi)容整合成統(tǒng)一格式的文本文件，便于LLM處理。
• 私有倉(cāng)庫(kù)支持：通過(guò)個(gè)人訪(fǎng)問(wèn)令牌，安全處理私有倉(cāng)庫(kù)內(nèi)容，保障數(shù)據(jù)隱私。
• 多種輸出選項(xiàng)：生成的文本可復(fù)制到剪貼板或直接下載，滿(mǎn)足不同使用場(chǎng)景。

訪(fǎng)問(wèn)repo2txt.simplebasedomain.com[2]即可直接使用這個(gè)工具。用戶(hù)可以選擇要包含的文件或目錄，然后生成格式化的文本文件。值得一提的是，它在瀏覽器端直接運(yùn)行，拉取代碼到本地，不涉及后端交互，從而保障了代碼隱私。

此外，還有一些同類(lèi)項(xiàng)目值得關(guān)注，如files-to-prompt[3]和code2prompt[4]。

對(duì)于更泛化的場(chǎng)景，如復(fù)雜網(wǎng)站，保存成一個(gè)文件同樣繁瑣，而libcrawler是一個(gè)很好的解決方案，它是一個(gè)文檔爬蟲(chóng)和轉(zhuǎn)換器，能爬取文檔網(wǎng)站并將頁(yè)面轉(zhuǎn)換為單一的Markdown文檔。與之類(lèi)似的還有更早的SingleFile[5]，對(duì)LLM和日常工作都有很大幫助。

參考資料

[1]repo2txt: https://github.com/abinthomasonline/repo2txt

[2]repo2txt.simplebasedomain.com: https://repo2txt.simplebasedomain.com/

[3]files-to-prompt: https://github.com/simonw/files-to-prompt

[4]code2prompt: https://github.com/mufeedvh/code2prompt

[5]SingleFile: https://github.com/gildas-lormeau/SingleFile

本文轉(zhuǎn)載自 ??AI工程化??，作者： ully