在當(dāng)今數(shù)據(jù)驅(qū)動(dòng)的時(shí)代，數(shù)據(jù)分析已成為企業(yè)和研究者不可或缺的工具。然而，傳統(tǒng)的數(shù)據(jù)分析方法往往需要專業(yè)的技術(shù)知識(shí)，這使得非技術(shù)背景的用戶難以高效地利用數(shù)據(jù)。開(kāi)源項(xiàng)目 PandasAI 的出現(xiàn)，為這一問(wèn)題提供了創(chuàng)新的解決方案。它通過(guò)自然語(yǔ)言處理和大語(yǔ)言模型（LLM），讓數(shù)據(jù)分析變得更加直觀和易于操作。

一、項(xiàng)目概述：PandasAI，讓數(shù)據(jù)“開(kāi)口說(shuō)話”

PandasAI 是一個(gè)基于 Python 的開(kāi)源平臺(tái)，由 Sinaptik AI 團(tuán)隊(duì)開(kāi)發(fā)。它通過(guò)結(jié)合大語(yǔ)言模型（LLM）和檢索增強(qiáng)生成（RAG）技術(shù)，使用戶能夠以自然語(yǔ)言的形式與數(shù)據(jù)進(jìn)行交互。無(wú)論是技術(shù)專家還是非技術(shù)用戶，都可以通過(guò)簡(jiǎn)單的對(duì)話方式快速獲取數(shù)據(jù)洞察，極大地提高了數(shù)據(jù)分析的效率和可訪問(wèn)性。PandasAI 支持多種數(shù)據(jù)格式，包括 SQL 數(shù)據(jù)庫(kù)、CSV 文件和 Parquet 文件，能夠無(wú)縫集成到現(xiàn)有的數(shù)據(jù)生態(tài)系統(tǒng)中。

二、技術(shù)揭秘：LLM + RAG，為數(shù)據(jù)分析注入“智慧大腦”

（一）LLM：用自然語(yǔ)言“指揮”數(shù)據(jù)分析

PandasAI 的核心是大語(yǔ)言模型（LLM），它能夠理解自然語(yǔ)言指令并生成相應(yīng)的數(shù)據(jù)分析代碼。LLM 的強(qiáng)大語(yǔ)言理解和生成能力使得用戶可以通過(guò)簡(jiǎn)單的對(duì)話形式提出問(wèn)題，而無(wú)需編寫復(fù)雜的代碼。例如，用戶可以直接詢問(wèn)“哪些國(guó)家的銷售額最高？”而無(wú)需編寫 SQL 查詢或 Python 腳本。

（二）RAG：為模型“導(dǎo)航”，讓答案更精準(zhǔn)

為了進(jìn)一步提升模型的準(zhǔn)確性和效率，PandasAI 采用了檢索增強(qiáng)生成（RAG）技術(shù)。RAG 技術(shù)通過(guò)檢索與問(wèn)題相關(guān)的上下文信息，幫助模型更好地理解問(wèn)題背景，從而生成更準(zhǔn)確的答案。這種技術(shù)尤其適用于處理復(fù)雜的多表查詢和大規(guī)模數(shù)據(jù)集。

（三）Docker 沙盒：數(shù)據(jù)安全的“金鐘罩”

PandasAI 提供了 Docker 沙盒環(huán)境，確保代碼執(zhí)行的安全性和隔離性。用戶可以在沙盒中運(yùn)行代碼，而無(wú)需擔(dān)心數(shù)據(jù)泄露或惡意攻擊的風(fēng)險(xiǎn)。這種設(shè)計(jì)不僅保護(hù)了用戶數(shù)據(jù)的安全，還為用戶提供了靈活的使用場(chǎng)景。

三、功能亮點(diǎn)：數(shù)據(jù)分析從未如此簡(jiǎn)單

（一）自然語(yǔ)言交互：像聊天一樣“問(wèn)”數(shù)據(jù)

PandasAI 的核心功能是通過(guò)自然語(yǔ)言與數(shù)據(jù)進(jìn)行交互。用戶可以直接使用自然語(yǔ)言提出問(wèn)題，而無(wú)需編寫復(fù)雜的代碼。例如，用戶可以詢問(wèn)“銷售額最高的前 5 個(gè)國(guó)家是什么？”PandasAI 會(huì)自動(dòng)解析問(wèn)題并生成相應(yīng)的數(shù)據(jù)分析結(jié)果。

（二）多數(shù)據(jù)格式支持：無(wú)縫對(duì)接各類數(shù)據(jù)

PandasAI 支持多種數(shù)據(jù)格式，包括 SQL 數(shù)據(jù)庫(kù)、CSV 文件和 Parquet 文件。用戶可以輕松地將這些數(shù)據(jù)加載到 PandasAI 中，并通過(guò)自然語(yǔ)言進(jìn)行查詢和分析。這種靈活性使得 PandasAI 能夠無(wú)縫集成到現(xiàn)有的數(shù)據(jù)生態(tài)系統(tǒng)中。

（三）數(shù)據(jù)可視化：用圖表“點(diǎn)亮”數(shù)據(jù)

除了基本的數(shù)據(jù)查詢功能，PandasAI 還支持?jǐn)?shù)據(jù)可視化。用戶可以通過(guò)自然語(yǔ)言指令生成各種圖表，如柱狀圖、折線圖和餅圖。例如，用戶可以要求“繪制一個(gè)顯示各國(guó)銷售額的柱狀圖”，PandasAI 會(huì)自動(dòng)生成相應(yīng)的圖表。

（四）多 DataFrame 支持：跨表查詢“一鍵搞定”

PandasAI 支持多個(gè) DataFrame 的聯(lián)合查詢。用戶可以將多個(gè)數(shù)據(jù)表加載到 PandasAI 中，并通過(guò)自然語(yǔ)言提出跨表查詢問(wèn)題。例如，用戶可以詢問(wèn)“哪些員工的工資最高？”PandasAI 會(huì)自動(dòng)關(guān)聯(lián)多個(gè)數(shù)據(jù)表并生成答案。

四、應(yīng)用場(chǎng)景

（一）企業(yè)數(shù)據(jù)分析：

PandasAI 可以幫助企業(yè)快速獲取數(shù)據(jù)洞察。無(wú)論是市場(chǎng)分析、銷售數(shù)據(jù)還是客戶行為研究，PandasAI 都能夠通過(guò)自然語(yǔ)言交互提供即時(shí)的數(shù)據(jù)分析結(jié)果。企業(yè)用戶可以通過(guò)簡(jiǎn)單的對(duì)話形式獲取關(guān)鍵數(shù)據(jù)指標(biāo)，從而更好地支持決策制定。

（二）數(shù)據(jù)科學(xué)教育

PandasAI 為數(shù)據(jù)科學(xué)教育提供了新的工具。學(xué)生可以通過(guò)自然語(yǔ)言與數(shù)據(jù)進(jìn)行交互，而無(wú)需編寫復(fù)雜的代碼。這種直觀的學(xué)習(xí)方式可以幫助學(xué)生更好地理解數(shù)據(jù)分析的概念和方法，同時(shí)激發(fā)他們對(duì)數(shù)據(jù)科學(xué)的興趣。

（三）非技術(shù)用戶的數(shù)據(jù)分析

PandasAI 特別適合非技術(shù)背景的用戶。通過(guò)自然語(yǔ)言交互，這些用戶可以輕松地獲取數(shù)據(jù)洞察，而無(wú)需依賴技術(shù)團(tuán)隊(duì)的支持。例如，市場(chǎng)營(yíng)銷人員可以通過(guò) PandasAI 快速獲取銷售數(shù)據(jù)，從而更好地制定營(yíng)銷策略。

五、快速上手

（一）環(huán)境準(zhǔn)備：Python 3.8+，pip 安裝

PandasAI 需要 Python 3.8 及以上版本，但低于 3.12。安裝非常簡(jiǎn)單，只需運(yùn)行以下命令：

pip install "pandasai>=3.0.0b2"

（二）基本使用：加載數(shù)據(jù)，創(chuàng)建數(shù)據(jù)集，自然語(yǔ)言查詢

1. 加載數(shù)據(jù)：PandasAI 支持多種數(shù)據(jù)格式的加載。比如加載 CSV 文件：

import pandasai as pai
file = pai.read_csv("./filepath.csv")

2. 創(chuàng)建數(shù)據(jù)集：將數(shù)據(jù)保存為數(shù)據(jù)集并推送到 PandasAI 平臺(tái)：

dataset = pai.create(
    path="your-organization/dataset-name",
    df=file,
    name="dataset-name",
    descriptinotallow="dataset-description"
)
dataset.push()

3. 自然語(yǔ)言查詢：使用自然語(yǔ)言提出問(wèn)題并獲取答案：

df = pai.DataFrame({
    "country": ["United States", "United Kingdom", "France", "Germany", "Italy", "Spain", "Canada", "Australia", "Japan", "China"],
    "revenue": [5000, 3200, 2900, 4100, 2300, 2100, 2500, 2600, 4500, 7000]
})
pai.api_key.set("your-pai-api-key")
df.chat('Which are the top 5 countries by sales?')

（三）高級(jí)功能：數(shù)據(jù)可視化、多 DataFrame 查詢、Docker 沙盒

1. 數(shù)據(jù)可視化：生成數(shù)據(jù)圖表：

df.chat("Plot the histogram of countries showing for each one the revenue. Use different colors for each bar")

2. 多 DataFrame 查詢：聯(lián)合多個(gè)數(shù)據(jù)表進(jìn)行查詢：

employees_data = {
    'EmployeeID': [1, 2, 3, 4, 5],
    'Name': ['John', 'Emma', 'Liam', 'Olivia', 'William'],
    'Department': ['HR', 'Sales', 'IT', 'Marketing', 'Finance']
}
salaries_data = {
    'EmployeeID': [1, 2, 3, 4, 5],
    'Salary': [5000, 6000, 4500, 7000, 5500]
}
employees_df = pai.DataFrame(employees_data)
salaries_df = pai.DataFrame(salaries_data)
pai.chat("Who gets paid the most?", employees_df, salaries_df)

3. Docker 沙盒環(huán)境：確保代碼執(zhí)行的安全性：

from pandasai_docker import DockerSandbox
sandbox = DockerSandbox()
sandbox.start()
pai.chat("Who gets paid the most?", employees_df, salaries_df, sandbox=sandbox)
sandbox.stop()

六、結(jié)語(yǔ)

PandasAI 作為一款創(chuàng)新的數(shù)據(jù)分析工具，通過(guò)自然語(yǔ)言交互和大語(yǔ)言模型的應(yīng)用，極大地降低了數(shù)據(jù)分析的門檻，使得更多用戶能夠輕松地獲取數(shù)據(jù)洞察。無(wú)論是企業(yè)用戶、數(shù)據(jù)科學(xué)家還是非技術(shù)背景的人員，PandasAI 都能夠提供強(qiáng)大的支持。隨著技術(shù)的不斷發(fā)展，PandasAI 有望在數(shù)據(jù)分析領(lǐng)域發(fā)揮更大的作用。

GitHub 地址：?https://github.com/sinaptik-ai/pandas-ai

本文轉(zhuǎn)載自???小兵的AI視界???，作者：AGI小兵