很多人在學(xué)習(xí)數(shù)據(jù)分析的時(shí)候，肯定都會(huì)用到Pandas這個(gè)庫(kù)，非常的實(shí)用！

從創(chuàng)建數(shù)據(jù)到讀取各種格式的文件(text、csv、json)，或者對(duì)數(shù)據(jù)進(jìn)行切片和分割組合多個(gè)數(shù)據(jù)源，Pandas都能夠很好的滿(mǎn)足。

Pandas最初發(fā)布于2008年，使用Python、Cython和C編寫(xiě)的。是一個(gè)超級(jí)強(qiáng)大、快速和易于使用的Python庫(kù)，用于數(shù)據(jù)分析和處理。

當(dāng)然Pandas也是有不足之處的，比如不具備多處理器，處理較大的數(shù)據(jù)集速度很慢。

今天給大家介紹一個(gè)新興的Python庫(kù)——Polars。

使用語(yǔ)法和Pandas差不多，處理數(shù)據(jù)的速度卻比Pandas快了不少。

一個(gè)是大熊貓，一個(gè)是北極熊～

GitHub地址：https://github.com/ritchie46/polars

使用文檔：https://ritchie46.github.io/polars-book/

Polars是通過(guò)Rust編寫(xiě)的一個(gè)庫(kù)，Polars的內(nèi)存模型是基于Apache Arrow。

Polars存在兩種API，一種是Eager API，另一種則是Lazy API。

其中Eager API和Pandas的使用類(lèi)似，語(yǔ)法差不太多，立即執(zhí)行就能產(chǎn)生結(jié)果。

而Lazy API就像Spark，首先將查詢(xún)轉(zhuǎn)換為邏輯計(jì)劃，然后對(duì)計(jì)劃進(jìn)行重組優(yōu)化，以減少執(zhí)行時(shí)間和內(nèi)存使用。

安裝Polars，使用百度pip源。

# 安裝polars
pip install polars -i https://mirror.baidu.com/pypi/simple/

安裝成功后，開(kāi)始測(cè)試，比較Pandas和Polars處理數(shù)據(jù)的情況。

使用某網(wǎng)站注冊(cè)用戶(hù)的用戶(hù)名數(shù)據(jù)進(jìn)行分析，包含約2600萬(wàn)個(gè)用戶(hù)名的CSV文件。

文件已上傳公眾號(hào)，獲取方式見(jiàn)文末。

import pandas as pd
df = pd.read_csv('users.csv')
print(df)

數(shù)據(jù)情況如下。

此外還使用了一個(gè)自己創(chuàng)建的CSV文件，用以數(shù)據(jù)整合測(cè)試。

import pandas as pd
df = pd.read_csv('fake_user.csv')
print(df)

得到結(jié)果如下。

首先比較一下兩個(gè)庫(kù)的排序算法耗時(shí)。

import timeit
import pandas as pd
start = timeit.default_timer()
df = pd.read_csv('users.csv')
df.sort_values('n', ascending=False)
stop = timeit.default_timer()
print('Time: ', stop - start)
-------------------------
Time:  27.555776743218303

可以看到使用Pandas對(duì)數(shù)據(jù)進(jìn)行排序，花費(fèi)了大約28s。

import timeit
import polars as pl
start = timeit.default_timer()
df = pl.read_csv('users.csv')
df.sort(by_column='n', reverse=True)
stop = timeit.default_timer()
print('Time: ', stop - start)
-----------------------
Time:  9.924110282212496

Polars只花費(fèi)了約10s，這意味著Polars比Pandas快了2.7倍。

下面，我們來(lái)試試數(shù)據(jù)整合的效果，縱向連接。

import timeit
import pandas as pd
start = timeit.default_timer()
df_users = pd.read_csv('users.csv')
df_fake = pd.read_csv('fake_user.csv')
df_users.append(df_fake, ignore_index=True)
stop = timeit.default_timer()
print('Time: ', stop - start)
------------------------
Time:  15.556222308427095

使用Pandas耗時(shí)15s。

import timeit
import polars as pl
start = timeit.default_timer()
df_users = pl.read_csv('users.csv')
df_fake = pl.read_csv('fake_user.csv')
df_users.vstack(df_fake)
stop = timeit.default_timer()
print('Time: ', stop - start)
-----------------------
Time:  3.475433263927698

Polars居然最使用了約3.5s，這里Polars比Pandas快了4.5倍。

通過(guò)上面的比較，Polars在處理速度上表現(xiàn)得相當(dāng)不錯(cuò)。

可以是大家在未來(lái)處理數(shù)據(jù)時(shí)，另一種選擇～

當(dāng)然，Pandas目前歷時(shí)12年，已經(jīng)形成了很成熟的生態(tài)，支持很多其它的數(shù)據(jù)分析庫(kù)。

Polars則是一個(gè)較新的庫(kù)，不足的地方還有很多。

如果你的數(shù)據(jù)集對(duì)于Pandas來(lái)說(shuō)太大，對(duì)于Spark來(lái)說(shuō)太小，那么Polars便是你可以考慮的一個(gè)選擇。