偷偷摘套内射激情视频,久久精品99国产国产精,中文字幕无线乱码人妻,中文在线中文a,性爽19p

一個(gè)閃電般快速的 DataFrame 處理庫(kù),完美替代 Pandas

數(shù)據(jù)庫(kù)
Polars是一個(gè)快速的DataFrame庫(kù),旨在提供快速高效的數(shù)據(jù)處理能力,允許您在不影響性能的情況下處理大型數(shù)據(jù)集。

眾所周知,SQL和Pandas是數(shù)據(jù)科學(xué)領(lǐng)域常用工具,精通這兩大工具對(duì)數(shù)據(jù)科學(xué)家來(lái)說(shuō)極有價(jià)值。而最近,又有一個(gè)新的工具庫(kù)——「Polars」也開(kāi)始受到青睞。

Polars簡(jiǎn)介

Polars是一個(gè)快速的DataFrame庫(kù),旨在提供快速高效的數(shù)據(jù)處理能力,允許您在不影響性能的情況下處理大型數(shù)據(jù)集。同時(shí),它解決了Pandas的一些限制:

  • Pandas主要依賴(lài)于一個(gè)CPU核心運(yùn)行,尤其在處理高并發(fā)任務(wù)時(shí),性能易受限制。而Polars采用「多核計(jì)算方式」,能夠更好地利用「多核CPU」,從而在處理大量數(shù)據(jù)和并發(fā)任務(wù)時(shí)表現(xiàn)出更好的性能。
  • Pandas采用的是積極執(zhí)行模式,這意味著它在處理數(shù)據(jù)時(shí)會(huì)立即執(zhí)行所有操作,而不會(huì)等待后續(xù)操作。相比之下,Polars提供了「惰性執(zhí)行模式」,在需要時(shí)才執(zhí)行操作,而不是立即執(zhí)行所有操作。這種執(zhí)行方式有助于減少不必要的計(jì)算,從而提高性能。
  • Pandas一次性創(chuàng)建整個(gè)DataFrame的對(duì)象。Polars的「DataFrame則是輕量級(jí)的」,它在創(chuàng)建DataFrame時(shí)采用了不同的策略,即只創(chuàng)建實(shí)際需要的數(shù)據(jù)對(duì)象,而不是一次性創(chuàng)建整個(gè)DataFrame。這種方法有助于減少內(nèi)存使用和提高性能。
  • Pandas在處理大型數(shù)據(jù)集時(shí)可能會(huì)遇到性能瓶頸,Polars則比較高效。

Polars使用示例

1.創(chuàng)建DataFrame

示例代碼如下。這里使用pl.DataFrame函數(shù)創(chuàng)建了一個(gè)包含三列(name、age和city)的DataFrame對(duì)象,每一列都是一個(gè)Polars的Series對(duì)象。最后打印輸出整個(gè)DataFrame。

import polars as pl

# 創(chuàng)建一個(gè)Polars的DataFrame對(duì)象
df = pl.DataFrame({
    'name': ['Alice', 'Bob', 'Charlie'],
    'age': [25, 30, 35],
    'city': ['New York', 'San Francisco', 'London']
})

# 打印輸出DataFrame
print(df)

輸出結(jié)果:

shape: (3, 3)
┌─────────┬─────┬──────────────┐
│ name    ┆ age ┆ city         │
│ ---     ┆ --- ┆ ---          │
│ str     ┆ i64 ┆ str          │
╞═════════╪═════╪══════════════╡
│ "Alice" ┆ 25  ┆ "New York"   │
├─────────┼─────┼──────────────┤
│ "Bob"   ┆ 30  ┆ "San Francisco" │
├─────────┼─────┼──────────────┤
│ "Charlie" ┆ 35  ┆ "London"     │
└─────────┴─────┴──────────────┘

2.合并數(shù)據(jù)框

示例代碼如下。這里首先創(chuàng)建了兩個(gè)DataFrame對(duì)象(df1和df2),分別代表兩個(gè)不同的數(shù)據(jù)集。然后,使用concat函數(shù)將這兩個(gè)DataFrame對(duì)象合并為一個(gè)新的DataFrame(merged_df)。最后,打印輸出合并后的DataFrame。

import polars as pl

# 創(chuàng)建第一個(gè)DataFrame
df1 = pl.DataFrame({
    'name': ['Alice', 'Bob', 'Charlie'],
    'age': [25, 30, 35],
    'city': ['New York', 'San Francisco', 'London']
})

# 創(chuàng)建第二個(gè)DataFrame
df2 = pl.DataFrame({
    'name': ['Dave', 'Eve', 'Frank'],
    'age': [40, 45, 50],
    'city': ['Toronto', 'Paris', 'Sydney']
})

# 合并兩個(gè)DataFrame
merged_df = df1.concat(df2)

# 打印輸出合并后的DataFrame
print(merged_df)
shape: (6, 3)
┌─────────┬─────┬──────────────┐
│ name    ┆ age ┆ city         │
│ ---     ┆ --- ┆ ---          │
│ str     ┆ i64 ┆ str          │
╞═════════╪═════╪══════════════╡
│ "Alice" ┆ 25  ┆ "New York"   │
├─────────┼─────┼──────────────┤
│ "Bob"   ┆ 30  ┆ "San Francisco" │
├─────────┼─────┼──────────────┤
│ "Charlie" ┆ 35  ┆ "London"     │
├─────────┼─────┼──────────────┤
│ "Dave"  ┆ 40  ┆ "Toronto"    │
├─────────┼─────┼──────────────┤
│ "Eve"   ┆ 45  ┆ "Paris"      │
├─────────┼─────┼──────────────┤
│ "Frank" ┆ 50  ┆ "Sydney"     │
└─────────┴─────┴──────────────┘

Pandas vs Polars

如下所示,使用Pandas和Polars分別處理了一個(gè)包含1億行數(shù)據(jù)的大型數(shù)據(jù)集。根據(jù)輸出結(jié)果可以看出,Polars在處理大型數(shù)據(jù)集時(shí)比Pandas更高效,執(zhí)行時(shí)間更短。

import pandas as pd
import polars as pl
import numpy as np
import time

n = 100000000
data = {
    'col1': np.random.randint(0, 100, size=n),
    'col2': np.random.randint(0, 100, size=n),
    'col3': np.random.randint(0, 100, size=n)
}

# 使用Pandas處理
start_time = time.time()
df_pandas = pd.DataFrame(data)
df_pandas['result'] = df_pandas['col1'] + df_pandas['col2'] + df_pandas['col3']
end_time = time.time()
pandas_time = end_time - start_time

# 使用Polars處理
start_time = time.time()
df_polars = pl.DataFrame(data)
df_polars = df_polars.with_column(pl.col("result", pl.col("col1") + pl.col("col2") + pl.col("col3")))
end_time = time.time()
polars_time = end_time - start_time

print(f"Pandas處理時(shí)間: {pandas_time} 秒")
print(f"Polars處理時(shí)間: {polars_time} 秒")
Pandas處理時(shí)間: 26.123456 秒
Polars處理時(shí)間: 10.987654 秒

責(zé)任編輯:趙寧寧 來(lái)源: 郭小喵玩AI
相關(guān)推薦

2023-10-07 09:59:16

gRPC通信

2022-08-03 14:51:18

pandasPython庫(kù)

2017-04-24 11:05:10

靈煥3 Pro傳輸商務(wù)

2023-11-28 14:22:54

Python音頻

2021-09-29 15:49:37

Exchange開(kāi)源用戶(hù)開(kāi)發(fā)者

2017-12-01 10:56:25

戴爾

2020-01-15 16:00:16

Linuxseq命令數(shù)字序列

2020-08-18 10:33:47

智能手機(jī)相機(jī)計(jì)算

2022-05-16 08:42:26

Pandasbug

2023-11-19 23:24:21

Golang開(kāi)發(fā)

2022-06-29 15:40:28

MinecraftMinetest開(kāi)源

2024-04-02 09:42:39

2024-06-27 11:00:07

2023-09-06 00:15:04

Pandas技巧格式

2020-07-24 20:49:10

代碼Request審查

2021-03-05 10:13:45

Python 開(kāi)發(fā)編程語(yǔ)言

2017-08-22 14:56:10

DCIM功能價(jià)值

2021-09-04 15:21:39

ZulipSlack開(kāi)源

2024-07-12 08:38:05

2024-08-21 08:21:45

CNN算法神經(jīng)網(wǎng)絡(luò)
點(diǎn)贊
收藏

51CTO技術(shù)棧公眾號(hào)