使用Python處理大型CSV文件
作者：ant
本教程將詳細(xì)介紹如何使用Python和pandas庫(kù)來(lái)選擇性地讀取和處理大型CSV文件中的字段，以避免內(nèi)存不足的問(wèn)題。
使用Python處理大型CSV文件
處理大型CSV文件時(shí)，可能會(huì)遇到內(nèi)存限制等問(wèn)題。一種常見(jiàn)的解決方案是使用Python的pandas庫(kù)，它允許我們選擇性地讀取文件的特定部分，而不是一次性加載整個(gè)文件，這在面對(duì)大數(shù)據(jù)集時(shí)尤為重要。
本教程將詳細(xì)介紹如何使用Python和pandas庫(kù)來(lái)選擇性地讀取和處理大型CSV文件中的字段，以避免內(nèi)存不足的問(wèn)題。
1.選擇性讀取字段
在此步驟中，我們通過(guò)usecols參數(shù)選擇性地讀取感興趣的列，以減輕內(nèi)存負(fù)擔(dān)。
import pandas as pd
# 指定CSV文件的路徑
csv_file_path = "<文件路徑>"
# 指定需要提取的字段列名
selected_columns = ['unified_code', 'reg_addr']
# 使用pd.read_csv()讀取指定列的數(shù)據(jù)
data = pd.read_csv(csv_file_path, usecols=selected_columns)
# 顯示讀取的數(shù)據(jù)
print(data.head())
# 保存讀取的數(shù)據(jù)到新的CSV文件中
csv_output_file_path = "<輸出文件路徑>"
data.to_csv(csv_output_file_path, index=False)
print("數(shù)據(jù)已保存為CSV文件：", csv_output_file_path)2.數(shù)據(jù)合并
我們有兩個(gè)CSV文件，需要基于'unified_code'字段進(jìn)行合并。pandas的merge函數(shù)允許我們進(jìn)行這樣的操作。
import pandas as pd
# 指定兩個(gè)CSV文件的路徑
csv_file1_path = "<文件1路徑>"
csv_file2_path = "<文件2路徑>"
# 讀取兩個(gè)CSV文件
data1 = pd.read_csv(csv_file1_path)
data2 = pd.read_csv(csv_file2_path)
# 基于'unified_code'字段合并數(shù)據(jù)
merged_data = data1.merge(data2, on='unified_code', how='inner')
# 顯示合并后的數(shù)據(jù)
print(merged_data.head())
# 保存合并后的數(shù)據(jù)到新的CSV文件中
merged_csv_file_path = "合并后的數(shù)據(jù).csv"
merged_data.to_csv(merged_csv_file_path, index=False)
print("匹配成功的數(shù)據(jù)已保存為CSV文件：", merged_csv_file_path)3.生成唯一ID并保存數(shù)據(jù)
最后，我們?yōu)槊啃袛?shù)據(jù)生成一個(gè)唯一的ID，對(duì)數(shù)據(jù)進(jìn)行篩選，并將結(jié)果保存到新的CSV文件中。
import pandas as pd
# 指定CSV文件的路徑
csv_file_path = "合并后的數(shù)據(jù).csv"
# 讀取CSV文件
data = pd.read_csv(csv_file_path)
# 為每一行生成唯一的ID
data['ID'] = range(1, len(data) + 1)
# 選擇性保留字段
selected_columns = ['ID', 'unified_code', 'reg_addr']
data = data[selected_columns]
# 保存清理后的數(shù)據(jù)到新的CSV文件中
output_csv_file_path = "clean.csv"
data.to_csv(output_csv_file_path, index=False)
print("數(shù)據(jù)已保存為CSV文件：", output_csv_file_path)
總結(jié)
本教程演示了如何使用Python和pandas庫(kù)對(duì)大型CSV文件進(jìn)行選擇性讀取、合并和保存，以避免內(nèi)存不足的問(wèn)題。這種方法在處理大數(shù)據(jù)集時(shí)非常有用，能夠顯著提高數(shù)據(jù)處理的效率。
責(zé)任編輯：華軒
來(lái)源：
PaperCodeTips
