8個Python高效數(shù)據分析的技巧
不管是參加Kaggle比賽,還是開發(fā)一個深度學習應用,***步總是數(shù)據分析。
這篇文章介紹了8個使用Python進行數(shù)據分析的方法,不僅能夠提升運行效率,還能夠使代碼更加“優(yōu)美”。
一行代碼定義List
定義某種列表時,寫For 循環(huán)過于麻煩,幸運的是,Python有一種內置的方法可以在一行代碼中解決這個問題。
下面是使用For循環(huán)創(chuàng)建列表和用一行代碼創(chuàng)建列表的對比。
- x = [1,2,3,4]
 - out = []
 - for item in x:
 - out.append(item**2)
 - print(out)
 - [1, 4, 9, 16]
 - # vs.
 - x = [1,2,3,4]
 - out = [item**2 for item in x]
 - print(out)
 - [1, 4, 9, 16]
 
Lambda表達式
厭倦了定義用不了幾次的函數(shù)? Lambda表達式是你的救星!
Lambda表達式用于在Python中創(chuàng)建小型,一次性和匿名函數(shù)對象, 它能替你創(chuàng)建一個函數(shù)。
lambda表達式的基本語法是:
lambda arguments: expression
注意!只要有一個lambda表達式,就可以完成常規(guī)函數(shù)可以執(zhí)行的任何操作。
你可以從下面的例子中,感受lambda表達式的強大功能:
- double = lambda x: x * 2
 - print(double(5))
 - 10
 
Map和Filter
一旦掌握了lambda表達式,學習將它們與Map和Filter函數(shù)配合使用,可以實現(xiàn)更為強大的功能。
具體來說,map通過對列表中每個元素執(zhí)行某種操作并將其轉換為新列表。
在本例中,它遍歷每個元素并乘以2,構成新列表。 (注意!list()函數(shù)只是將輸出轉換為列表類型)
- # Map
 - seq = [1, 2, 3, 4, 5]
 - result = list(map(lambda var: var*2, seq))
 - print(result)
 - [2, 4, 6, 8, 10]
 
Filter函數(shù)接受一個列表和一條規(guī)則,就像map一樣,但它通過比較每個元素和布爾過濾規(guī)則來返回原始列表的一個子集。
- # Filter
 - seq = [1, 2, 3, 4, 5]
 - result = list(filter(lambda x: x > 2, seq))
 - print(result)
 - [3, 4, 5]
 
Arange和Linspace
Arange返回給定步長的等差列表。
它的三個參數(shù)start、stop、step分別表示起始值,結束值和步長, 請注意!stop點是一個“截止”值,因此它不會包含在數(shù)組輸出中。
- # np.arange(start, stop, step)
 - np.arange(3, 7, 2)
 - array([3, 5])
 
Linspace和Arrange非常相似,但略有不同。
Linspace以指定數(shù)目均勻分割區(qū)間,所以給定區(qū)間start和end,以及等分分割點數(shù)目num,linspace將返回一個NumPy數(shù)組。
這對繪圖時數(shù)據可視化和聲明坐標軸特別有用。
- # np.linspace(start, stop, num)
 - np.linspace(2.0, 3.0, num=5)
 - array([ 2.0, 2.25, 2.5, 2.75, 3.0]
 
Axis代表什么?
在Pandas中,刪除一列或在NumPy矩陣中求和值時,可能會遇到Axis。
我們用刪除一列(行)的例子:
- df.drop('Column A', axis=1)
 - df.drop('Row A', axis=0)
 
如果你想處理列,將Axis設置為1,如果你想要處理行,將其設置為0。
但為什么呢?
回想一下Pandas中的shape。
- df.shape
 - (# of Rows, # of Columns)
 
從Pandas DataFrame中調用shape屬性返回一個元組,***個值代表行數(shù),第二個值代表列數(shù)。
如果你想在Python中對其進行索引,則行數(shù)下標為0,列數(shù)下標為1,這很像我們如何聲明軸值。
Concat,Merge和Join
如果您熟悉SQL,那么這些概念對您來說可能會更容易。
無論如何,這些函數(shù)本質上就是以特定方式組合DataFrame的方式。
在哪個時間跟蹤哪一個最適合使用可能很困難,所以讓我們回顧一下。
Concat允許用戶在表格下面或旁邊追加一個或多個DataFrame(取決于您如何定義軸)。

Merge將多個DataFrame合并指定主鍵(Key)相同的行。

Join,和Merge一樣,合并了兩個DataFrame。
但它不按某個指定的主鍵合并,而是根據相同的列名或行名合并。

Pandas Apply
Apply是為Pandas Series而設計的。
如果你不太熟悉Series,可以將它想成類似Numpy的數(shù)組。
Apply將一個函數(shù)應用于指定軸上的每一個元素。
使用Apply,可以將DataFrame列(是一個Series)的值進行格式設置和操作,不用循環(huán),非常有用!
- df = pd.DataFrame([[4, 9],] * 3, columns=['A', 'B'])
 - df
 - A B
 - 0 4 9
 - 1 4 9
 - 2 4 9
 - df.apply(np.sqrt)
 - A B
 - 0 2.0 3.0
 - 1 2.0 3.0
 - 2 2.0 3.0
 - df.apply(np.sum, axis=0)
 - A 12
 - B 27
 - df.apply(np.sum, axis=1)
 - 0 13
 - 1 13
 - 2 13
 
Pivot Tables
如果您熟悉Microsoft Excel,那么你也許聽說過數(shù)據透視表。
Pandas內置的pivot_table函數(shù)以DataFrame的形式創(chuàng)建電子表格樣式的數(shù)據透視表,,它可以幫助我們快速查看某幾列的數(shù)據。
下面是幾個例子:
非常智能地將數(shù)據按照“Manager”分了組:
- pd.pivot_table(df, index=["Manager", "Rep"])
 

或者也可以篩選屬性值
- pd.pivot_table(df,index=["Manager","Rep"],values=["Price"])
 

總結
希望上面的這些描述能夠讓你發(fā)現(xiàn)Python一些好用的函數(shù)和概念。
















 
 
 










 
 
 
 