十一個(gè)你可能不知道的Python庫
現(xiàn)在有如此之多的Python包,幾乎沒有人能夠全盤掌握。 光是PyPI就可單獨(dú)列出47,000個(gè)包!
近日,聽到很多數(shù)據(jù)科學(xué)家切換到Python的消息,我不由地想到,雖然他們得到了pandas、scikit-learn和numpy的一些巨大好處,但卻錯(cuò)過了一些稍微老一點(diǎn)但同樣能提供幫助的Python庫。
在這篇文章中,我將介紹一些鮮為人知的庫。即使你已經(jīng)是Python高手,也應(yīng)該看看,可能會有那么一兩個(gè)是你從來沒有見過的!
1)delorean
Delorean是一個(gè)非??岬娜掌?時(shí)間庫。它是我在Python中使用過的感覺最自然的日期/時(shí)間munging庫之一。有點(diǎn)像JavaScript中的moment。文檔也不錯(cuò),除了在技術(shù)上有幫助,還讓無數(shù)人情不自禁地回過頭來參考。
from delorean import Delorean
EST = "US/Eastern"
d = Delorean(timezone=EST)
很可能你還沒有聽說過prettytable,因?yàn)樗性贕oogleCode上面——基本上是被流放的編碼裝備。
盡管被流放到了西伯利亞,prettytable在終端或在瀏覽器中依然是強(qiáng)大又美觀的構(gòu)建輸出。所以,如果你正在為IPython的筆記本電腦搞新插件的話,那就使用prettytable為你的HTML __repr__吧。
from prettytable import PrettyTable
table = PrettyTable(["animal", "ferocity"])
table.add_row(["wolverine", 100])
table.add_row(["grizzly", 87])
table.add_row(["Rabbit of Caerbannog", 110])
table.add_row(["cat", -1])
table.add_row(["platypus", 23])
table.add_row(["dolphin", 63])
table.add_row(["albatross", 44])
table.sort_key("ferocity")
table.reversesort = True
+----------------------+----------+
| animal | ferocity |
+----------------------+----------+
| Rabbit of Caerbannog | 110 |
| wolverine | 100 |
| grizzly | 87 |
| dolphin | 63 |
| albatross | 44 |
| platypus | 23 |
| cat | -1 |
+----------------------+----------+
我第一次安裝snowballstemmer的原因是因?yàn)槲矣X得這個(gè)名字很酷。但它實(shí)際上是一個(gè)非常漂亮的小型庫。 snowballstemmer能在15種不同的語言下工作,并自帶用于引導(dǎo)的porter stemmer。
from snowballstemmer import EnglishStemmer, SpanishStemmer
EnglishStemmer().stemWord("Gregory")
# Gregori
SpanishStemmer().stemWord("amarillo")
# amarill
4)wget
還記得你曾因?yàn)槟撤N目的寫的網(wǎng)絡(luò)爬蟲(web crawler)嗎?原來是它——wget創(chuàng)造的。遞歸地下載網(wǎng)站?抓取每個(gè)頁面的每一張圖片?避開cookie 痕跡?統(tǒng)統(tǒng)只要wget。
電影《馬克·扎克伯格》甚至這樣贊譽(yù)過它
首先是Kirkland,他們把一切都公開,并允許索引他們的Apache配置,所以只需要一點(diǎn)wget的魔術(shù)就能夠下載整個(gè)Kirkland的Facebook。太簡單了!
Python的版本帶有幾乎所有你需要的功能,并且非常易于使用。
import wget
wget.download("http://www.cnn.com/")
# 100% [............................................................................] 280385 / 280385
需要注意的是Linux和OSX用戶可能會操作的另一種選擇是:from sh import wget。不過,Python的wget模塊確實(shí)有一些有爭議的地方。
5)PyMC
我不知道PyMC怎么會經(jīng)常被排除在組合之外。scikit-learn似乎是大家的寵兒(不過它確實(shí)很棒),但在我看來,PyMC沒有得到應(yīng)有的地位。
from pymc.examples import disaster_model
from pymc import MCMC
M = MCMC(disaster_model)
M.sample(iter=10000, burn=1000, thin=10)
[-----------------100%-----------------] 10000 of 10000 complete in 1.4 sec
PyMC是一個(gè)做貝葉斯分析(Bayesian analysis)的庫。它被著重描述于Cam Davidson Pilon的《Bayesian Methods for Hackers》一文中,并已在很多流行的數(shù)據(jù)科學(xué)/ python的博客中亮過相,但一直未能得到類似于scikit-learn的推崇。
6)sh
sh允許你將shell命令作為函數(shù)導(dǎo)入到Python。它在bash中做一些簡單的事情時(shí)特別有用,但你可能已經(jīng)忘記怎么在Python(即遞歸搜索文件)中使用了。
from sh import find
find("/tmp")
/tmp/foo
/tmp/foo/file1.json
/tmp/foo/file2.json
/tmp/foo/file3.json
/tmp/foo/bar/file3.json
我使用過的最簡單的,排行前十位的庫就是fuzzywuzzy(如果你有時(shí)間的話,可以閱讀源碼)。fuzzywuzzy是SeatGeek中的一些人構(gòu)建的一個(gè)模糊字符串匹配庫。
fuzzywuzzy可以實(shí)現(xiàn)如字符串比較比率、令牌比率,以及許多其他匹配指標(biāo)等工作。這對于創(chuàng)造特征向量 (feature vectors)或匹配不同數(shù)據(jù)庫中的記錄特別有用。
from fuzzywuzzy import fuzz
fuzz.ratio("Hit me with your best shot", "Hit me with your pet shark")
# 85
你知道那些你在一堆爛攤子中調(diào)用__main__的for循環(huán)執(zhí)行print “still going…”腳本嗎?那么你為什么不步驟化你的游戲并使用progressbar呢?
誠如其名,progressbar確實(shí)就是進(jìn)度條(progress bar)。雖然這不是一個(gè)完全的數(shù)據(jù)科學(xué)中的具體活動(dòng),但它確實(shí)很好地改善了那些超長的運(yùn)行腳本。
可惜的是,作為另一個(gè)GoogleCode的棄兒,它也沒有得到很多的關(guān)注(文檔有2個(gè)空格的縮進(jìn)……2?。。OM蠹夷軐@個(gè)勤勞又能干的娃多一點(diǎn)憐憫,阿門。
from progressbar import ProgressBar
import time
pbar = ProgressBar(maxval=10)
for i in range(1, 11):
pbar.update(i)
time.sleep(1)
pbar.finish()
# 60% |######################################################## |
9)colorama
既然你為日志設(shè)置了很好的進(jìn)度條,何不讓它們變得多彩起來!而且還可以當(dāng)事情出現(xiàn)嚴(yán)重錯(cuò)誤的時(shí)候還可以提醒自己。
colorama超級易于使用。只要彈出到你的腳本,添加任何你想要變色的文本即可:
10)uuid
在我的想法中,我們在編程的時(shí)候其實(shí)真正只需要幾個(gè)工具就可以了:hashing、鍵/值存儲以及全局惟一標(biāo)識符(universally unique ids,uuid)。 uuid內(nèi)置于Python的UUID庫。它實(shí)現(xiàn)了版本1、3、4和5的UUID標(biāo)準(zhǔn),對于比如說保證唯一性等工作,非常方便。
這聽起來很傻,但如果你要搞一個(gè)營銷活動(dòng)或電子郵件投遞的記錄,并且要確保每個(gè)人都有自己的促銷代碼或身份證號碼的時(shí)候呢?
如果你擔(dān)心用完id,哈哈,那你完全多慮了!UUID可以生成的數(shù)量相當(dāng)于宇宙中原子的數(shù)目。
import uuid
print uuid.uuid4()
# e7bafa3d-274e-4b0a-b9cc-d898957b4b61
滄海一粟的uuid
11)bashplotlib
最后這個(gè)就讓我厚著臉皮介紹吧——bashplotlib是我的作品之一。它可以讓你繪制使用標(biāo)準(zhǔn)輸入的直方圖和散點(diǎn)圖。因此,盡管你可能不會讓它取代ggplot或matplotlib作為日常的繪圖庫,但是它非常的新穎。最起碼,可以把它作為美化日志的一個(gè)方式。
$ pip install bashplotlib
$ scatter --file data/texas.txt --pch x
希望這些Python庫能對你的開發(fā)有所幫助!
譯文鏈接:http://www.codeceo.com/article/11-python-libs-you-not-know.html
英文原文:11 Python Libraries You Might Not Know