在我多年的 Python 編程經(jīng)歷以及在 Github 上的探索漫游過(guò)程中，我發(fā)掘到一些很不錯(cuò)的 Python 開(kāi)發(fā)包，這些包大大簡(jiǎn)化了開(kāi)發(fā)過(guò)程，而本文就是為了向大家推薦這些開(kāi)發(fā)包。

請(qǐng)注意我特別排除了像SQLAlchemy和Flask這樣的庫(kù)，因?yàn)槠鋵?shí)在太優(yōu)秀了，無(wú)需多提。

下面開(kāi)始：

1. PyQuery (with lxml)

安裝方法 pip install pyquery

Python 解析 HTML 時(shí)最經(jīng)常被推薦的是Beautiful Soup ，而且它的確也表現(xiàn)很好。提供良好的 Python 風(fēng)格的 API，而且很容易在網(wǎng)上找到相關(guān)的資料文檔，但是當(dāng)你需要在短時(shí)間內(nèi)解析大量文檔時(shí)便會(huì)碰到性能的問(wèn)題，簡(jiǎn)單，但是真的非常慢。

下圖是 08 年的一份性能比較圖：

這個(gè)圖里我們發(fā)現(xiàn) lxml 的性能是如此之好，不過(guò)文檔就很少，而且使用上相當(dāng)?shù)谋孔荆∧敲词沁x擇一個(gè)使用簡(jiǎn)單但是速度奇慢的庫(kù)呢，還是選擇一個(gè)速度飛快但是用起來(lái)巨復(fù)雜的庫(kù)呢？

誰(shuí)說(shuō)二者一定要選其一呢，我們要的是用起來(lái)方便，速度也一樣飛快的 XML/HTML 解析庫(kù)！

而 PyQuery 就可以同時(shí)滿足你的易用性和解析速度方面的苛刻要求。

看看下面這幾行代碼：

from pyquery import PyQuery  
page = PyQuery(some_html)  
 
last_red_anchor = page('#container > a.red:last') 

很簡(jiǎn)單吧，很像是 jQuery，但它卻是 Python。

不過(guò)也有一些不足，在使用迭代時(shí)需要對(duì)文本進(jìn)行重新封裝：

for paragraph in page('#container > p'):  
    paragraph = PyQuery(paragraph)  
    text = paragraph.text() 

2. dateutil

安裝方法：pip install dateutil

處理日期很痛苦，多虧有了 dateutil

from dateutil.parser import parse  
 
>>> parse('Mon, 11 Jul 2011 10:01:56 +0200 (CEST)')  
datetime.datetime(2011, 7, 11, 10, 1, 56, tzinfo=tzlocal())  
 
# fuzzy ignores unknown tokens  
 
>>> s = """Today is 25 of September of 2003, exactly  
...        at 10:49:41 with timezone -03:00.""" 
>>> parse(s, fuzzy=True)  
datetime.datetime(2003, 9, 25, 10, 49, 41,  
                  tzinfo=tzoffset(None, -10800)) 

3. fuzzywuzzy

安裝方法：pip install fuzzywuzzy

fuzzywuzzy 可以讓你對(duì)兩個(gè)字符串進(jìn)行模糊比較，當(dāng)你需要處理一些人類產(chǎn)生的數(shù)據(jù)時(shí)，這非常有用。下面代碼使用Levenshtein 距離比較方法來(lái)匹配用戶輸入數(shù)組和可能的選擇。

from Levenshtein import distance  
 
countries = ['Canada', 'Antarctica', 'Togo', ...]  
 
def choose_least_distant(element, choices):  
    'Return the one element of choices that is most similar to element' 
    return min(choices, key=lambda s: distance(element, s))  
 
user_input = 'canaderp' 
choose_least_distant(user_input, countries)  
>>> 'Canada' 

這已經(jīng)不錯(cuò)了，但還可以做的更好：

from fuzzywuzzy import process  
 
process.extractOne("canaderp", countries)  
>>> ("Canada", 97) 

4. watchdog

安裝方法：pip install watchdog

watchdog 是一個(gè)用來(lái)監(jiān)控文件系統(tǒng)事件的 Python API和shell實(shí)用工具。

5. sh

安裝方法：pip install sh

sh 可讓你調(diào)用任意程序，就好象是一個(gè)函數(shù)一般：

from sh import git, ls, wc  
 
# checkout master branch  
git(checkout="master")  
 
# print(the contents of this directory  
print(ls("-l"))  
 
# get the longest line of this file  
longest_line = wc(__file__, "-L") 

6. pattern

安裝方法：pip install pattern

Pattern 是 Python 的一個(gè) Web 數(shù)據(jù)挖掘模塊。可用于數(shù)據(jù)挖掘、自然語(yǔ)言處理、機(jī)器學(xué)習(xí)和網(wǎng)絡(luò)分析。

7. path.py

安裝方法：pip install path.py

當(dāng)我開(kāi)始學(xué)習(xí) Python 時(shí)，os.path 是我最不喜歡的 stdlib 的一部分。盡管在一個(gè)目錄下創(chuàng)建一組文件很簡(jiǎn)單。

import os  
 
some_dir = '/some_dir' 
files = []  
 
for f in os.listdir(some_dir):  
    files.append(os.path.joinpath(some_dir, f)) 

但listdir在os而不是os.path中。

而有了path.py ，處理文件路徑變得簡(jiǎn)單：

from path import path  
 
some_dir = path('/some_dir')  
 
files = some_dir.files() 

其他的用法：

>>> path('/').owner  
'root' 
 
>>> path('a/b/c').splitall()  
[path(''), 'a', 'b', 'c']  
 
# overriding __div__  
>>> path('a') / 'b' / 'c' 
path('a/b/c')  
 
>>> path('ab/c').relpathto('ab/d/f')  
path('../d/f') 

是不是要好很多？

原文鏈接：http://www.oschina.net/question/12_78983