深度剖析Python模塊的性能問題
Python應(yīng)用程序被稱為是一門清晰而簡(jiǎn)單的語(yǔ)言，因?yàn)樗淖髡弋?dāng)初在設(shè)計(jì)它的時(shí)候，考慮了初學(xué)者和一些不經(jīng)常接觸到這些開發(fā)語(yǔ)言的人們來(lái)說(shuō)，這是一門非常好的操作語(yǔ)言。
事實(shí)上，通過Python語(yǔ)言提供的各種模塊，我們無(wú)需借助Web服務(wù)器或者Web瀏覽器就能夠解析和處理HTML文檔。本文將詳細(xì)介紹如何利用Python抓取和解析網(wǎng)頁(yè)。首先，我們介紹一個(gè)可以幫助簡(jiǎn)化打開位于本地和Web上的HTML文檔的Python模塊。
然后，我們論述如何使用Python模塊來(lái)迅速解析在HTML文件中的數(shù)據(jù)，從而處理特定的內(nèi)容，如鏈接、圖像和Cookie等。最后，我們會(huì)給出一個(gè)規(guī)整HTML文件的格式標(biāo)簽的例子，通過這個(gè)例子您會(huì)發(fā)現(xiàn)使用python處理HTML文件的內(nèi)容是非常簡(jiǎn)單的一件事情。
通過Python所帶的urlparse模塊，我們能夠輕松地把URL分解成元件，之后，還能將這些元件重新組裝成一個(gè)URL。當(dāng)我們處理HTML 文檔的時(shí)候，這項(xiàng)功能是非常方便的。函數(shù)urlparse(urlstring [, default_scheme [, allow_fragments]])的作用是將URL分解成不同的組成部分。
它從urlstring中取得URL，并返回元組 (scheme, netloc, path, parameters, query, fragment)。注意，返回的這個(gè)元組非常有用，例如可以用來(lái)確定網(wǎng)絡(luò)協(xié)議(HTTP、FTP等等 )、服務(wù)器地址、文件路徑，等等。
函數(shù)urlunparse(tuple)的作用是將URL的組件裝配成一個(gè)URL，它接收元組(scheme, netloc, path, parameters, query, fragment)后，會(huì)重新組成一個(gè)具有正確格式的URL，以便供Python的其他HTML解析模塊使用。函數(shù)urljoin(base, url [, allow_fragments]) 的作用是拼接URL，它以第一個(gè)參數(shù)作為其基地址，然后與第二個(gè)參數(shù)中的相對(duì)地址相結(jié)合組成一個(gè)絕對(duì)URL地址。
函數(shù)urljoin在通過為URL基地址附加新的文件名的方式來(lái)處理同一位置處的若干文件的時(shí)候格外有用。需要注意的是，如果基地址并非以字符/結(jié)尾的話。那么URL基地址最右邊部分就會(huì)被這個(gè)相對(duì)路徑所替換。比如，URL的基地址如果希望在該路徑中保留末端目錄，應(yīng)確保URL基地址以字符/結(jié)尾。
上面介紹了如何解析頁(yè)面的URL，現(xiàn)在開始講解如何通過URL打開一個(gè)網(wǎng)頁(yè)。實(shí)際上，Python所帶的urllib和urllib2這兩個(gè)模塊為我們提供了從URL打開并獲取數(shù)據(jù)的功能，當(dāng)然，這包括HTML文檔。若要通過urllib模塊中的urlopen(url [,data])函數(shù)打開一個(gè)HTML文檔，必須提供該文檔的URL地址，包括文件名。
函數(shù)urlopen不僅可以打開位于遠(yuǎn)程web服務(wù)器上的文件，而且可以打開一個(gè)本地文件，并返回一個(gè)類似文件的對(duì)象，我們可以通過該對(duì)象從HTML文檔中讀出數(shù)據(jù)。一旦打開了HTML文檔，我們就可以像使用常規(guī)文件一樣使用read([nbytes])、readline()和readlines()函數(shù)來(lái)對(duì)文件進(jìn)行讀操作。
另一個(gè)常用的函數(shù)是位于從urlopen返回的類文件對(duì)象中的info()函數(shù)，這個(gè)函數(shù)可以返回URL位置有關(guān)的元數(shù)據(jù)，比如內(nèi)容長(zhǎng)度、內(nèi)容類型，等等。下面通過一個(gè)較為詳細(xì)的例子來(lái)對(duì)這些函數(shù)進(jìn)行說(shuō)明。
對(duì)搜索引擎、文件索引、文檔轉(zhuǎn)換、數(shù)據(jù)檢索、站點(diǎn)備份或遷移等應(yīng)用程序來(lái)說(shuō)，經(jīng)常用到對(duì)網(wǎng)頁(yè)(即HTML文件)的解析處理。事實(shí)上，通過Python語(yǔ)言提供的各種模塊，我們無(wú)需借助Web服務(wù)器或者Web瀏覽器就能夠解析和處理HTML文檔。
本文中，我們介紹了一個(gè)可以幫助簡(jiǎn)化打開位于本地和Web上的HTML文檔的Python模塊。在下篇中，我們將論述如何使用Python模塊來(lái)迅速解析在HTML文件中的數(shù)據(jù)，從而處理特定的內(nèi)容，如鏈接、圖像和Cookie等。
【編輯推薦】
