很長(zhǎng)時(shí)間以來我們都在分享 Linux 系統(tǒng)相關(guān)的知識(shí)，所以可能會(huì)有朋友誤以為我們只分享 Linux 操作相關(guān)的東西，其實(shí)不是啊，我們?cè)谄綍r(shí)開發(fā)過程中遇到的一些問題，感覺可以總結(jié)的，都有可能拿來分享。

最近在寫一個(gè)定時(shí)訪問網(wǎng)絡(luò)資源的程序，里面涉及到使用 python 訪問網(wǎng)絡(luò)，所以我們今天就對(duì)這一個(gè)點(diǎn)做一個(gè)簡(jiǎn)短的總結(jié)。

使用 python 訪問網(wǎng)絡(luò)資源

要訪問網(wǎng)絡(luò)中的資源，有些朋友可能會(huì)使用 urllib.request，這個(gè)模塊也是一個(gè) python 的標(biāo)準(zhǔn)庫。不過我們使用的是 requests，它是 urllib.request 的封裝，使用起來更方便。 如果是第一次使用的話，需要安裝 requests，我們使用 pip 安裝：

pip install --user requests

安裝成功后，就可以直接使用了，使用的時(shí)候，需要在 python 文件的上方引入：

import requestsimport requests

為了方便演示，我們使用 requests 模塊訪問一下 github 上星最高的 python 項(xiàng)目，地址為：

??https://api.github.com/search/repositories?q=language:python&sort=stars??

為了有一個(gè)整體的認(rèn)識(shí)，大家可以先使用瀏覽器打開這個(gè)地址，看看里面的內(nèi)容，它是一個(gè)以 json 格式展現(xiàn)的文本。

然后我們新建一個(gè) ??test-resp.py?? 的文件，里面輸入如下代碼：

import requests
url='??https://api.github.com/search/repositories?q=language:python&sort=stars??';
get_resp=requests.get(url);

上述代碼中第 1 行為引入 requests 模塊，第 2 行將待訪問地址存儲(chǔ)到 url 變量中，第 3 行使用 requests 模塊的 get 方法來訪問這個(gè) url，并將響應(yīng)存儲(chǔ)在變量 get_resp 中。這個(gè)響應(yīng)是一個(gè)對(duì)象，包含請(qǐng)求資源的內(nèi)容和狀態(tài)?？梢源蛴∫幌逻@個(gè)響應(yīng)的狀態(tài)，使用 status_code 對(duì)象，如下代碼：

print(get_resp.status_code)

結(jié)果如下：

$ python ??test-resp.py??
200

當(dāng)然，也可以打印出響應(yīng)的文本，即打印 get_resp.text，不過這個(gè)文本沒有格式化，不易讀，如下圖所示：

上圖我們只截取了結(jié)果的一部分，因?yàn)樘L(zhǎng)了... 這個(gè)結(jié)果解析起來是比較麻煩的，不過完全不用擔(dān)心，簡(jiǎn)單看一下其內(nèi)容我們就可以注意到，其內(nèi)容是一個(gè)json格式的，所以響  應(yīng)結(jié)果也是一個(gè) json，而 python 對(duì) json 的解析功能是很強(qiáng)大的，如下我們可以打印出這個(gè) json 的 key 值：                   

print(get_resp.json().keys())

結(jié)果如下：

$ python ??test-resp.py??
dict_keys(['total_count', 'incomplete_results', 'items'])

由上結(jié)果可以知道，我們完全可以將這個(gè)響應(yīng)結(jié)果當(dāng)作一個(gè) json 對(duì)象來處理。比如，上述結(jié)果中的第一個(gè) keyi 值 total_count，其表示 python 倉庫的總數(shù)，我們可以將這個(gè)數(shù)值打印出來，如下所示：

response_dict=get_resp.json();
print("Total repositories:", response_dict['total_count'])

其運(yùn)行結(jié)果如下：

$ python ??test-resp.py??
Total repositories: 9128125

如果讀取的網(wǎng)絡(luò)資源，是普通的 html 格式，可以使用一個(gè)第三方庫 BeautifulSoup，可以完美解決 html 解析。關(guān)于BeautifulSoup我們?cè)谥暗奈恼轮幸步榻B過，大家可以參考：使用 Python 的 Beautiful Soup 庫來分析網(wǎng)頁

添加請(qǐng)求頭信息

有些網(wǎng)絡(luò)資源對(duì)于請(qǐng)求的響應(yīng)可能做了限制，比如阻止機(jī)器人（程序）訪問，或者需要登錄（有用戶會(huì)話）才能訪問，為此，可以在請(qǐng)求中添加請(qǐng)求頭，在請(qǐng)求頭中模擬瀏覽器，添加用戶會(huì)話信息（token）等。如下所示：

headers={
'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.186 Safari/537.36',
'Authorization':'41d15146-c3f3-4c0b-b48b-b5210151a9df'
}
get_resp=requests.get(url,headers=headers,params=None)

上述代碼中，headers 對(duì)象中的 User-Agent 為模擬的瀏覽器信息，Authorization 為請(qǐng)求令牌。 也可以按需添加其他請(qǐng)求頭信息，如下所示：

header={
'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,/;q=0.8',
'Accept-Encoding': 'gzip, deflate, sdch',
'Accept-Language': 'zh-CN,zh;q=0.8',
'Connection': 'keep-alive',
'User-Agent': 'Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/43.0.235'
}

其他

上面我們使用的例子，都是處理的 get 請(qǐng)求，對(duì)于 post 請(qǐng)求也同樣適用，使用 requests 的 post 方法，如下：

post_resp=requests.post(url,headers=headers,data=None,json=None)

使用方法與 get 請(qǐng)求完全相同。

以上就是我們本次分享全部?jī)?nèi)容，歡迎討論。