[[351342]]

 爬蟲(chóng)在采集網(wǎng)站的過(guò)程中，部分?jǐn)?shù)據(jù)價(jià)值較高的網(wǎng)站，會(huì)限制訪客的訪問(wèn)行為。這種時(shí)候建議通過(guò)登錄的方式，獲取目標(biāo)網(wǎng)站的cookie，然后再使用cookie配合代理IP進(jìn)行數(shù)據(jù)采集分析。

1 使用表單登陸

這種情況屬于post請(qǐng)求，即先向服務(wù)器發(fā)送表單數(shù)據(jù)，服務(wù)器再將返回的cookie存入本地。

#! -*- encoding:utf-8 -*- 
 
import requests 
 
import random 
 
import requests.adapters 
 
 
 
# 要訪問(wèn)的目標(biāo)頁(yè)面 
 
targetUrlList = [ 
 
    "https://httpbin.org/ip", 
 
    "https://httpbin.org/headers", 
 
    "https://httpbin.org/user-agent", 
 
] 
 
 
 
# 代理服務(wù)器(產(chǎn)品官網(wǎng) www.16yun.cn) 
 
proxyHost = "t.16yun.cn" 
 
proxyPort = "31111" 
 
 
 
# 代理隧道驗(yàn)證信息 
 
proxyUser = "username" 
 
proxyPass = "password" 
 
 
 
proxyMeta = "http://%(user)s:%(pass)s@%(host)s:%(port)s" % { 
 
    "host": proxyHost, 
 
    "port": proxyPort, 
 
    "user": proxyUser, 
 
    "pass": proxyPass, 
 
} 
 
 
 
# 設(shè)置 http和https訪問(wèn)都是用HTTP代理 
 
proxies = { 
 
    "http": proxyMeta, 
 
    "https": proxyMeta, 
 
} 
 
 
 
# 訪問(wèn)三次網(wǎng)站，使用相同的Session(keep-alive)，均能夠保持相同的外網(wǎng)IP 
 
s = requests.session() 
 
 
 
# 設(shè)置cookie 
 
cookie_dict = {"JSESSION":"123456789"} 
 
cookies = requests.utils.cookiejar_from_dict(cookie_dict, cookiejar=None, overwrite=True) 
 
s.cookies = cookies 
 
 
 
for i in range(3): 
 
    for url in targetUrlList: 
 
        r = s.get(url, proxies=proxies) 
 
        print r.text 

2 使用cookie登陸 

使用cookie登陸，服務(wù)器會(huì)認(rèn)為你是一個(gè)已登陸的用戶，所以就會(huì)返回給你一個(gè)已登陸的內(nèi)容。因此，需要驗(yàn)證碼的情況可以使用帶驗(yàn)證碼登陸的cookie解決。

response_captcha = requests_session.get(url=url_login, cookies=cookies) 
  
response1 = requests.get(url_login) # 未登陸 
  
response2 = requests_session.get(url_login) # 已登陸，因?yàn)橹澳玫搅薘esponse Cookie！ 
  
response3 = requests_session.get(url_results) # 已登陸，因?yàn)橹澳玫搅薘esponse Cookie！ 

若存在驗(yàn)證碼，此時(shí)采用response = requests_session.post(url=url_login, data=data)是不行的，做法應(yīng)該如下：

response_captcha = requests_session.get(url=url_login, cookies=cookies) 
  
response1 = requests.get(url_login) # 未登陸 
  
response2 = requests_session.get(url_login) # 已登陸，因?yàn)橹澳玫搅薘esponse Cookie！ 
  
response3 = requests_session.get(url_results) # 已登陸，因?yàn)橹澳玫搅薘esponse Cookie！ 
  

 【編輯推薦】