等等我關(guān)注的信息。

User-agent: * 
Disallow: /a/ 
Disallow: /b/ 
Disallow: /c/ 

這個(gè)user-agent是HTTP協(xié)議中表示客戶端名字的字段，那個(gè)時(shí)候我剛剛?cè)胄校瑳](méi)什么經(jīng)驗(yàn)，不懂得偽裝，很容易就被發(fā)現(xiàn)。

為了能夠繼續(xù)爬數(shù)據(jù)，我只好改頭換面，偽裝成了瀏覽器的名字，圈子里有的兄弟還偽裝成了搜索引擎爬蟲的名字，我可不像他們那樣沒(méi)下線。

這一招管用了沒(méi)多久，這些網(wǎng)站就升級(jí)了策略，通過(guò)我們的行為來(lái)識(shí)別是不是真的瀏覽器。我們畢竟是程序，那速度比人類點(diǎn)擊快多了，網(wǎng)站一旦發(fā)現(xiàn)我們短時(shí)間內(nèi)發(fā)起了很多請(qǐng)求，那就掐斷連接。

我只好降低爬取的頻率，避免被拉入黑名單。

有些網(wǎng)站更狠，在網(wǎng)頁(yè)里面插入一些假的圖片，只有幾個(gè)像素那種，人類的眼睛是看不見(jiàn)的，但是我們不知道啊，對(duì)我來(lái)說(shuō)都是標(biāo)簽，我一訪問(wèn)就中計(jì)了!立刻被拉入黑名單。

沒(méi)有辦法，攤上這種事，我只好想辦法換個(gè)IP再去爬，真是難頂。

聽(tīng)說(shuō)圈子里有些大佬用上了分布式技術(shù)，組團(tuán)去爬，很多個(gè)IP地址，其中一個(gè)或者幾個(gè)封了也不用怕，我真是很羨慕。

前后端分離

在我的職業(yè)生涯中，遇到過(guò)一些奇怪的網(wǎng)站，明明網(wǎng)頁(yè)中有數(shù)據(jù)，但是我一訪問(wèn)拿到的HTML中啥也沒(méi)有，一度讓我很郁悶。

后來(lái)才知道，原來(lái)他們用上了一個(gè)叫前后端分離開發(fā)的技術(shù)，數(shù)據(jù)不再?gòu)姆?wù)器渲染到HTML網(wǎng)頁(yè)中，而是瀏覽器通過(guò)單獨(dú)的API接口拿到后再動(dòng)態(tài)加載出來(lái)，難怪我拿到的只是一個(gè)空殼子。

為了拿到數(shù)據(jù)，我只好也學(xué)著去請(qǐng)求這些數(shù)據(jù)接口，不過(guò)因?yàn)檫@些網(wǎng)站都有API網(wǎng)關(guān)，會(huì)檢查請(qǐng)求的Token或者Authorization之類的認(rèn)證字段，再加上我不知道他們的接口參數(shù)格式，導(dǎo)致我經(jīng)常拿不到數(shù)據(jù)。

到了最近兩年，我拿到的網(wǎng)頁(yè)HTML越來(lái)越簡(jiǎn)單了，在瀏覽器中豐富多彩的頁(yè)面，一查看源代碼竟然只有簡(jiǎn)單幾行，真是見(jiàn)了鬼了!

終于有一天，一個(gè)前輩告訴我，現(xiàn)在流行單頁(yè)應(yīng)用SPA了，頁(yè)面全都是在前端動(dòng)態(tài)生成的，拿到的HTML根本沒(méi)有價(jià)值。

這簡(jiǎn)直欺人太甚了!

一不做二不休，我決定弄一個(gè)真正的瀏覽器進(jìn)來(lái)，這個(gè)內(nèi)嵌的瀏覽器沒(méi)有界面，專門為我服務(wù)，嵌入到我的程序中，讓他去真正的渲染網(wǎng)頁(yè)，渲染完成后我再去取數(shù)據(jù)!

這是真正意義上模擬人類去訪問(wèn)網(wǎng)站了，再也不用模擬繁瑣的數(shù)據(jù)接口訪問(wèn)，也不用擔(dān)心單頁(yè)應(yīng)用，前端渲染就前端渲染，我再也不怕了!

驗(yàn)證碼

到后來(lái)，不知道是誰(shuí)發(fā)明的，網(wǎng)站們紛紛用上了一種叫驗(yàn)證碼的技術(shù)，給我們出了難題。

開始的驗(yàn)證碼還算比較簡(jiǎn)單，一般都是些簡(jiǎn)單的數(shù)字、英文字符做了些變形，就像這樣：

圈子里很快有大佬教我們用文字識(shí)別技術(shù)OCR來(lái)自動(dòng)識(shí)別這種驗(yàn)證碼，我也折騰了一下，費(fèi)了老大勁終于可以識(shí)別出來(lái)，準(zhǔn)確率不敢說(shuō)100%，99%還是有的。

不過(guò)沒(méi)多久，這驗(yàn)證碼就變得越來(lái)越復(fù)雜，什么漢字識(shí)別，物體識(shí)別，滑動(dòng)解鎖，一個(gè)比一個(gè)難，根本超出了我的理解范圍，你瞧瞧下面這些驗(yàn)證碼，這是人干的事兒?jiǎn)?

哎，這還真是人才能干的事，不是我們爬蟲能干的~

如今，這些網(wǎng)站的反爬蟲技術(shù)越來(lái)越先進(jìn)，我們能發(fā)揮的空間被一步步擠壓。

前段時(shí)間，有個(gè)愣頭青爬蟲把一家公司的服務(wù)器給爬崩潰了，把人家正常業(yè)務(wù)都弄停掉了，他還被抓了起來(lái)，現(xiàn)在監(jiān)管越來(lái)越嚴(yán)，搞得大家人心惶惶。

內(nèi)憂外患不斷，不少爬蟲兄弟失業(yè)的失業(yè)，轉(zhuǎn)行的轉(zhuǎn)行，爬蟲這碗飯，真是越來(lái)越不好吃了。。。