人們正在以前所未有的速度轉向互聯(lián)網，我們在互聯(lián)網上所做的很多行為產生了大量的“用戶數(shù)據(jù)”，比如微博、購買記錄等。

[[389540]]

互聯(lián)網成了海量信息的載體;互聯(lián)網目前是分析市場趨勢、監(jiān)視競爭對手或者獲取銷售線索的最佳場所，數(shù)據(jù)采集以及分析能力已成為驅動業(yè)務決策的關鍵技能。

如何有效地提取并利用這些信息成了一個巨大的挑戰(zhàn)，而網絡爬蟲是一種很好的自動采集數(shù)據(jù)的通用手段。本文將會對爬蟲的類型、爬蟲的抓取策略以及深入學習爬蟲所需的網絡基礎等相關知識進行介紹。

01 爬蟲是什么

網絡爬蟲(又被稱為網頁蜘蛛、網絡機器人，在FOAF社區(qū)中，更經常地稱為網頁追逐者)是一種按照一定的規(guī)則，自動抓取萬維網信息的程序或者腳本。另外一些不常使用的名字還有螞蟻、自動索引、模擬程序或者蠕蟲。

網絡爬蟲通過爬取互聯(lián)網上網站服務器的內容來工作。它是用計算機語言編寫的程序或腳本，用于自動從Internet上獲取信息或數(shù)據(jù)，掃描并抓取每個所需頁面上的某些信息，直到處理完所有能正常打開的頁面。

作為搜索引擎的重要組成部分，爬蟲首要的功能就是爬取網頁數(shù)據(jù)(如圖2-1所示)，目前市面流行的采集器軟件都是運用網絡爬蟲的原理或功能。

▲圖2-1 網絡爬蟲象形圖

02 爬蟲的意義

現(xiàn)如今大數(shù)據(jù)時代已經到來，網絡爬蟲技術成為這個時代不可或缺的一部分，企業(yè)需要數(shù)據(jù)來分析用戶行為、自己產品的不足之處以及競爭對手的信息等，而這一切的首要條件就是數(shù)據(jù)的采集。

網絡爬蟲的價值其實就是數(shù)據(jù)的價值，在互聯(lián)網社會中，數(shù)據(jù)是無價之寶，一切皆為數(shù)據(jù)，誰擁有了大量有用的數(shù)據(jù)，誰就擁有了決策的主動權。網絡爬蟲的應用領域很多，如搜索引擎、數(shù)據(jù)采集、廣告過濾、大數(shù)據(jù)分析等。

1)抓取各大電商網站的商品銷量信息及用戶評價來進行分析，如圖2-2所示。

▲圖2-2 電商網站的商品銷售信息

2)分析大眾點評、美團網等餐飲類網站的用戶消費、評價和發(fā)展趨勢，如圖2-3所示。

▲圖2-3 餐飲類網站的用戶消費信息

3)分析各個城市中學區(qū)房的比例，以及學區(qū)房比普通二手房價格高出多少，如圖2-4所示。

▲圖2-4 學區(qū)房的比例與價格對比

以上數(shù)據(jù)是通過前嗅ForeSpider數(shù)據(jù)采集軟件爬下來的，有興趣的讀者可以嘗試自己爬一些數(shù)據(jù)。

03 爬蟲的原理

我們通常會將網絡爬蟲的組成模塊分為初鏈接庫、網絡抓取模塊、網頁處理模塊、網頁分析模塊、DNS模塊、待抓取鏈接隊列、網頁庫等，網絡爬蟲的各系模塊可形成一個循壞體系，從而不斷地進行分析和抓取。

爬蟲的工作原理可以很簡單地解釋為先找到目標信息網，然后頁面抓取模塊，接著頁面分析模塊，最后數(shù)據(jù)存儲模塊。其具體詳情如圖2-5所示。

▲圖2-5 爬蟲原理圖

爬蟲工作基本流程：

1. 首先在互聯(lián)網中選出一部分網頁，以這些網頁的鏈接地址作為種子URL;
2. 將這些種子URL放入待抓取的URL隊列中，爬蟲從待抓取的URL隊列依次讀取;
3. 將URL通過DNS解析;
4. 把鏈接地址轉換為網站服務器對應的IP地址;
5. 網頁下載器通過網站服務器對網頁進行下載;
6. 下載的網頁為網頁文檔形式;
7. 對網頁文檔中的URL進行抽取;
8. 過濾掉已經抓取的URL;
9. 對未進行抓取的URL繼續(xù)循環(huán)抓取，直至待抓取URL隊列為空。

04 爬蟲技術的類型

聚焦網絡爬蟲是“面向特定主題需求”的一種爬蟲程序，而通用網絡爬蟲則是捜索引擎抓取系統(tǒng)(Baidu、Google、Yahoo等)的重要組成部分，主要目的是將互聯(lián)網上的網頁下載到本地，形成一個互聯(lián)網內容的鏡像備份。

增量抓取意即針對某個站點的數(shù)據(jù)進行抓取，當網站的新增數(shù)據(jù)或者該站點的數(shù)據(jù)發(fā)生變化后，自動地抓取它新增的或者變化后的數(shù)據(jù)。

Web頁面按存在方式可以分為表層網頁(surface Web)和深層網頁(deep Web，也稱invisible Web pages或hidden Web)。

• 表層網頁是指傳統(tǒng)搜索引擎可以索引的頁面，即以超鏈接可以到達的靜態(tài)網頁為主來構成的Web頁面。
• 深層網頁是那些大部分內容不能通過靜態(tài)鏈接獲取的、隱藏在搜索表單后的，只有用戶提交一些關鍵詞才能獲得的Web頁面。