偷偷摘套内射激情视频,久久精品99国产国产精,中文字幕无线乱码人妻,中文在线中文a,性爽19p

手把手教你寫網(wǎng)絡(luò)爬蟲(1):網(wǎng)易云音樂歌單

開發(fā) 后端
本文由淺入深的把爬蟲技術(shù)和盤托出,為初學者提供一種輕松的入門方式。請跟隨我們一起踏上爬蟲學習的打怪升級之路吧!

[[229256]]

大家好,《手把手教你寫網(wǎng)絡(luò)爬蟲》連載開始了!在筆者的職業(yè)生涯中,幾乎沒有發(fā)現(xiàn)像網(wǎng)絡(luò)爬蟲這樣的編程實踐,可以同時吸引程序員和門外漢的注意。本文由淺入深的把爬蟲技術(shù)和盤托出,為初學者提供一種輕松的入門方式。請跟隨我們一起踏上爬蟲學習的打怪升級之路吧!

介紹

什么是爬蟲?

先看看百度百科的定義:

[[229257]]

把這段代碼保存為get_html.py,然后運行,看看輸出了什么:

 

定位到的html代碼:

有了這些信息,就可以用BeautifulSoup提取數(shù)據(jù)了。升級一下代碼:

把這段代碼保存為get_data.py,然后運行,看看輸出了什么:

沒錯,得到了我們想要的數(shù)據(jù)!

BeautifulSoup提供一些簡單的、Python式的函數(shù)用來處理導(dǎo)航、搜索、修改分析樹等功能。它是一個工具箱,通過解析文檔為用戶提供需要抓取的數(shù)據(jù),因為簡單,所以不需要多少代碼就可以寫出一個完整的應(yīng)用程序。怎么樣,是不是覺得只要復(fù)制粘貼就可以寫爬蟲了?簡單的爬蟲確實是可以的!

一個迷你爬蟲

我們先定一個小目標:爬取網(wǎng)易云音樂播放數(shù)大于500萬的歌單。

打開歌單的url: http://music.163.com/#/discover/playlist,然后用BeautifulSoup提取播放數(shù)<span class=”nb”>3715</span>。結(jié)果表明,我們什么也沒提取到。難道我們打開了一個假的網(wǎng)頁?

[[229259]]

Selenium:是一個強大的網(wǎng)絡(luò)數(shù)據(jù)采集工具,其最初是為網(wǎng)站自動化測試而開發(fā)的。近幾年,它還被廣泛用于獲取精確的網(wǎng)站快照,因為它們可以直接運行在瀏覽器上。Selenium 庫是一個在WebDriver 上調(diào)用的API。WebDriver 有點兒像可以加載網(wǎng)站的瀏覽器,但是它也可以像BeautifulSoup對象一樣用來查找頁面元素,與頁面上的元素進行交互(發(fā)送文本、點擊等),以及執(zhí)行其他動作來運行網(wǎng)絡(luò)爬蟲。安裝方式與其他Python第三方庫一樣。 

  1. $pip install Selenium 

驗證一下:

Selenium 自己不帶瀏覽器,它需要與第三方瀏覽器結(jié)合在一起使用。例如,如果你在Firefox 上運行Selenium,可以直接看到一個Firefox 窗口被打開,進入網(wǎng)站,然后執(zhí)行你在代碼中設(shè)置的動作。雖然這樣可以看得更清楚,但不適用于我們的爬蟲程序,爬一頁就打開一頁效率太低,所以我們用一個叫PhantomJS的工具代替真實的瀏覽器。

PhantomJS:是一個“無頭”(headless)瀏覽器。它會把網(wǎng)站加載到內(nèi)存并執(zhí)行頁面上的JavaScript,但是它不會向用戶展示網(wǎng)頁的圖形界面。把Selenium和PhantomJS 結(jié)合在一起,就可以運行一個非常強大的網(wǎng)絡(luò)爬蟲了,可以處理cookie、JavaScript、header,以及任何你需要做的事情。

PhantomJS并不是Python的第三方庫,不能用pip安裝。它是一個完善的瀏覽器,所以你需要去它的官方網(wǎng)站下載,然后把可執(zhí)行文件拷貝到Python安裝目錄的Scripts文件夾,像這樣:

開始干活!

打開歌單的***頁:

http://music.163.com/#/discover/playlist/?order=hot&cat=%E5%85%A8%E9%83%A8&limit=35&offset=0

用Chrome的“開發(fā)者工具”F12先分析一下,很容易就看穿了一切。

播放數(shù)nb (number broadcast):29915

封面 msk (mask):有標題和url

同理,可以找到“下一頁”的url,***一頁的url是“javascript:void(0)”。

***,用18行代碼即可完成我們的工作。

把這段代碼保存為get_data.py,然后運行。運行結(jié)束后,在程序的目錄里生成了一個playlist.csv文件。

看到成果后是不是很有成就感?如果你感興趣,還可以按照這個思路,找找評論數(shù)最多的單曲,再也不用擔心沒歌聽了!

今天的內(nèi)容比較淺顯,希望對你有用。就先介紹到這里,我們下期再見!

 原文鏈接:http://www.cnblogs.com/tuohai666/p/8718107.html

 

責任編輯:龐桂玉 來源: Python開發(fā)者
相關(guān)推薦

2018-05-16 13:50:30

Python網(wǎng)絡(luò)爬蟲Scrapy

2018-05-16 15:46:06

Python網(wǎng)絡(luò)爬蟲PhantomJS

2018-05-22 15:30:30

Python網(wǎng)絡(luò)爬蟲分布式爬蟲

2018-05-14 16:34:08

Python網(wǎng)絡(luò)爬蟲Scrapy

2019-01-15 15:00:22

可視化網(wǎng)易云音樂數(shù)據(jù)

2018-05-14 15:27:06

Python網(wǎng)絡(luò)爬蟲爬蟲架構(gòu)

2018-05-22 16:28:46

Python網(wǎng)絡(luò)爬蟲URL去重

2020-07-10 08:24:18

Python開發(fā)工具

2023-03-27 08:28:57

spring代碼,starter

2021-01-30 10:37:18

ScrapyGerapy網(wǎng)絡(luò)爬蟲

2021-07-14 09:00:00

JavaFX開發(fā)應(yīng)用

2010-07-06 09:43:57

搭建私有云

2010-07-06 09:38:51

搭建私有云

2011-01-10 14:41:26

2011-05-03 15:59:00

黑盒打印機

2025-05-07 00:31:30

2023-04-26 12:46:43

DockerSpringKubernetes

2022-01-08 20:04:20

攔截系統(tǒng)調(diào)用

2022-03-14 14:47:21

HarmonyOS操作系統(tǒng)鴻蒙

2022-07-27 08:16:22

搜索引擎Lucene
點贊
收藏

51CTO技術(shù)棧公眾號