偷偷摘套内射激情视频,久久精品99国产国产精,中文字幕无线乱码人妻,中文在线中文a,性爽19p

手把手教你進(jìn)行Scrapy中item類的實(shí)例化操作

開發(fā) 后端
今天給大家介紹Scrapy中item類的實(shí)例化操作

 [[347451]]

1、首先在爬蟲主體文件中將Item模塊導(dǎo)入進(jìn)來(lái),如下圖所示。

 

 

 

 

2、第一步的意思是說(shuō)將items.py中的ArticleItem類導(dǎo)入到爬蟲主體文件中去,將兩個(gè)文件串聯(lián)起來(lái),其中items.py的部分內(nèi)容如下圖所示。

 

 

 

 

3、將這個(gè)ArticleItem類導(dǎo)入之后,接下來(lái)我們就可以對(duì)這個(gè)類進(jìn)行初始化,并對(duì)其進(jìn)行相應(yīng)值的填充。首先去parse_detail函數(shù)下對(duì)其進(jìn)行實(shí)例化,實(shí)例化的方法也十分簡(jiǎn)單,如下圖所示。

 

 

 

 

4、接下來(lái),我們將填充對(duì)應(yīng)的值。實(shí)際上我們?cè)谥巴ㄟ^(guò)Xpath或者CSS選擇器已經(jīng)獲取到了目標(biāo)數(shù)據(jù),如下圖所示,現(xiàn)在要做的就是依次填充目標(biāo)字段的值。

 

 

 

 

5、我們可以像字典一樣來(lái)給目標(biāo)字段傳值,例如item[“title”]= title,其他的目標(biāo)字段的填充也是形如該格式,填充完成之后如下圖所示。

 

 

 

 

其中,目標(biāo)字段可以參考items.py中定義的item,這樣可以加快填充的速度。

6、到這里,我們已經(jīng)將需要填充的字段全部填充完成了,之后我們需要調(diào)用yield,這點(diǎn)十分重要。再調(diào)用yield之后,實(shí)例化后的item就會(huì)自動(dòng)傳遞到pipeline當(dāng)中去??梢钥吹较聢D中的pipelines.py中默認(rèn)給出的代碼,說(shuō)明pipeline其實(shí)是可以接收item的。

 

 

 

 

7、到這里,關(guān)于實(shí)例化item的步驟就已經(jīng)完成了,是不是比較簡(jiǎn)單呢?我們后面把pipeline配置起來(lái),一步一步的將Scrapy串起來(lái)。

 

責(zé)任編輯:姜華 來(lái)源: IT共享之家
相關(guān)推薦

2021-07-01 09:31:50

MySQL SQL 語(yǔ)句數(shù)據(jù)庫(kù)

2018-05-16 13:50:30

Python網(wǎng)絡(luò)爬蟲Scrapy

2022-02-23 20:53:54

數(shù)據(jù)清洗模型

2011-01-10 14:41:26

2025-05-07 00:31:30

2011-05-03 15:59:00

黑盒打印機(jī)

2021-07-14 09:00:00

JavaFX開發(fā)應(yīng)用

2010-08-09 09:25:23

SQL Server鏡

2023-12-13 08:17:24

JPDAJavaDebug

2021-01-30 10:37:18

ScrapyGerapy網(wǎng)絡(luò)爬蟲

2020-12-17 09:40:01

Matplotlib數(shù)據(jù)可視化命令

2011-04-28 09:23:36

REST

2021-09-26 16:08:23

CC++clang_forma

2009-07-19 15:02:56

2011-02-22 13:46:27

微軟SQL.NET

2021-02-26 11:54:38

MyBatis 插件接口

2021-12-28 08:38:26

Linux 中斷喚醒系統(tǒng)Linux 系統(tǒng)

2009-10-27 16:05:52

VB.NET File

2022-07-27 08:16:22

搜索引擎Lucene

2022-01-08 20:04:20

攔截系統(tǒng)調(diào)用
點(diǎn)贊
收藏

51CTO技術(shù)棧公眾號(hào)