[[425562]]

昨天有位同學(xué)在公眾號俱樂部群問了這樣一個問題：

他在一個 Scrapy 項目里面，有兩個爬蟲 A 和 B，他使用命令scrapy crawl B想啟動 B 爬蟲，但是發(fā)現(xiàn) A 爬蟲也自動運(yùn)行了。

然后，這個同學(xué)貼上來他的爬蟲代碼：

看到這個代碼，我就知道是怎么回事了。要解釋這個現(xiàn)象，我們需要掌握兩個知識點(diǎn)：

Scrapy 是怎么加載爬蟲的?

Python 的類變量與實例變量的區(qū)別。

Scrapy 是怎么加載爬蟲的?

我們知道，Scrapy 的 spiders 文件夾里面，可以定義很多個爬蟲文件。只要每個爬蟲文件的 name 的值不一樣，那么，我們就可以使用scrapy crawl name 的值來啟動特定的爬蟲。

那么，Scrapy 它是怎么根據(jù)這個名字找到對應(yīng)的類的呢?

實際上，在我們執(zhí)行scrapy crawl xxx的時候，Scrapy 有幾個主要的步驟：

• 首先遍歷spiders 文件夾下面的所有文件，在這些文件里面，尋找繼承了scrapy.Spider的類
• 獲取每個爬蟲類的name屬性的值
• 添加到一個公共的字典里面{'name1': 爬蟲類1, 'name2': '爬蟲類2'}
• 獲取scrapy crawl xxx具體要啟動的那個爬蟲的名字，從公共字典里面，找到這個名字對應(yīng)的爬蟲類
• 執(zhí)行這個爬蟲類，得到一個爬蟲對象。然后調(diào)用爬蟲對象的start_requests()方法

從這個過程我們可以知道，spiders 文件夾下面，每一個爬蟲類都會被加載。

Python 的類屬性和實例屬性

在我們定義Python 類的時候，我們其實可以在類里面，所有方法的外面寫代碼，例如：

class Test: 
    a = 1 + 1 
    b = 2 + 2 
    if a + b == 6: 
        right = True  
    else: 
        right = False 
    def __init__(self): 
        self.age = 100 
        self.address = '上海' 

大家注意這幾行代碼：

a = 1 + 1 
b = 2 + 2 
if a + b == 6: 
    right = True  
else: 
    right = False 

他們不在任何方法里面的，這里面初始化的變量，叫做類變量或者類屬性。而在__init__里面，初始化的self.age和self.address叫做實例屬性。

實例屬性只有在類被執(zhí)行的時候，獲得實例對象的時候，才會執(zhí)行。而類屬性，是在類被 Python 加載的時候，就會執(zhí)行。大家注意下面這段代碼：

Python 只是加載了這個類，并沒有初始化它，但里面的 print語句已經(jīng)執(zhí)行了。

而當(dāng)我們初始化它以后，實例屬性才會執(zhí)行：

什么情況叫做Python 加載了一個類呢?

例如，當(dāng)你from xxx import yyy的時候，yyy這個類就被加載了。又比如你可能是使用imortlib.import_module的時候。

所以，回到這個同學(xué)的問題。之所以他其中一個爬蟲的代碼始終會運(yùn)行，原因就在下面紅色圓圈中的代碼：

他把這段代碼寫在了所有方法之外，讓他處于了類屬性的區(qū)域。在這個區(qū)域里面的代碼，在爬蟲類被加載的時候，就會執(zhí)行。

如果要解決這個問題，只需要把這段代碼，放到start_requests()方法里面就可以了。

本文轉(zhuǎn)載自微信公眾號「未聞Code」，可以通過以下二維碼關(guān)注。轉(zhuǎn)載本文請聯(lián)系未聞Code公眾號。