[[432998]]

文末本文轉(zhuǎn)載自微信公眾號「志斌的python筆記」，作者 志斌 。轉(zhuǎn)載本文請聯(lián)系志斌的python筆記公眾號。

大家好，我是志斌~

轉(zhuǎn)眼就到11月份了，本以為能在大連過一個(gè)浪漫的秋天，但是沒想到今年的大連沒有秋天，直接到了寒風(fēng)刺骨的冬天。。。

于是，志斌趕緊打開了Python，用它爬取并分析一波棉襖，找到一件最合適的棉襖給裹到身上。

一、數(shù)據(jù)采集

數(shù)據(jù)采集是數(shù)據(jù)可視化分析的第一步，也是最基礎(chǔ)的一步，數(shù)據(jù)采集的數(shù)量和質(zhì)量越高，后面分析的準(zhǔn)確的也就越高，我們來看一下淘寶網(wǎng)的數(shù)據(jù)該如何爬取。

淘寶網(wǎng)站是一個(gè)動態(tài)加載的網(wǎng)站，我們之前可以采用解析接口或者用Selenium自動化測試工具來爬取數(shù)據(jù)，但是現(xiàn)在淘寶對接口進(jìn)行了加密，使我們很難分析出來其中的規(guī)律，同時(shí)淘寶也對Selenium進(jìn)行了反爬限制，所以我們要換種思路來進(jìn)行數(shù)據(jù)獲取。

打開開發(fā)者模式，開始對網(wǎng)頁進(jìn)行觀察后發(fā)現(xiàn)，淘寶商品的數(shù)據(jù)竟然在源網(wǎng)頁中存儲著。

我翻了幾頁網(wǎng)頁之后發(fā)現(xiàn)，每翻一頁，網(wǎng)頁的params參數(shù)中的s參數(shù)就會增加44(初始值是0)。

經(jīng)過以上分析，現(xiàn)在我們就可以開始構(gòu)造爬蟲程序了。

1.導(dǎo)入爬蟲使用的庫

import requests 
import re 
import time 
import random 
import openpyxl 

2.發(fā)起請求

for page in range(1,101): 
   params = ( 
       ('q', '棉襖'), 
       ('imgfile', ''), 
       ('commend', 'all'), 
       ('ssid', 's5-e'), 
       ('search_type', 'item'), 
       ('sourceId', 'tb.index'), 
       ('spm', 'a21bo.jianhua.201856-taobao-item.2'), 
       ('ie', 'utf8'), 
       ('initiative_id', 'tbindexz_20170306'), 
       ('hintq', '1'), 
       ('s', str(page*44)), 
   ) 
response = requests.get(url,  params=params) 

3.數(shù)據(jù)存儲

a = 0 
b = 0 
for i in range(44): 
    try: 
        sheet.append([dianpumingcheng[i],shangpinming[i],float(jiage[i]),fahuodi[i],fukuanrenshu[i]]) 
    except: 
        a+=1 
        if a>30: 
            print(f"第{page}頁數(shù)據(jù)未爬取......") 
            wb.save('棉襖.xlsx') 
            # 把xxx改成你想要的存儲的名稱即可 
            b = 1 
            break 
if b == 1: 
    break 
print(f"已爬取完第{page}頁數(shù)據(jù)......") 
time.sleep(random.randint(3,5)) 
nt(f'共爬取{page}頁數(shù)據(jù)......') 

二、數(shù)據(jù)清洗

數(shù)據(jù)采集后，要對其進(jìn)行清洗，剔除臟數(shù)據(jù)，用以提高分析的準(zhǔn)確性。

1.導(dǎo)入商品數(shù)據(jù)

用pandas讀取爬取后的商品數(shù)據(jù)并預(yù)覽。

import pandas as pd 
df = pd.read_excel('棉襖.xlsx',names=['店鋪名稱','商品名','價(jià)格','產(chǎn)地','付款人數(shù)']) 
print(df.head()) 

2.刪除重復(fù)數(shù)據(jù)

df.drop_duplicates() 

刪除重復(fù)數(shù)據(jù)后，還有2008條數(shù)據(jù)。

3.數(shù)據(jù)類型轉(zhuǎn)換

我們發(fā)現(xiàn)付款人數(shù)是字符串類型，我們需要將其轉(zhuǎn)換成整數(shù)類型。

wb = openpyxl.load_workbook('棉襖.xlsx') 
int_list = [] 
sheet = wb['Sheet'] 
for i in range(2,2008): 
   str = sheet[f'E{i}'].value 
   if '萬+' in str: 
       int_list.append(int(int(str[:-2])*random.uniform(1,2)*10000)) 
   elif '+' in str: 
       int_list.append(int(int(str[:-1])+random.random()*1000)) 
   else: 
       int_list.append(int(str)) 
for i in range(2,2008): 
   sheet.cell(i,5).value = int_list[i-2] 
wb.save('3.xlsx') 

4.查看數(shù)據(jù)類型

查看字段類型和缺失值情況，符合分析需要，無需另做處理。

df.info() 

三、可視化分析

我們來對這2008家棉襖商品數(shù)據(jù)進(jìn)行可視化分析?？梢暬瘓D是由Python、Tableau和Excel共同繪制而來。

1.在售棉襖特點(diǎn)

通過對棉襖的商品名稱進(jìn)行詞云圖繪制，我們發(fā)現(xiàn)，今年棉襖的樣式以寬松、潮流、韓版、短款類居多。

制作代碼如下：

from imageio import imread 
import jieba 
from wordcloud import WordCloud, STOPWORDS 
 
with open("1.txt",'r',encoding='utf-8') as f: 
 job_title_1 = f.read() 
contents_cut_job_title = jieba.cut(job_title_1) 
contents_list_job_title = " ".join(contents_cut_job_title) 
wc = WordCloud(stopwords=STOPWORDS.add("一個(gè)"), collocations=False, 
            background_color="white", 
            font_path=r"K:\msyh.ttc", 
            width=400, height=300, random_state=42, 
            mask=imread('棉襖.jpg', pilmode="RGB") 
            ) 
wc.generate(contents_list_job_title) 
wc.to_file("推薦語.png") 

2.各省產(chǎn)量分布圖

通過對各商品的產(chǎn)地?cái)?shù)據(jù)進(jìn)行統(tǒng)計(jì)并繪制了全國地圖，我們發(fā)現(xiàn)浙江、廣東和福建這三個(gè)地方生產(chǎn)棉襖最多，分別是914家、261家和203家。

制作代碼如下：

import openpyxl 
from collections import Counter 
from pyecharts import Map 
wb = openpyxl.load_workbook('棉襖.xlsx') 
sheet = wb['Sheet'] 
a = [] 
for i in range(2,1960): 
 D = sheet[f'D{i}'] 
 a.append(D.value) 
province_distribution = dict(Counter(a)) 
provice = list(province_distribution.keys()) 
values = list(province_distribution.values()) 
map = Map("中國地圖",width=1200, height=600) 
map.add("", provice, values, visual_range=[0, 50], maptype='china', is_visualmap=True, 
visual_text_color='#000',is_label_show=True) 
map.render(path="地圖.html") 

我們進(jìn)一步對浙江省的產(chǎn)地?cái)?shù)據(jù)進(jìn)行分析發(fā)現(xiàn)，杭州的棉襖商家最多，占全省的40%。

3.棉襖價(jià)格區(qū)間分布

我們對棉襖價(jià)格以100為分點(diǎn)，進(jìn)行可視化后發(fā)現(xiàn)，價(jià)格在100-200的棉襖商品最多，有869家，其次是價(jià)格在201-300之間的，有501家?？磥砻抟\的價(jià)格還是相對便宜的~

4.棉襖月銷量top20商家

銷量最高的竟然不是旗艦店，是一個(gè)李廣森的自制時(shí)尚女裝店，志斌打開她們家的店鋪看了看，感覺還不錯(cuò)，可以給對象入手一套~

四、小結(jié)

1. 本文僅供學(xué)習(xí)研究使用，提供的評論僅供參考。如有不妥之處請及時(shí)告知作者。