結(jié)構(gòu)化爬取網(wǎng)易云數(shù)據(jù)并且可視化展示

• • 項(xiàng)目說明
  • 代碼框架
  • 第三方庫(kù)說明
  • 內(nèi)容爬取說明
  • • 頁面詳情
  • 完整代碼
  • 爬取結(jié)果
  • 內(nèi)容可視化

項(xiàng)目說明

網(wǎng)易云音樂歌單數(shù)據(jù)獲取，獲取某一歌曲風(fēng)格的所有歌單，進(jìn)入每個(gè)歌單獲取歌單名稱、創(chuàng)建者、播放量、頁面鏈接、收藏?cái)?shù)、轉(zhuǎn)發(fā)數(shù)、評(píng)論數(shù)、標(biāo)簽、介紹、收錄歌曲數(shù)、部分收錄歌名，并統(tǒng)計(jì)播放量前十的歌單，將播放量前十的歌單以及對(duì)應(yīng)的所有信息進(jìn)行另外存儲(chǔ)，對(duì)其進(jìn)行可視化展示。
在做這個(gè)爬蟲的時(shí)候，對(duì)于如何翻頁問題和身邊的人進(jìn)行了探討，有人說用selenium模擬點(diǎn)擊，但是通過觀察網(wǎng)頁，我發(fā)現(xiàn)即使是不用模擬點(diǎn)擊翻頁也能歷遍爬完歌單的信息，接下來我就帶著大家一起如何爬取數(shù)據(jù)。

代碼框架

第三方庫(kù)說明

在項(xiàng)目中用到的一些第三方庫(kù)的介紹：

# bs4 ''' BS4全稱是Beautiful Soup，它提供一些簡(jiǎn)單的、 python式的函數(shù)用來處理導(dǎo)航、搜索、修改分析樹等功能。 它是一個(gè)工具箱，通過解析文檔為Beautiful Soup自動(dòng)將輸入文檔轉(zhuǎn)換為 Unicode編碼，輸出文檔轉(zhuǎn)換為utf-8編碼。 '''# requests ''' 用requests庫(kù)來訪問網(wǎng)頁，獲取網(wǎng)頁內(nèi)容，支持HTTP特性 '''# time ''' Time庫(kù)是與時(shí)間處理有關(guān)的模塊， 在這個(gè)項(xiàng)目中是用來強(qiáng)制網(wǎng)頁訪問間隔時(shí)間的。 '''# random ''' Random庫(kù)主要功能是提供隨機(jī)數(shù)，在項(xiàng)目中和time庫(kù)配合使用， 生產(chǎn)隨機(jī)強(qiáng)制訪問的間隔時(shí)間的 '''# xlwt ''' Python訪問Excel時(shí)的庫(kù)，其功能是寫入xls文件， 在本項(xiàng)目中是用于寫入爬取的數(shù)據(jù) '''# pandas ''' Pandas庫(kù)是基于NumPy的一種工具，用于讀取文本文件的， 可以快速便捷的處理數(shù)據(jù)的庫(kù)。 '''# pyecharts.charts ''' pyecharts.charts是用于數(shù)據(jù)可視化的庫(kù)，其中包含很多種畫圖工具， 在本項(xiàng)目中應(yīng)用到的是畫柱狀圖是Bar，圓餅圖是Pie '''# matplotlib.pyplot ''' matplotlib也是可視化的庫(kù)，由各種可視化的類構(gòu)成， matplotlib.pyplot是繪制各類可視化圖形的命令子庫(kù) '''

內(nèi)容爬取說明

爬取鏈接：https://music.163.com/discover/playlist/?cat=

頁面詳情

觀察網(wǎng)頁內(nèi)容是我們進(jìn)行爬蟲項(xiàng)目的首要步驟，這里我選擇了華語類型的歌單來觀察一下；


華語風(fēng)格的歌單總共有37頁，每頁有35個(gè)歌單，那總共大約有1295個(gè)歌單。一個(gè)風(fēng)格的歌單是代表不了全部的，我們?cè)谧雠老x的時(shí)候要避免以偏概全，多看一個(gè)頁面，找出規(guī)律，這樣才能寫出結(jié)構(gòu)化的爬蟲，當(dāng)網(wǎng)頁的內(nèi)容發(fā)生變化，但總體框架沒有變化時(shí)，我們的代碼就能繼續(xù)運(yùn)行，這也是考驗(yàn)代碼健壯性的一方面（跑偏了）。
在選擇其他歌單類別后，可以看到每個(gè)類別的歌單基本都是用37或38個(gè)頁面來存放歌單，每個(gè)頁面有35個(gè)歌單，那如何歷遍每一個(gè)頁面呢？
我當(dāng)時(shí)面對(duì)這個(gè)問題的時(shí)候也是想了很久，又不想用selenium模擬點(diǎn)擊，那我們就要多觀察源代碼，看看有沒有蛛絲馬跡。

老規(guī)矩 F12 進(jìn)入開發(fā)者選項(xiàng)：

在源代碼中，我們可以看到每個(gè)頁面對(duì)應(yīng)的鏈接是有規(guī)律的，

例如：“https://music.163.com/#/discover/playlist/?order=hot&cat=%E5%8D%8E%E8%AF%AD&limit=35&offset=35”

通過網(wǎng)頁鏈接觀察，我發(fā)現(xiàn)對(duì)于網(wǎng)頁翻頁的重點(diǎn)在于“&limit=35&offset=35”的數(shù)字35，每個(gè)頁面是以鏈接后面的數(shù)字決定當(dāng)前是在第幾個(gè)頁面，是以0為首頁面，35為倍數(shù)的規(guī)律，第一個(gè)頁面為 “&limit=0&offset=0”， 第二個(gè)頁面為 “&limit=35&offset=35”，第三個(gè)頁面為 “&limit=35&offset=70”，以此類推，只要知道當(dāng)前類別的歌單有多少個(gè)頁面，就可以通過for循環(huán)來循環(huán)翻頁，遍歷每一個(gè)頁面。

既然我們已經(jīng)知道了翻頁的規(guī)律了，那現(xiàn)在的重點(diǎn)就是獲取歌單的頁數(shù)。我們可以在箭頭指引的地方，用開發(fā)者選項(xiàng)自帶的復(fù)制方式，直接右鍵選擇copy，copy selector直接復(fù)制CSS選擇器語句；

標(biāo)簽： #m-pl-pager > div > a:nth-child(11)#獲取歌單網(wǎng)頁的頁數(shù) result = bs.select('#m-pl-pager > div > a:nth-child(11)')

那接下來就是對(duì)單個(gè)歌單進(jìn)行內(nèi)容爬取了，由于我們爬取的內(nèi)容較多，所以這里就不一一列舉了，大家可以自行對(duì)比參照，不懂可以私信。

獲取歌單名稱

進(jìn)入每一個(gè)頁面，獲取該頁面的每一個(gè)歌單，進(jìn)入單個(gè)歌單中，歌單名稱，創(chuàng)建者，播放量等數(shù)據(jù)都存放在網(wǎng)頁的同一個(gè)div內(nèi)，

id='content-operation'

通過selector選擇器選擇各個(gè)內(nèi)容的，由于是在網(wǎng)易云的網(wǎng)頁版，因此在歌單內(nèi)的歌曲并沒有顯示所有歌曲，只顯示了10條歌曲，因此在爬取的時(shí)候每個(gè)歌單只獲取了10條歌曲。如果還想要爬取每天歌曲更多詳細(xì)內(nèi)容，可以進(jìn)入歌曲的url鏈接，獲取更多的內(nèi)容。

完整代碼

這里我會(huì)定義一個(gè)內(nèi)容類Content 和 網(wǎng)頁信息類Website，進(jìn)行結(jié)構(gòu)化爬蟲，如果不是很理解的話，可以看看我之前發(fā)過的內(nèi)容，

爬取三聯(lián)生活周刊新聞

Content類和 Website類

class Content:def __init__(self, url, name, creator, play, collect, transmit, comment, tag,introduce, sing_num, sing_name):self.url = urlself.name = nameself.creator = creatorself.play = playself.collect = collectself.transmit = transmitself.comment = commentself.tag = tagself.introduce = introduceself.sing_num = sing_numself.sing_name = sing_namedef print(self):print("URL: {}".format(self.url))print("NAME:{}".format(self.name))print("CRAETOR:{}".format(self.creator))print("PLAY:{}".format(self.play))print("COLLECT:{}".format(self.collect))print("TRANSMIT:{}".format(self.transmit))print("COMMENT:{}".format(self.comment))print("TAG:{}".format(self.tag))print("INTRODUCE:{}".format(self.introduce))print("SING_NUM:{}".format(self.sing_num))print("SING_NAME:{}".format(self.sing_name))class Website:def __init__(self, searchUrl, resultUrl, pUrl, absoluterUrl, nameT, creatorT, playT, collectT, transmitT, commentT, tagT, introduceT, sing_numT, sing_nameT):self.resultUrl = resultUrlself.searchUrl = searchUrlself.absoluterUrl = absoluterUrlself.pUrl = pUrlself.nameT = nameTself.creatorT = creatorTself.playT = playTself.collectT = collectTself.transmitT = transmitTself.commentT = commentTself.tagT = tagTself.introduceT = introduceTself.sing_numT = sing_numTself.sing_nameT = sing_nameT

爬取類 Crawler

from bs4 import BeautifulSoup import re import requests import time import random import xlwt #進(jìn)行excel操作class Crawler:#爬取網(wǎng)頁函數(shù)def getWeb(self, url): try: #異常處理#請(qǐng)求頭headers_ = {'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_9_5) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.95 Safari/537.36','Accept':'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8'}req = requests.get(url, headers = headers_)req.encoding = "utf-8" #網(wǎng)頁格式化，避免出現(xiàn)亂碼except requests.exceptions.RequestException:return Nonereturn BeautifulSoup(req.text, "html.parser")#爬取所需內(nèi)容的函數(shù) def getContent(self, pageObj, selector):childObj = pageObj.select(selector)# print("\n".join(line.text for line in childObj))return "\n".join(line.text for line in childObj)#搜索函數(shù)，主函數(shù) def search(self, topic, site):# 爬取某種風(fēng)格的歌單有多少頁newurl = site.searchUrl + topicnewurl = requests.utils.quote(newurl, safe=':/?=&') #對(duì)url鏈接上存在的中文字符進(jìn)行處理bs = self.getWeb(newurl)result = bs.select('#m-pl-pager > div > a:nth-child(11)') num = int("\n".join(link.text for link in result)) #某種風(fēng)格歌單的頁數(shù)# 翻頁，選取一種歌曲風(fēng)格，有多個(gè)頁面加載歌單，分別讀取for i in range(0, num+1):j = 35*iurl = site.searchUrl + topic + '&limit=35&offset=' + str(j) #構(gòu)造每個(gè)頁面的url鏈接url = requests.utils.quote(url, safe=':/?=&')bs = self.getWeb(url)searchResults = bs.select(site.resultUrl)for link in searchResults:url = link.attrs["href"]# 判斷是否為絕對(duì)鏈接if(site.absoluterUrl):bs = self.getWeb(url)else:bs = self.getWeb(site.pUrl + url)# print(site.pUrl + url)if(bs is None):print("something was wrong with that page or URL. Skipping")returnelse:#爬取歌曲名稱 main = bs.find('ul',{'class':'f-hide'})sing_name = "\n".join(music.text for music in main.find_all('a'))# 爬取相關(guān)內(nèi)容data = [] #申請(qǐng)一個(gè)數(shù)組，以歌單為單位，存儲(chǔ)每個(gè)歌單里面所需要的內(nèi)容url = site.pUrl + urldata.append(url)# print(data) # 加入一個(gè)參數(shù)，判斷目前讀取的數(shù)據(jù)是字符串還是整數(shù)name = self.getContent(bs, site.nameT)data.append(name)creator = self.getContent(bs, site.creatorT)data.append(creator)play = self.getContent(bs, site.playT)data.append(play)collect = self.getContent(bs, site.collectT)data.append(collect)transmit = self.getContent(bs, site.transmitT)data.append(transmit)comment = self.getContent(bs, site.commentT)data.append(comment)tag = self.getContent(bs, site.tagT)data.append(tag)introduce = self.getContent(bs, site.introduceT)data.append(introduce)sing_num = self.getContent(bs, site.sing_numT)data.append(sing_num) # sing_name = self.getContent(bs, site.sing_nameT)data.append(sing_name)datalist.append(data) #以歌單為單位存入數(shù)組中# print(datalist)content = Content(url, name, creator, play, collect, transmit, comment, tag, introduce, sing_num, sing_name)# content.print()# return datalist#數(shù)據(jù)寫入文檔 def saveData(self, datalist, savepath):print("保存到Excel文件中！") # xlwt.Workbook用來創(chuàng)建一個(gè)工作表，style_compression=0表示是否被壓縮music = xlwt.Workbook(encoding = 'utf-8', style_compression=0) # 添加sheet表格，并允許重復(fù)修改sheet = music.add_sheet('網(wǎng)易云音樂數(shù)據(jù)爬取', cell_overwrite_ok=True) # 定義列名col = ("url", "歌單名稱", "創(chuàng)建者", "播放量", "收藏量", "轉(zhuǎn)發(fā)量", "評(píng)論量", "標(biāo)簽", "介紹", "歌曲數(shù)量", "歌曲名稱" )for i in range(0,11):sheet.write(0, i, col[i]) #將列名寫進(jìn)表格for i in range(0, len(datalist)-1): # print("第{}行正在寫入".format(i+1))data = datalist[i]for j in range(0, 11):sheet.write(i+1, j, data[j])music.save('E:/新建文件夾/Python爬蟲/網(wǎng)易云音樂.xls')print("數(shù)據(jù)保存成功！")crawler = Crawler() # searchUrl, resultUrl, pUrl, absoluterUrl, nameT, creatorT, playT, collectT, transmitT, # commentT, tagT, introduceT, sing_numT, sing_nameT #對(duì)應(yīng)website類的參數(shù)，將website定義的參數(shù)進(jìn)行實(shí)例化 siteData = [['https://music.163.com/discover/playlist/?cat=', 'a.msk','https://music.163.com', False, 'div.tit h2.f-ff2.f-brk', 'span.name a','strong#play-count', 'a.u-btni.u-btni-fav i', 'a.u-btni.u-btni-share i','#cnt_comment_count', 'div.tags.f-cb a i', 'p#album-desc-more','div.u-title.u-title-1.f-cb span.sub.s-fc3', 'span.txt a b']] sites = [] datalist = [] for row in siteData:sites.append(Website(row[0], row[1], row[2], row[3], row[4], row[5], row[6], row[7], row[8], row[9], row[10], row[11], row[12], row[13])) topics = "華語" #選擇自己想要的歌曲風(fēng)格 time.sleep(random.random()*3) for targetSite in sites:crawler.search(topics, targetSite) savepath = '網(wǎng)易云音樂.xls' crawler.saveData(datalist, savepath)

爬取結(jié)果

爬取的結(jié)果

由于數(shù)據(jù)太多了，這里就只截取了一部分，有興趣可以自己運(yùn)行一下；

內(nèi)容可視化

可視化代碼

import pandas as pd from pyecharts.charts import Pie #畫餅圖 from pyecharts.charts import Bar #畫柱形圖 from pyecharts import options as opts import matplotlib.pyplot as plt# 讀入數(shù)據(jù)，需要更改 #可視化 data = pd.read_excel('網(wǎng)易云音樂.xls') #根據(jù)播放量排序，只取前十個(gè) df = data.sort_values('播放量',ascending=False).head(10) v = df['歌單名稱'].values.tolist() #tolist()將數(shù)據(jù)轉(zhuǎn)換為列表形式 d = df['播放量'].values.tolist() #設(shè)置顏色 color_series = ['#2C6BA0','#2B55A1','#2D3D8E','#44388E','#6A368B''#7D3990','#A63F98','#C31C88','#D52178','#D5225B'] # 實(shí)例化Pie類 pie1 = Pie(init_opts=opts.InitOpts(width='1350px', height='750px')) # 設(shè)置顏色 pie1.set_colors(color_series) # 添加數(shù)據(jù)，設(shè)置餅圖的半徑，是否展示成南丁格爾圖 pie1.add("", [list(z) for z in zip(v, d)],radius=["30%", "135%"],center=["50%", "65%"],rosetype="area") # 設(shè)置全局配置項(xiàng) # TitleOpts標(biāo)題配置項(xiàng) # LegendOpts圖例配置項(xiàng) is_show是否顯示圖例組件 # ToolboxOpts()工具箱配置項(xiàng) 默認(rèn)項(xiàng)為顯示工具欄組件pie1.set_global_opts(title_opts=opts.TitleOpts(title='播放量top10歌單'),legend_opts=opts.LegendOpts(is_show=False),toolbox_opts=opts.ToolboxOpts()) # 設(shè)置系列配置項(xiàng) # LabelOpts標(biāo)簽配置項(xiàng) is_show是否顯示標(biāo)簽； font_size字體大小； # position="inside"標(biāo)簽的位置，文字顯示在圖標(biāo)里面； font_style文字風(fēng)格 # font_family文字的字體系列 pie1.set_series_opts(label_opts=opts.LabelOpts(is_show=True, position="inside", font_size=12,formatter="{b}:{c}播放量", font_style="italic",font_weight="bold", font_family="Microsoft YaHei"),) # 生成html文檔 pie1.render("E:/玫瑰圖.html") print("玫瑰圖保存成功！")print("-----"*15) # print(df['創(chuàng)建者'].values.tolist()) bar = (Bar().add_xaxis([i for i in df['創(chuàng)建者'].values.tolist()]).add_yaxis('播放量排名前十對(duì)應(yīng)的評(píng)論量', df['評(píng)論量'].values.tolist()) ) bar.render("E:/條形圖.html") print("柱形圖保存成功！")

詞云代碼

import wordcloud import pandas as pd import numpy as npdata = pd.read_excel('網(wǎng)易云音樂.xls') #根據(jù)播放量排序，只取前十個(gè) data = data.sort_values('播放量',ascending=False).head(10) print(data["歌單名稱"]) #font_path指明用什么樣的字體風(fēng)格，這里用的是電腦上都有的微軟雅黑 w1 = wordcloud.WordCloud(width=1000,height=700,background_color='white',font_path='msyh.ttc') txt = "\n".join(i for i in data['歌單名稱']) w1.generate(txt) w1.to_file('E:\\詞云.png')`

玫瑰圖

柱形圖

詞云

結(jié)束，有興趣的朋友可以來交流一下，這期的內(nèi)容就到這了，大家晚安，拜拜！

總結(jié)

以上是生活随笔為你收集整理的爬取网易云数据并且可视化展示的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。