本篇文章適用于Python小白的教程篇，如果有哪里不足歡迎指出來(lái)，希望對(duì)你幫助。

本篇文章用到的模塊：

requests,re,os,jieba,glob,json,lxml,pyecharts,heapq,collection

首先

本文我們的目的

抓取周杰倫的所有歌曲，

歌詞，

以及評(píng)論

直接在搜索框搜索周杰倫

適用于Python入門(mén)者的爬蟲(chóng)和數(shù)據(jù)可視化案例

第一步：

適用于Python入門(mén)者的爬蟲(chóng)和數(shù)據(jù)可視化案例

在谷歌瀏覽器的抓包工具（F12)里面查看交互信息發(fā)現(xiàn)如下：

適用于Python入門(mén)者的爬蟲(chóng)和數(shù)據(jù)可視化案例

如圖所示：是我們需要的信息，知道這些事情就變得簡(jiǎn)單了

我們不需要用復(fù)雜的工具比如（selenium）去加載整個(gè)頁(yè)面

事實(shí)上，如果還沒(méi)想到抓取歌曲的方法，我估計(jì)就得用它了

我們?cè)倏磆eader里面有什么

適用于Python入門(mén)者的爬蟲(chóng)和數(shù)據(jù)可視化案例

這里面的string就不用管了，因?yàn)樗呀?jīng)在我們的url里面了

只需要看request headers 這個(gè)就是我們給服務(wù)器發(fā)送的東西，

發(fā)送之后，服務(wù)器返回給我們的就是network里面的信息。

好，接下來(lái)我們偽造瀏覽器發(fā)送請(qǐng)求。

具體代碼如下：

適用于Python入門(mén)者的爬蟲(chóng)和數(shù)據(jù)可視化案例

這里面用到了xpath來(lái)找到對(duì)應(yīng)標(biāo)簽里面數(shù)據(jù)，

代碼不重要，思想懂了就行（代碼單獨(dú)執(zhí)行可行）

執(zhí)行結(jié)果如下：

適用于Python入門(mén)者的爬蟲(chóng)和數(shù)據(jù)可視化案例

開(kāi)始抓取歌曲信息

適用于Python入門(mén)者的爬蟲(chóng)和數(shù)據(jù)可視化案例

同樣的道理我們通過(guò)偽造方式發(fā)送信息，獲取歌曲信息！！

直接上代碼

適用于Python入門(mén)者的爬蟲(chóng)和數(shù)據(jù)可視化案例

上面需要注意：xpath來(lái)獲取需要的信息，利用正則來(lái)獲取ID（其實(shí)有很多方法）

適用于Python入門(mén)者的爬蟲(chóng)和數(shù)據(jù)可視化案例

適用于Python入門(mén)者的爬蟲(chóng)和數(shù)據(jù)可視化案例

一樣的道理，我們分析network來(lái)獲取我們需要的信息歌詞，評(píng)論！！

直接上代碼

適用于Python入門(mén)者的爬蟲(chóng)和數(shù)據(jù)可視化案例

上面需要注意的是：利用json獲取需要的數(shù)據(jù)(至少比正則快點(diǎn))

適用于Python入門(mén)者的爬蟲(chóng)和數(shù)據(jù)可視化案例

數(shù)據(jù)分析，可視化

適用于Python入門(mén)者的爬蟲(chóng)和數(shù)據(jù)可視化案例

上面需要注意的是：我們合并數(shù)據(jù)的時(shí)候，可以選擇性的刪除一些無(wú)用數(shù)據(jù)

適用于Python入門(mén)者的爬蟲(chóng)和數(shù)據(jù)可視化案例

下面我們對(duì)周杰倫歌曲進(jìn)行情緒化分析

適用于Python入門(mén)者的爬蟲(chóng)和數(shù)據(jù)可視化案例

下面完成數(shù)據(jù)詞頻各種分析

適用于Python入門(mén)者的爬蟲(chóng)和數(shù)據(jù)可視化案例

我們來(lái)看下結(jié)果

適用于Python入門(mén)者的爬蟲(chóng)和數(shù)據(jù)可視化案例

適用于Python入門(mén)者的爬蟲(chóng)和數(shù)據(jù)可視化案例

適用于Python入門(mén)者的爬蟲(chóng)和數(shù)據(jù)可視化案例

適用于Python入門(mén)者的爬蟲(chóng)和數(shù)據(jù)可視化案例

適用于Python入門(mén)者的爬蟲(chóng)和數(shù)據(jù)可視化案例

適用于Python入門(mén)者的爬蟲(chóng)和數(shù)據(jù)可視化案例

適用于Python入門(mén)者的爬蟲(chóng)和數(shù)據(jù)可視化案例

適用于Python入門(mén)者的爬蟲(chóng)和數(shù)據(jù)可視化案例

適用于Python入門(mén)者的爬蟲(chóng)和數(shù)據(jù)可視化案例

適用于Python入門(mén)者的爬蟲(chóng)和數(shù)據(jù)可視化案例

適用于Python入門(mén)者的爬蟲(chóng)和數(shù)據(jù)可視化案例

適用于Python入門(mén)者的爬蟲(chóng)和數(shù)據(jù)可視化案例

怎么樣，學(xué)到了嗎？看完記得動(dòng)手操作哦！

總結(jié)

以上是生活随笔為你收集整理的python爬虫数据可视化_适用于Python入门者的爬虫和数据可视化案例的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。