python爬虫数据可视化_适用于Python入门者的爬虫和数据可视化案例
本篇文章適用于Python小白的教程篇,如果有哪里不足歡迎指出來(lái),希望對(duì)你幫助。
本篇文章用到的模塊:
requests,re,os,jieba,glob,json,lxml,pyecharts,heapq,collection
首先
本文我們的目的
抓取周杰倫的所有歌曲,
歌詞,
以及評(píng)論
直接在搜索框搜索周杰倫
適用于Python入門(mén)者的爬蟲(chóng)和數(shù)據(jù)可視化案例
第一步:
適用于Python入門(mén)者的爬蟲(chóng)和數(shù)據(jù)可視化案例
在谷歌瀏覽器的抓包工具(F12)里面查看交互信息發(fā)現(xiàn)如下:
適用于Python入門(mén)者的爬蟲(chóng)和數(shù)據(jù)可視化案例
如圖所示:是我們需要的信息,知道這些事情就變得簡(jiǎn)單了
我們不需要用復(fù)雜的工具比如(selenium)去加載整個(gè)頁(yè)面
事實(shí)上,如果還沒(méi)想到抓取歌曲的方法,我估計(jì)就得用它了
我們?cè)倏磆eader里面有什么
適用于Python入門(mén)者的爬蟲(chóng)和數(shù)據(jù)可視化案例
這里面的string就不用管了,因?yàn)樗呀?jīng)在我們的url里面了
只需要看request headers 這個(gè)就是我們給服務(wù)器發(fā)送的東西,
發(fā)送之后,服務(wù)器返回給我們的就是network里面的信息。
好,接下來(lái)我們偽造瀏覽器發(fā)送請(qǐng)求。
具體代碼如下:
適用于Python入門(mén)者的爬蟲(chóng)和數(shù)據(jù)可視化案例
這里面用到了xpath來(lái)找到對(duì)應(yīng)標(biāo)簽里面數(shù)據(jù),
代碼不重要,思想懂了就行(代碼單獨(dú)執(zhí)行可行)
執(zhí)行結(jié)果如下:
適用于Python入門(mén)者的爬蟲(chóng)和數(shù)據(jù)可視化案例
開(kāi)始抓取歌曲信息
適用于Python入門(mén)者的爬蟲(chóng)和數(shù)據(jù)可視化案例
同樣的道理我們通過(guò)偽造方式發(fā)送信息,獲取歌曲信息!!
直接上代碼
適用于Python入門(mén)者的爬蟲(chóng)和數(shù)據(jù)可視化案例
上面需要注意:xpath來(lái)獲取需要的信息,利用正則來(lái)獲取ID(其實(shí)有很多方法)
適用于Python入門(mén)者的爬蟲(chóng)和數(shù)據(jù)可視化案例
適用于Python入門(mén)者的爬蟲(chóng)和數(shù)據(jù)可視化案例
一樣的道理,我們分析network來(lái)獲取我們需要的信息歌詞,評(píng)論!!
直接上代碼
適用于Python入門(mén)者的爬蟲(chóng)和數(shù)據(jù)可視化案例
上面需要注意的是:利用json獲取需要的數(shù)據(jù)(至少比正則快點(diǎn))
適用于Python入門(mén)者的爬蟲(chóng)和數(shù)據(jù)可視化案例
數(shù)據(jù)分析,可視化
適用于Python入門(mén)者的爬蟲(chóng)和數(shù)據(jù)可視化案例
上面需要注意的是:我們合并數(shù)據(jù)的時(shí)候,可以選擇性的刪除一些無(wú)用數(shù)據(jù)
適用于Python入門(mén)者的爬蟲(chóng)和數(shù)據(jù)可視化案例
下面我們對(duì)周杰倫歌曲進(jìn)行情緒化分析
適用于Python入門(mén)者的爬蟲(chóng)和數(shù)據(jù)可視化案例
下面完成數(shù)據(jù)詞頻各種分析
適用于Python入門(mén)者的爬蟲(chóng)和數(shù)據(jù)可視化案例
我們來(lái)看下結(jié)果
適用于Python入門(mén)者的爬蟲(chóng)和數(shù)據(jù)可視化案例
適用于Python入門(mén)者的爬蟲(chóng)和數(shù)據(jù)可視化案例
適用于Python入門(mén)者的爬蟲(chóng)和數(shù)據(jù)可視化案例
適用于Python入門(mén)者的爬蟲(chóng)和數(shù)據(jù)可視化案例
適用于Python入門(mén)者的爬蟲(chóng)和數(shù)據(jù)可視化案例
適用于Python入門(mén)者的爬蟲(chóng)和數(shù)據(jù)可視化案例
適用于Python入門(mén)者的爬蟲(chóng)和數(shù)據(jù)可視化案例
適用于Python入門(mén)者的爬蟲(chóng)和數(shù)據(jù)可視化案例
適用于Python入門(mén)者的爬蟲(chóng)和數(shù)據(jù)可視化案例
適用于Python入門(mén)者的爬蟲(chóng)和數(shù)據(jù)可視化案例
適用于Python入門(mén)者的爬蟲(chóng)和數(shù)據(jù)可視化案例
適用于Python入門(mén)者的爬蟲(chóng)和數(shù)據(jù)可視化案例
怎么樣,學(xué)到了嗎?看完記得動(dòng)手操作哦!
總結(jié)
以上是生活随笔為你收集整理的python爬虫数据可视化_适用于Python入门者的爬虫和数据可视化案例的全部?jī)?nèi)容,希望文章能夠幫你解決所遇到的問(wèn)題。
- 上一篇: 朝朝盈最多能存多少?
- 下一篇: python多个函数_什么是在Pytho