網頁抓取網易云音樂及評論數據分析

游賢

成都理工大學信息科學與技術學院

【摘

要】

摘要：為了分析網易云音樂中哪些歌曲是熱門歌曲，哪些歌曲的評論

最多，從而了解到人們對于不同音樂類型的喜愛程度，采用成熟的

scrapy

爬蟲

框架，從歌手信息開始，抓取每個歌手的所有演唱曲目和對應評論信息，最后

對數據進行清洗處理，得出結論。

【期刊名稱】

數碼世界

【年

(

卷

),

期】

2018(000)009

【總頁數】

1

【關鍵詞】

網頁采集

對稱加密

1.

思路分析

抓取全站信息一般選擇有規律的網頁采用廣度優先方法，考慮到如果從歌單頁

面開始的話，會有很多歌曲重復，因為相同的歌曲可以劃分到不同的歌單。因

此最終決定從歌手頁面開始，作為種子頁面，這樣歌曲的重復量會小很多(如

果有多個歌手合唱，那么這首歌會出現在每個歌手的歌曲頁面當中，他們的訪

問地址是不一樣的)

。

方法一：

從

http

：

//music.163.com/discover/artist

頁面出發，可以找到所

有的音樂人，

如

圖

所

示

，

每

個

歌

手

分

類

對

應

的

url

為

http

：

//music.163.com/discover/artist/cat

？

id=xxx

它

的

可

取

值

有

1001

，

1002

，

1003

，

2001

，

2002

，

2003

，

6001

，

6002

，

6003

，

7001

，

7002

，

7003

，

4001

，

4002

，

4003

。然后我沒隨便進入其中其一個頁面

總結

以上是生活随笔為你收集整理的python3爬取网易云歌单数据清洗_网页抓取网易云音乐及评论数据分析的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。