全文簡介

本文是用Python爬取微博移動端的數(shù)據(jù)。可以看一下Robots協(xié)議。另外盡量不要爬取太快。如果你毫無節(jié)制的去爬取別人數(shù)據(jù)，別人網(wǎng)站當然會反爬越來越嚴厲。所以，不要難為別人，到最后其實是在難為你自己。至于為什么不爬PC端，原因是移動端較簡單，很適合爬蟲新手入門。有時間再寫PC端吧！

環(huán)境介紹

Python3

Windows-10-64位

微博移動端

網(wǎng)頁分析

以獲取評論信息為例（你可以以自己的喜好獲得其他數(shù)據(jù)）。如下圖：

在這里就會涉及到一個動態(tài)加載的概念，也就是我們只有向下滑動鼠標滾輪才會加載出更多的評論數(shù)據(jù)。這也是網(wǎng)頁經(jīng)常使用的方式。接下來就應(yīng)該找到評論信息的真實網(wǎng)址，找到真實網(wǎng)址的方法就是打開瀏覽器的開發(fā)者工具，火狐/谷歌是F12鍵。打開如下：

打開以后點擊網(wǎng)絡(luò)，網(wǎng)絡(luò)用來記錄瀏覽器和服務(wù)器交換的信息。接下來將鼠標滾輪緩慢向下滾動，在這個過程中就會彈出類似于上圖的信息，也就是評論信息加載出來了。找到評論信息，應(yīng)該會在第一條。如下圖：

真實網(wǎng)址：https://m.weibo.cn/api/comments/show?id=4160547165300149&page=3

將網(wǎng)址在火狐里面打開如下圖：

上面的網(wǎng)址其實pages=3就代表第三頁，所以只需模擬網(wǎng)址即可，pages=4,5,6。。。。

另外由于是Json文件，所以提取數(shù)據(jù)非常方便，只需用切片操作即可。

Python代碼

代碼寫的丑，湊合著看吧。

python有趣嗎？好玩嗎？想學嗎？這里小編創(chuàng)建了一個python學習交流群：308754087 里面也會不定時分享關(guān)于Python的免費學習資料，歡迎想學習的小伙伴的加入，python有你更精彩！！嘿嘿！

總結(jié)

以上是生活随笔為你收集整理的python爬取b站评论_python高效之爬了B站再爬微博的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。