上某東的時候，突然給我彈了一個充氣娃娃的廣告，于是就點進去就看了一下評論，全是神評論啊。所以我就想著把大神們的評論們扒拉下來仔細瞅瞅，于是這篇文章就誕生了 ，純屬學習啊，不要想入非非啊，還有，不喜勿噴！

按照軟件設計流程來：

需求分析-功能描述-技術文檔-詳細設計-編碼-測試-交付-驗收-后期維護

1.需求分析：

首先我先找了某東最火娃娃，里面評論近乎7萬條，這里面神評論一定不少。所以決定從這個里面扒拉我們想要獲取的數據

2.功能描述充氣娃娃這種東西，一般大家都在網上見得多，所以玩起來到底感覺怎么樣。大家有可能知道，但是我不知道 。所以我只能分析一下大伙的使用感受。這次我將獲取到的數據統計以詞云的方式呈現。這樣呈現的數據比傳統的統計圖更直觀且更有藝術感。

3.技術文檔

1.使用requests獲取某東上的所有評論；

2.使用jieba將獲取到的評論切割成單個詞語，為詞云做鋪墊；

3.使用wordcloud生成詞云圖用以展示數據。

4.詳細設計

如上圖所示，首先我們F12或者右鍵打開開發者模式，然后找到Network下面的All，然后隨便復制一句評論在下面ctrl+F復制搜索。找到這句評論所在的位置。

找到評論的我所在位置之后，點擊左邊的Headers，如圖上所示的Request URL就是我們所要爬取所有評論的link。

5.編碼

找到評論所在的link之后，我們就可以上手coding了。評論有近七萬條，每頁只有十條評論，所以就是說有近七千多頁。但是不要慌，我們先爬取一頁數據看看，只要這一頁成功了，剩下的頁數問題都不大。

首先使用requests獲取數據(requests的不會用的童鞋可自行百度哈)

但是，似乎，but沒有拿到數據，什么鬼!

分析之后，確定是少了什么東西，首先我們來看看瀏覽器。

發現了嗎？

就是少了這個Refer和UserAgent，回到代碼繼續完善。。。

可以看到接入Refer和UserAgent之后已經拿到了我們想要爬取的數據。

但是這個json格式的數據看起來怪怪的，怪在哪里呢？前面多了這些fetchJSON_comment98vv7990(,后面多了);

所以我們首先要去掉這些對我們無益的東西來拿到正確的json數據

通過改良，拿到了我們想要的數據。但是我們想要的只是評論啊，這里怎么還有好多評論之外的東西呢？我們返回瀏覽器繼續查看

通過對比發現我們要的評論是在comments下面的content里面，按照這個邏輯，我們首先要進入到comments里面，然后在comments里面遍歷出所有的content。

然后將數據保存我們命名的jd_comments.txt文件中。(本來獲取到的數據是要放在數據庫里面的，咱們在這里將它放入txt文檔是為了后面詞云的使用)

對比一下，看寫入到file里面的內容與我們想要爬取的內容是否一致

接下來似乎單頁內容的爬取已經大功告成了，現在我們舉一反三來試試多頁評論的爬取。

首先我們按照上面的步驟再次復制一段評論

然后通過同樣的方法找出它的link對它們進行對比

對比發現除了它們的page不一樣之外其余都是一樣的。

也就是說它的分頁是按照pagesize = 10 的每頁十條記錄和page = 0，1，2，3，。。。進行分頁顯示的。

每頁十條記錄顯示是不變的，變的是不斷遞增的page，所以我們要把這個page設置為一個變量，讓他循環增加。

這里說明一下

對get_spider_comments方法加入變量page，當我們指定page的值時，它就可以獲取固定頁面的評論。

在batch_spider_comments方法中sleep方法，用來模擬用戶瀏覽，防止因為爬取太頻繁導致ip被封。

首先我們爬取了100頁的數據，可以看到爬取了984行。證明我們的多頁爬取也是沒有問題的。

為了更加直觀方便的看出評論的內容，我們決定使用詞云來進行展示。

首先需要我們對jieba和wordcloud進行了解，使用pip install jieba對jieba庫進行安裝。然后用jieba對獲取到的評論進行分詞。

然后使用pip install wordcloud再安裝wordcloud。最后用generate方法生成詞云圖。

說明一下，默認生成的詞云圖是正方形的，但是我在這里引入了imageio的 imread方法 以獲取原始圖片ball.jpg的參數

然后使用mask=mask 傳遞形狀參數，所以最后我們獲取到的就是一張圓形的詞云圖

所以之后大家可以按照自己的意愿來設置圖片的形狀。

希望大家可以參考學習，共同進步！！

總結

以上是生活随笔為你收集整理的python娃娃_充气娃娃？Python告诉你到底有多爽......的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。