簡單介紹

? ?前段時間幫別人寫了幾個爬蟲，其中有一個是爬取百度指數(shù)。絕大多數(shù)人應該都知道這個東西，我在這里再說明一下哈！

? ?百度指數(shù)是百度提供的可以查看人們每天搜索關(guān)鍵詞的次數(shù)的功能，具體長下面這個樣子：

? ?它可以顯示每一天有多少人搜索指定的關(guān)鍵詞，而且可以自己選擇PC端(用電腦搜索)、移動端，可以自己選擇不同的省份。而這次我就編寫了一個百度指數(shù)的爬蟲

? ?那么爬百度指數(shù)可以干什么呢？我們舉兩個簡單的例子：

(1) 首先是我選了Java、Python和C這三個常年占據(jù)排行榜TOP3的編程語言，來看看他們的百度搜索量長什么樣子：

? ?我們可以看到Java和C都有一定的波動，但是Python卻是在以指數(shù)的速度增長。對此我們不討論哪種編程語言最強之類的問題，這不是我們本文要討論的重點，放上這個圖只是為了把它作為一個說明百度指數(shù)作用的小例子

(2) 第二個例子呢是我挑了幾名比較有名的女明星(對不起，直男知道的女明星少的可憐哈哈哈)，來看看他們的百度指數(shù)如何。其實他們的百度指數(shù)也間接反映了他們的熱度：

? ?所以就很明顯看出來最開始火的是劉濤和楊冪，之后那幾位相對年輕一點的也逐漸有了起色。(所以誰能告訴我大冪冪2011年發(fā)生了什么哈哈哈哈)

01

需求

這次的需求呢大概分為以下幾點：

1、用戶給出要爬取的關(guān)鍵詞，以Excel的形式提供

2、爬取每一天、每一個省份、每一個關(guān)鍵詞的PC端、移動端、以及PC+移動端的百度指數(shù)

3、爬取結(jié)果以Excel的形式保存

4、提供界面，不可以只在命令行運行爬蟲

02

演示示例

? 下面我簡單介紹一下我寫的爬蟲的樣子：

? 首先打開程序，會看到下面的界面：

點擊"選擇文件"，然后勾選要爬取的關(guān)鍵詞組成的Excel，文件目錄框會自動顯示勾選的文件的路徑。下面的滾動窗口會顯示獲得的要爬取的關(guān)鍵詞列表：

? ?點擊"開始爬蟲"，程序就開始工作了。

? 當然，如果你想搜索百度指數(shù)，那么你必須先登錄，而爬蟲怎么讓自己看起來是登錄的狀態(tài)呢？就是用Cookie。所以這個爬蟲也提供了"更新Cookie"的功能

? ?仔細看上面的滾動窗口你就可以發(fā)現(xiàn)，爬蟲會先判斷關(guān)鍵詞是否被百度指數(shù)收錄，然后再將收錄的關(guān)鍵詞重新提取出來，開始爬取它們的搜索數(shù)量。當關(guān)鍵詞數(shù)量過多的時候，爬蟲會每10個關(guān)鍵詞保存成一個Excel

? ?可以看到每一個關(guān)鍵詞分3列，第一列是PC端，第二列是移動端，最后一列是PC+移動端。

? ?然后第一個sheet存放的是2011年以前的全國綜合數(shù)據(jù)，之后每一個sheet會保存各個省市從2011年開始到爬蟲的前一天為止的每一天的搜索數(shù)量。

? ?通過上面簡單的運行結(jié)果就可以很簡單看到一件有趣的事：可能2006年Angelababy、迪麗熱巴他們還沒出道，所以沒有人搜索他們。而那個時候劉濤還比較火，楊冪剛剛初出茅廬。然后后期我們可以用其他的方式對爬蟲結(jié)果進行分析，畫出來各種圖表。

? ?所以看到了吧，這個爬蟲，真的很好玩！

03

寫在最后

這個爬蟲爬取的結(jié)果的分析價值比較大，而且涉及到的Python的知識也比較全面，不止包括爬蟲，像Excel操作、圖形界面、時間日期的操作都有涉及。所以我就想把這個爬蟲拿出來，分幾期介紹一下。希望大家喜歡！

其實，爬蟲還是挺有趣的

而且，不只是對計算機專業(yè)的人很有用

其他專業(yè)，像金融、資源環(huán)境之類

都可以通過爬蟲獲得很多數(shù)據(jù)

從而去分析數(shù)據(jù)中的規(guī)律，去做研究

拿出這個爬蟲和大家分享

希望對有需要的小伙伴有幫助

【END】

長

按

關(guān)

注

程序員的小迷弟

ID : 程序員的小迷弟

留言區(qū)

總結(jié)

以上是生活随笔為你收集整理的爬取百度知道分类_百度指数爬虫|介绍篇的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。