全世界只有3.14 %?的人關(guān)注了

數(shù)據(jù)與算法之美

現(xiàn)在呢，從網(wǎng)上爬蟲數(shù)據(jù)來做分析越來越火，如果不會(huì)這個(gè)skillset做數(shù)據(jù)處理簡直沒辦法裝逼。作為一個(gè)興趣廣泛的高能物理phd，自然不能被時(shí)代落下。

首先聲明，我并沒有學(xué)過HTML的語言，也沒學(xué)過VBA，所以自己解釋的邏輯應(yīng)該是非常容易理解的，保證沒有任何編程基礎(chǔ)的都能學(xué)會(huì)。當(dāng)然前提是你有Excel，沒有的話出門右轉(zhuǎn)有盜版。

文中的方法其實(shí)完全不限于抓取統(tǒng)計(jì)局的數(shù)據(jù)，任何網(wǎng)站都可以想抓就抓，簡直如若出入無人之境。(文末有彩蛋喲！)推薦閱讀《數(shù)據(jù)挖掘與分析》

好了，Let's rock！

起初呢，是因?yàn)橹皹I(yè)余想試著分析分析中國的宏觀數(shù)據(jù)，上了一下統(tǒng)計(jì)局的網(wǎng)站，結(jié)果發(fā)現(xiàn)簡直是災(zāi)難...

先來看看美聯(lián)儲(chǔ)的網(wǎng)站：(近期發(fā)現(xiàn)好多國內(nèi)金融文章都開始用這個(gè)fed的圖了，是不是因?yàn)槲抑暗腗acro文章傳播的呢~嘚瑟一下)

Federal Reserve Economic Data

數(shù)據(jù)量極其豐富，簡直想怎么操作就怎么操作，各種加減乘除還有對(duì)比應(yīng)有盡有。

如上圖就是我想研究carry trade對(duì)于美國股市的影響，把他們放在一起可以把相關(guān)性看得一清二楚，對(duì)整理邏輯非常方便。

但是同時(shí)我也想研究國內(nèi)的數(shù)據(jù)，然后就懵逼了。

國內(nèi)統(tǒng)計(jì)局的網(wǎng)站是這樣，

Are u kidding me? 只有一個(gè)表？還是一個(gè)月發(fā)布一次？

這一對(duì)比就看出來社會(huì)主義勤勞質(zhì)樸的優(yōu)越性了，自己動(dòng)手豐衣足食，一個(gè)一個(gè)數(shù)敲進(jìn)去吧。

我這人比較懶，正當(dāng)想要放棄的時(shí)候突然靈機(jī)一動(dòng)，是不是爬蟲可以幫我這個(gè)忙呢？

趕緊在知乎上面狂搜一通，發(fā)現(xiàn)大部分都是Python語言，估計(jì)上手至少得花個(gè)好幾天。有沒有更簡單粗暴一點(diǎn)的呢？接著我就搜到了這個(gè)問題下面的答案：

https://www.zhihu.com/question/47883186

簡直是救星，趕緊擼起袖子擼起來，不對(duì)，是干起來。

這里呢，Excel其實(shí)對(duì)于mac用戶非常不友好，因?yàn)閺木W(wǎng)上抓數(shù)據(jù)這個(gè)功能被刪掉了，畢竟是Windows的軟件...不過不用氣餒，我們還有Google doc。

當(dāng)然，對(duì)于Windows用戶就沒有這個(gè)問題了。

先放上示意圖：

看到?jīng)]有！統(tǒng)計(jì)局的數(shù)據(jù)全在自己的Excel里了喲~

以后走哪兒數(shù)據(jù)抓到哪兒，遇神抓神，遇佛抓佛。

接下來就介紹一下具體是怎么操作的：

首先呢，我們需要打開一個(gè)Excel

然后把光偉正的統(tǒng)計(jì)局網(wǎng)頁地址放在第一格以示崇敬。(這里我選取的網(wǎng)頁是上個(gè)月公布的PMI指數(shù)，2017年2月中國制造業(yè)采購經(jīng)理指數(shù)為51.6%)

接著，我們就開始從這個(gè)網(wǎng)頁抓取表格數(shù)據(jù)了：

自己也能抓數(shù)據(jù)了，想想有些小激動(dòng)呢~

我們需要先任意選一個(gè)舒服的位置，輸入一句話：

=IMPORTHTML(A1,"table",1)

如下圖：

那么這句話是干什么呢？

具體pass給IMPORTHTML( )這個(gè)function的是三個(gè)argument值：

第一個(gè)值就是從A1，也就是統(tǒng)計(jì)局網(wǎng)頁地址所在Excel的位置來告訴這個(gè)function區(qū)哪兒抓數(shù)據(jù)。

第二個(gè)值就是選取“table”這個(gè)格式，也就是告訴這個(gè)function我們想要的是指定網(wǎng)頁上面的表格。我們可以從下面的注釋看到還有一個(gè)選項(xiàng)是“l(fā)ist”，這個(gè)是在HTML里面的另一個(gè)格式，我們需要的是表格，所以此處可以暫時(shí)忽略。(這里有一個(gè)很大的限制就是只能選取這個(gè)兩個(gè)格式，如果要做更復(fù)雜的condition判斷的話就不太可能了，如果stick to Excel的話可能需要借助VBA了。但這里我們只介紹最簡單的數(shù)據(jù)抓取方式。)

第三個(gè)值就是網(wǎng)頁中的第n個(gè)table。這里我選取網(wǎng)頁里的第一張表

好了，沒了。

是不是感覺意猶未盡呢？做好了接受高級(jí)裝逼知識(shí)的思想準(zhǔn)備，結(jié)果咻的一聲就沒了？

如果你僅僅只是想要知道怎么用呢，就不用再繼續(xù)往下看了。

但是身為一個(gè)合格的科研人員，工作就是搞清楚為什么。接下來，我們可以更細(xì)致看一看具體這個(gè)function是怎么抓取的。

首先呢，我們需要用Google瀏覽器。因?yàn)檫@個(gè)瀏覽器有一個(gè)特殊的技能，那就是“Inspect”。

如下圖：

然后毫不猶豫的點(diǎn)開：

這右邊跳出來的一坨到底是什么東西！

不要急，我們慢慢看嘛。

首先呢，我們可以用一個(gè)快捷鍵command+shift+C(這里我猜Windows用戶應(yīng)該是control+shift+C)，然后移到左邊我們需要的表格上。

這個(gè)時(shí)候，驚人的事情發(fā)生了。右上角那一坨代碼會(huì)跟著自己的鼠標(biāo)移動(dòng)！

其實(shí)呢，這個(gè)快捷鍵做的事情很簡單，就是指出你鼠標(biāo)所在位置的代碼。右上角那一坨東西就是這整個(gè)網(wǎng)頁的代碼，其中自然也包括了我們需要的表格部分的代碼。

Excel所做的事情呢，也就是從這一坨代碼里面找出我們需要的表格“table”，然后把表格的內(nèi)容復(fù)制到Excel里面供我們盡情玩樂。

如下圖，我們可以看到“table”這個(gè)關(guān)鍵字吧，所指代的就是左邊的那張表，然后“table”其下的內(nèi)容就是這張表是怎樣呈現(xiàn)在網(wǎng)頁上的。

看到現(xiàn)在我們應(yīng)該可以理解Excel是怎么操作的吧，so easy~

但是對(duì)于統(tǒng)計(jì)局網(wǎng)站的數(shù)據(jù)抓取其實(shí)有一個(gè)問題，因?yàn)樗且粋€(gè)一個(gè)網(wǎng)頁發(fā)布的數(shù)據(jù)，并且跟其他數(shù)據(jù)混在一起隨機(jī)排列，所以說具體選取需要抓取的網(wǎng)頁還是得人工了。

當(dāng)然Excel還有一個(gè)function叫做IMPORTxm_x_l( )，這個(gè)function是用來抓取某一個(gè)xpath_query的，不局限于上面IMPORTHTML( )這個(gè)function只能抓table或者list。

所以也可以借助這個(gè)function來將網(wǎng)頁中的信息，比如說搜索具體關(guān)鍵字的網(wǎng)頁地址輸入到Excel，然后再將這個(gè)網(wǎng)頁地址自動(dòng)輸入到一開始的IMPORTHTML( ) function里面用來抓取所有選中網(wǎng)頁的table或者list。

其實(shí)利用VBA也可以做這件事，不過可能就需要另外學(xué)習(xí)一下VBA了，不過大概思路感覺應(yīng)該是這樣。

當(dāng)然如果有編程背景的最好還是用Python或者Java來做爬蟲啦，畢竟比較主流，工具包也比較多。后面我也許會(huì)再更新一下用Python來做這件事，不過，我懶。

最后的最后，再悄悄告訴一個(gè)宇宙無敵超級(jí)霹靂最最最簡單的方法，簡直獨(dú)門絕技，而且保證一秒鐘就學(xué)會(huì)，無需任何知識(shí)背景。

那就是，直接copy and paste。

來源：潮汐社區(qū)?智咖專欄

版權(quán)歸原作者所有，轉(zhuǎn)載僅供學(xué)習(xí)使用，不用于任何商業(yè)用途，如有侵權(quán)請(qǐng)留言聯(lián)系刪除，感謝合作。

精品課程推薦：

選購數(shù)學(xué)科普正版讀物

嚴(yán)選“數(shù)學(xué)思維好物”

送給孩子的益智禮物? ?| ??辦公室神器

算法工程師成長閱讀? ?| ??居家高科技

理工科男女實(shí)用型禮物精選? ?

數(shù)據(jù)與算法之美

用數(shù)據(jù)解決不可能

長按掃碼關(guān)注

總結(jié)

以上是生活随笔為你收集整理的一分钟教你用Excel从统计局抓数据！的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。