?

不知不覺，一年一度如火如荼的 steam 夏日促銷悄然開始了。每年通過大大小小的促銷，我的游戲庫(kù)里已經(jīng)堆積滿還未下載過的游戲。但所謂“買到就是賺到，G胖一定大虧”的想法日漸流行，指不定以后就靠它們發(fā)達(dá)了呢。

有時(shí)候滾動(dòng)steam的排行榜看自己喜歡的游戲的時(shí)候，未免會(huì)被右邊的價(jià)格影響到。久而久之我發(fā)現(xiàn)我所不想買的游戲并不是因?yàn)樗缓猛?#xff0c;而是它還沒打折。又或者有些心水未被別人挖掘，在排行榜隱秘的角落里自怨自艾，等待“把玩”它的人出現(xiàn)~

于是我簡(jiǎn)單的用python爬取了steam排行榜前10000個(gè)游戲的信息，其中有游戲名，評(píng)價(jià)，價(jià)格，出版日期等，在更加簡(jiǎn)潔的列表界面選取自己感興趣的游戲之時(shí)，也可以進(jìn)行進(jìn)一步的數(shù)據(jù)分析。

廢話不多說(shuō)，趕緊開始，不然被我拖更到促銷結(jié)束了就蹭不到熱度了。（本來(lái)也沒有熱度）

開始爬取

先說(shuō)說(shuō)這次爬蟲選用數(shù)據(jù)的優(yōu)缺點(diǎn)：

第一，我發(fā)現(xiàn)了steam在顯示排行榜列表的時(shí)候后臺(tái)會(huì)進(jìn)行一個(gè)查詢的申請(qǐng)，點(diǎn)開一看是一串json代碼，而且在python進(jìn)行request的時(shí)候不需要模擬瀏覽器進(jìn)行填“headers”表的操作。通過訪問而得到的json代碼大大簡(jiǎn)化了循環(huán)復(fù)雜度，一次循環(huán)可以得到100個(gè)游戲信息。

第二，因?yàn)橹恍枰闅v所有json代碼，時(shí)間上可以比進(jìn)入每一個(gè)游戲鏈接更加短。

第三，但就因?yàn)闆]有進(jìn)入每個(gè)游戲的鏈接，所以像評(píng)論，簡(jiǎn)介，開發(fā)商等信息就沒有爬取。但爬取游戲鏈接的爬蟲攻略網(wǎng)上也有很多，這里就不弄斧了。

首先，進(jìn)入官網(wǎng)的排行榜頁(yè)面，為了避免游戲DLC、bundle等影響后期操作的類型出現(xiàn)，記得在右邊的過濾器里只勾選游戲類目。

?

通過后臺(tái)的XHR發(fā)現(xiàn)，頁(yè)面每次刷新都只顯示前50個(gè)游戲，當(dāng)我們滾動(dòng)頁(yè)面往下看時(shí)，網(wǎng)站會(huì)發(fā)送一個(gè)神秘代碼：

?

經(jīng)過觀察，我發(fā)現(xiàn)代碼會(huì)自動(dòng)申請(qǐng)返回從start參數(shù)的數(shù)字開始，一共count參數(shù)的數(shù)字的游戲信息。比如，下面的圖顯示它申請(qǐng)了從第51個(gè)到100個(gè)總共50個(gè)游戲的信息。

?

雙擊上上圖的紅框鏈接，返回的頁(yè)面長(zhǎng)這樣：

?

所謂json格式，其實(shí)就是在字典里夾字典或者列表，目前許多大數(shù)據(jù)都是這樣保存滴。所以在查詢的時(shí)候其實(shí)很方便，但是我在抽取信息的時(shí)候還是會(huì)用到正則表達(dá)式，因?yàn)闀?huì)方便很多。

知道這些之后，剩下的就可以用python一個(gè)個(gè)有用信息抽取出來(lái)，組成一個(gè)新的Dataframe列表，以便之后保存為csv格式。

我們嘗試用requests打開上面json頁(yè)面的鏈接，并用json load解析。

這里我更改了start和count 的參數(shù)，比較方便對(duì)照原網(wǎng)頁(yè)來(lái)看信息是否一致。

可以看看soup返回的結(jié)果，它顯示了json里邊'results_html'返回的東西，因?yàn)榍斑叺膬?nèi)容我們已經(jīng)不需要了，所有游戲信息都在這個(gè)鍵里邊。

接著我們回到那個(gè)json頁(yè)面看看我們想要的東西都藏在哪：

游戲名字藏在span的title class里：

?

出版日期藏在div的另一個(gè)class里：

?

同樣的，可以用上面的方法找到游戲的鏈接、ID，這里就不贅述了。

評(píng)分和打分人數(shù)藏在span標(biāo)簽里，如果用字典查找的話會(huì)比較麻煩，所以我們稍后使用正則表達(dá)式將它倆提取出來(lái)：

?

不幸運(yùn)的是，有些游戲因?yàn)檫€沒上架，所以沒有人評(píng)論，我們用正則表達(dá)式得到的信息是亂碼。所以我們用函數(shù)來(lái)防止出現(xiàn)亂碼的可能性：

如果看到這里的讀者覺得很輕松，那我便可以繼續(xù)往下述說(shuō)，因?yàn)榕廊r(jià)格比評(píng)論更加麻煩。但僅限于麻煩，并沒有很高大上的操作；而我相信我并不是用聰明的方法爬取到想要的結(jié)果，因?yàn)閷?duì)于這個(gè)體量的數(shù)據(jù)再優(yōu)化的代碼對(duì)于運(yùn)行時(shí)間來(lái)說(shuō)相差不大。反正結(jié)果都一樣，管它呢。

其實(shí)要找物品的最終價(jià)格（即免費(fèi)游戲，打折后或未打折的游戲價(jià)格）非常簡(jiǎn)單，因?yàn)樗筒卦谶@里：

?

默認(rèn)后邊兩位為小數(shù)點(diǎn)后兩位，所以我們直接把這串?dāng)?shù)字揪出來(lái)并除以100：

但我們?nèi)绻拖胫浪脑瓋r(jià)，以便之后做分析該怎么辦呢？

先看一下steam排行榜上的價(jià)格有三種顯示方法：

?

第一種，帶有劃線價(jià)格的打折商品，在源代碼中長(zhǎng)這樣：

?

第二種，免費(fèi)的：

?

頭疼的是，免費(fèi)的標(biāo)識(shí)也有變體：

?

?

?

(連to的大小寫也有不一樣的……steam您用點(diǎn)心！）

不過Free還是老老實(shí)實(shí)在最前面，所以我們后邊只要找到Free就好啦。

第三種，原價(jià)顯示：

?

上面的圖片都是我在抽查的時(shí)候發(fā)現(xiàn)的規(guī)律與變形，為了避免后續(xù)幾千個(gè)游戲有“烏合之眾”，我在代碼里只查找這三種格式，如果有奇形怪狀的數(shù)據(jù)出現(xiàn)，直接一棍子打成“空值”：

定義完這些想要的數(shù)據(jù)之后，我們就開始跑循環(huán)了。

先把我們要的數(shù)據(jù)列命好名字：

接著我們以每個(gè)鏈接查詢100個(gè)游戲的步伐開始跑循環(huán)并將里邊的信息找出來(lái)，錄入上面的列表里：

我們?cè)诒闅v中每次訪問頁(yè)面、完成每次循環(huán)的時(shí)候都讓電腦打印一段字，以便出錯(cuò)的時(shí)候能快速找出出錯(cuò)的頁(yè)面。

接下來(lái)就將得到的數(shù)據(jù)塞進(jìn)一個(gè)數(shù)據(jù)表里：

等待漫長(zhǎng)的過程與欣賞成功的過程：

?

最后的數(shù)據(jù)集長(zhǎng)這樣：

?

接下來(lái)只要保存為csv格式，就可以開始分析數(shù)據(jù)了。但這已經(jīng)不是爬蟲文章的內(nèi)容，所以不會(huì)往下繼續(xù)分析啦。

總結(jié)與反思

一

我發(fā)現(xiàn)final_price也就是一開始提取的最終價(jià)格中，會(huì)有高于原價(jià)的現(xiàn)象。

比如CS：GO的最終價(jià)格并不是0，是因?yàn)樗幸粋€(gè)升級(jí)包：

?

前1000個(gè)游戲里總共有3個(gè)這樣的錯(cuò)誤：

?

實(shí)況足球2020 是demo版免費(fèi)，而想體驗(yàn)完整游戲確實(shí)需要78港幣；

奇異人生1 是第一篇章免費(fèi)，后邊的篇章需要23.8港幣。

二

這些代碼跑起來(lái)雖然快，但得到的信息依舊太少，如果要深入研究steam的數(shù)據(jù)還是需要有強(qiáng)大的耐心遍歷所有游戲鏈接吶。如果大家對(duì)Python感興趣的話，可以加一下我的微信哦：abb436574，免費(fèi)領(lǐng)取一套學(xué)習(xí)資料和視頻課程喲~

三

這次的爬蟲經(jīng)歷其實(shí)也發(fā)現(xiàn)了steam一些錄入大數(shù)據(jù)庫(kù)的時(shí)候的小差錯(cuò)，比如前面所提到的免費(fèi)標(biāo)識(shí)竟然有3種變體，但他們可能覺得問題不大。

總結(jié)

以上是生活随笔為你收集整理的steam夏日促销用Python爬取排行榜上的游戏打折信息的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。