編者按：互聯網上有浩瀚的數據資源，要想抓取這些數據就離不開爬蟲。鑒于網上免費開源的爬蟲框架多如牛毛，很多人認為爬蟲定是非常簡單的事情。但是如果你要定期上規模地準確抓取各種大型網站的數據卻是一項艱巨的挑戰，其中包括網站的格式經常會變、架構必須能靈活伸縮應對規模變化同時要保持性能，與此同時還要挫敗網站反機器人的手段以及維護數據質量。流行的Python爬蟲框架Scrapy開發者Scrapinghub分享了他們抓取一千億個網頁后的經驗之談。

?

現在爬蟲技術似乎是很容易的事情，但這種看法是很有迷惑性的。開源的庫/框架、可視化的爬蟲工具以及數據析取工具有很多，從網站抓取數據似乎易如反掌。然而，當你成規模地在網站上抓東西時，事情很快就會變得非常棘手。

自2010年以來抓取超過1000億個產品頁面，我們將會通過系列文章來分享從中學到的經驗教訓，讓你深入了解從電子商務商店中規模析取數據時所面臨的挑戰，并且跟你分享應對這些挑戰的某些最佳實踐。

本文是該系列文章的第一篇，在這里我們將提供規模抓取產品數據所面臨主要挑戰的概覽，以及Scrapinghub從抓取1000億產品頁面中學到的經驗教訓。

成立于2010年的Scrapinghub是領先的數據析取公司之一，也是當今最健壯和流行的web爬蟲框架Scrapy的作者。目前Scrapinghub每月抓取許多全球最大型電子商務公司的頁面數超過80億（其中30億是產品頁面）。

對于那些對規模爬取網頁技術感興趣但對要不要建立專門的web爬取團隊或者外包給專門的web爬取公司的人來說，最好看看這個免費指南，企業web爬蟲：規模化web爬取技術指南

規模爬取技術為什么重要？

跟標準的web爬取應用不一樣的是，規模爬取電子商務產品數據有一項獨特挑戰使得web抓取要困難許多。

本質上這些挑戰可歸結為兩件事情：速度和數據質量。

由于時間通常是限制因素，規模抓取要求你的爬蟲要以很高的速度抓取網頁但又不能拖累數據質量。對速度的這張要求使得爬取大規模產品數據變得極具挑戰性。

挑戰#1——草率而且總是在變的網站格式

這一點很明顯但也許不是最性感的挑戰，但是草率而一直在變的網站格式是目前為止你在規模析取數據時將會面臨的最大挑戰。這未必是因為任務的復雜性，而是由于你要投入的時間和資源。

如果你花過時間開發過電子商務商店的爬蟲的話，你就會知道電子商務網站代碼之草率是一種流行病。這可不僅僅是HTML完構性或者偶爾的字符編碼問題。這些年來我們遇到過形形色色的問題——HTTP響應代碼的誤用，損壞的JavaScript代碼，或者Ajax的誤用：

停掉產品時移除頁面的商店在網站升級后突然間會在404錯誤處理程序返回200響應碼。不恰當的JSON轉義破壞了部分頁面的JavaScript代碼（比如‘b0rk’d’），導致你需要用正則表達式來抓取那部分數據。濫用Ajax調用的商店以至于你只能靠渲染該頁面（這會導致爬取慢很多）或者模仿API調用（導致要付出更多的開發努力）來獲得數據。

像這樣草率的代碼會導致編寫爬蟲非常痛苦，但也會使得可視化爬取工具或者自動析取不再可行。

在規模爬取的時候，你不僅要瀏覽成百上千個有著草率代碼的網站，還將被迫應對不斷演變的網站。一條好的經驗法則是要預計你的目標網站每隔2到3個月就會發生讓你的爬蟲工作不了的變化。

這也許看起來不像是多大的事，但是當你規模抓取時，那些事件就會累積。比方說，Scrapinghub有一個規模比較大的電子商務項目大概有4000個爬蟲抽取約1000個電子商務網站，意味著每天可能會經歷20到30次爬蟲失敗。

而且網站在不同地區、語言的變化，A/B測試以及包裝/定價的派生也會制造出各種問題導致爬蟲失敗。

沒有容易的解決方案

不幸的是，不存在銀彈可以徹底解決這些問題。很多時候這只是隨著規模而擴大投入更多資源到你的項目上才能解決的事情。再拿上一個例子來說吧，那個項目有18名全職的爬蟲工程師以及3名專職的QA工程師來確保客戶總能得到可靠的數據流。

不過，你的團隊有經驗以后就會學會如何開發出更加健壯的爬蟲，從而檢測并處置目標網站格式中的異常。

如何處理目標網站有各種布局可能的情況呢？用多個爬蟲也許不是最好的做法，我們的最佳實踐是只用一個產品爬蟲來處理不同頁面布局個各種可能規則和模式。你的爬蟲可配置性越強越好。

盡管這些實踐會讓你的爬蟲更加復雜（我們有些爬蟲有好幾千行），但它會確保你的爬蟲更容易維護。

由于大多數公司日常都需要析取產品數據，等待幾天讓你的工程團隊修復任何壞掉的爬蟲不是可選項。當出現這些情況時，Scrapinghub會利用自己開發的基于機器學習的數據析取工具來作為后備，直到爬蟲修復好。這個基于ML的析取工具會自動識別目標網站的目標字段（產品名稱、價格、貨幣單位、圖像、SKU等）并且返回想要的結果。

我們會在未來幾周之內發布這項工具以及相關的指導文章，告訴大家如何將機器學習用到你的數據析取過程當中。

挑戰 2：可伸縮的架構

你將面臨的第二個挑戰是建設一個可隨每日請求數增長而擴充且性能不會下降的爬蟲基礎設施。

在規模析取產品數據時，一個串行爬取的簡單web爬蟲是不堪此任的。通常一個串行的web爬蟲會循環發出請求，每一項請求都要2到3秒鐘完成。

如果你的爬蟲每天發出的請求數不到40000的話這種做法是沒有問題的。然而，超過這個點你就得過渡到一種讓你每天可以完成數百萬請求而不會性能下降的爬蟲架構。

這個話題得用一篇文章才能說得清楚，未來幾周我們將發布一篇專門的文章來討論如何設計和開發高吞吐量的爬取架構。然而，本節的剩余部分我們將討論一些高級原則和最佳實踐。

正如我們討論過那樣，在規模爬取產品數據時速度是關鍵。你需要確保在時間閾值范圍內（通常是1天）可以找到并且爬取所有要求的產品頁面。為此你需要做以下一些事情：

將產品發現與產品析取分開

為了規模爬取產品數據你需要將你的產品發現爬蟲與產品析取爬蟲分開。

產品發現爬蟲的目標應該是讓它瀏覽目前產品目錄（或者“貨架”）然后存儲該目錄下的產品URL供產品析取爬蟲使用。

這個可以靠Scrapinghub 開發的開源工具Frontera之類的爬蟲前端輔助完成。盡管Frontera原先的目的是配合Scrapy使用的，但它其實完全是不可知論者，可用于任何爬蟲框架或者獨立項目。在這篇文章中，我們分享了如何利用Frontera來規模抓取HackerNews的東西。

分配更多資源給產品析取

由于每一個產品目錄“貨架”可包含10到100種產品，而且析取產品數據需要的資源要比析取產品URL更多，發現爬蟲通常運行要比產品析取爬蟲更快。這種情況下，你需要有多個析取爬蟲來對應每一個發現爬蟲。一條好的經驗法則是每10萬個頁面分配一個析取爬蟲。

挑戰 3：維護吞吐量性能

一級方程式的目標是將車上一切不必要的載荷都剔除掉，并且以速度之名將引擎最后一絲馬力都榨干，從這個意義上來說規模抓取可以跟一級方程式相比較。規模web抓取也是一樣的道理。

在析取大量數據時，在現有硬件資源條件下，你總是會想方設法要尋找請求周期最小化爬蟲性能最大化的手段。這一切都是希望你能給每個請求節省下來那么幾微秒的時間。

為此你的團隊需要對web爬取框架、代理管理以及所使用的硬件具備深刻理解，這樣才能對它們進行調整以優化性能。你還需要關注：

爬取效能

規模爬取時你應該始終把焦點放在以盡量少的請求析取所需數據上。任何額外請求或者數據析取都會放緩你爬取網站的節奏。在設計你的爬蟲時請記住這些提示：

作為最后一招，僅使用無界面瀏覽器，比如Splash或者Puppeteer來渲染JavaScript。用無界面瀏覽器渲染JavaScript同時爬取是非常耗資源的，會嚴重影響爬取的速度。如果你可以從貨架頁面（比如產品名稱、價格、評分等）獲得所需的數據而不需要向獨立的產品頁面提出請求的話，那就不要向產品頁面發出請求。不要請求或者析取圖像，除非迫不得已。

挑戰 4：反機器人的對策

如果你批量抓取電子商務網站的話一定會遇到采用反機器人對策的網站。

規模小一點的網站其反機器人對策就是些基本手段（屏蔽發送請求過量的IP）。然而，較大的電子商務網站，比如Amazon等，會采用復雜的反機器人對策，比如Distil Networks、Incapsula或者Akamai等來使得析取數據困難許多。

代理

了解到這一點之后，任何項目想要規模抓取才數據，首要的基本需求就是得用代理。規模抓取數據時你需要可觀的代理清單，而且需要實現必要的IP輪轉、請求限制、會話管理以及黑名單邏輯來預防代理被屏蔽。

或者除非你有或者愿意用一支規模可觀的團隊管理你的代理，否則的話你應該把抓取流程中的這一部分外包出去。提供各種水平服務的代理服務有很多。

然而，我們的建議是找一家能夠提供單個代理配置端點并且將所有的代理管理復雜性隱藏起來的代理提供商。在沒有重新發明輪子、開發和維護自己的內部代理管理基礎設施的情況下規模抓取就已經很耗資源了。

大多數大型電子商務公司都采用這種做法。一些全球最大型的電子商務網站采用Scrapinghub 開發的智能下載器Crawlera，這個東西的代理管理完全是外包的。當你的爬蟲每天要發出2000萬條請求時，把注意力放在分析數據而不是管理代理上會有意義得多。

代理以外

不幸的是，光靠使用代理服務并不足以確保你能規避大型電子商務網站的反機器人對策。越來越多的網站正在利用復雜的反機器人對策來監控你的爬蟲行為，檢測其是否真人訪客。

這些范機器人對策不僅使得爬取電子商務網站越來越困難，而且克服這些手段如果做得不對的話也會嚴重拖累爬蟲性能。

這些機器人對策有很大一部分使用到了JavaScript來確定請求是否來自于爬蟲還是人（Javascript引擎檢查、字體枚舉、WebGL與Canvas等）。

不過正如前面所述，規模爬取時你希望限制可編寫腳本的無界面瀏覽器（Splash 或者Puppeteer等）的使用，因為渲染頁面的任何JavaScript都非常耗資源并且放慢爬取網站的速度。

這意味著為了確保你能取得必要的吞吐量讓爬蟲提交每天的產品數據，你往往需要痛苦地對目標網站采用的反機器人對策進行逆向工程，并且在不使用無界面瀏覽器的情況下設計你的爬蟲抵消那些對策。

挑戰 5：數據質量

從數據科學家的角度來說，任何網站爬取項目最重要的考慮是析取數據的質量。規模爬取只會令這一關注變得更加重要。

當每天都要析取數百萬數據點時，想靠人工來驗證數據是否干凈和完整是不可能的。變臟或者不完整的數據很容易就會流入到你的數據流里面，進而破壞了數據分析的效果。

尤其是在抓取同一個的不同版本（不同的語言、地區等）或者不同商店上的產品時更是如此。

在爬蟲開發的設計階段，需要進行仔細的QA流程，爬蟲代碼要經過同行評審和測試以確保用最可靠的方式析取到想要的數據。確保最高數據質量的最好的辦法是部署一套自動化QA監控系統。

作為任何數據析取項目的一部分，你需要計劃和開發一套監控系統，這套系統將提醒你任何不一致的數據以及發生的爬蟲錯誤。Scrapinghub開發了一個機器學習算法來檢測：

數據驗證錯誤——每一個數據項都有定義好的遵循一致模式的數據類型和值。我們的數據驗證算法會提醒項目的QA團隊任何與預期數據類型不一致的數據項，然后再進行人工檢查、提醒已驗證或者標記為錯誤。產品差異化錯誤——從同一網站的多個版本（不同語言、地區）爬取相同產品數據時，有可能變量或者像產品重量或者尺寸這樣本該是固定值的數據項也會不一樣。這可能是網站反機器人對策向你的一到多個爬蟲提供篡改信息的結果。再次地，你需要算法來識別和標記類似這樣的情況。基于數量的不一致性——另一個關鍵的監控腳本是檢測返回記錄的任何異常變化。這可能預示網站已經做出改變或者你的爬蟲被提供了篡改的信息。網站變化——目標網站發生的結構性改變是爬蟲失效的主要原因。我們的專用監控系統會監控到這一點。該工具會對目標網站進行頻繁的檢查，確保自從上次抓取之后沒有發生任何變化。如果改變被發現，它也會發出通知。

我們會在稍后的文章中專門討論自動質量保證的細節。

總結

正如你所看到那樣，規模抓取產品數據會面臨一系列的獨特挑戰。希望這篇文章能夠讓你更加意識到相關挑戰，并且就如何解決這些問題獲得啟發。

然而，這只是本系列文章的第一部分，所以如果你感興趣的話可以注冊我們的電子郵件列表，一旦下一篇文章發表了我們會第一時間通知你。

原文鏈接：https://blog.scrapinghub.com/web-scraping-at-scale-lessons-learned-scraping-100-billion-products-pages

編譯組出品。編輯：郝鵬程。

總結

以上是生活随笔為你收集整理的数据从业者必读：抓取了一千亿个网页后我才明白，爬虫一点都不简单的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。