基于 Scrapy-Redis 全國房源信息抓取系統

摘要

近幾年，人們對房源信息的關注度越來越高。如何對全國房源信息進行靈活高效的采集并存儲，對全國房源信息的分析工作起到重要作用。文中在分析房天下站點特征結構的基礎上采用 Python 開源框架 Scrapy 搭配 Redis 數據庫，設計實現了一套抓取速度快、擴展性高的分布式爬蟲系統，獲取的數據具有良好的實時性和準確性，為后續分析工作提供了有力的數據支撐。
關鍵字 ：Scrapy 框架；Scrapy-Redis；分布式爬蟲；可視化

前言

爬蟲技術，無論是在學術領域，還是在工程領域，都扮演者非常重要的角色。相比于其他技術，爬蟲技術雖然在實現上比較簡單，沒有那么多深奧的技術難點，但想要構建一套穩定、高效、自動化的爬蟲框架，也并不是一件容易的事情。本文介紹了一種分布式爬蟲框架的實現方法和工作原理。[1?2]

結構設計

scrapy 是一個 python 爬蟲框架，爬取的效率極高，具有高度的定制性，但是不支持分布式。而 scrapy-redis 是一套基于 redis 庫，運行在 scrapy 框架之上的組件，可以讓scapy 支持分布式策略。[3]
Salverr 端共享 Master 端 redis 數據庫里的 item 隊列、請求隊列和請求指紋集合。
選擇 redis 數據庫的原因：[4]

• redis支持主從同步，而且數據都是緩存 在內存中的，所以基于redis的分布式爬
  蟲，對請求和數據的高頻率讀取效率都非常高
• scrapy-redis和scrapy的關系就像電腦和固態硬盤一樣，是電腦中的一個插件，能
  讓電腦更快的運行
• scrapy是一個爬蟲框架，scrapy-redis則是這個框架上可以選擇的插件，它可以讓
  爬蟲跑得更快。

Scrapy框架調度器

圖1 Scrapy 框架

Scrapy框架解釋

如圖1所示未Scrapy框架，該框架解釋[5]如下：

從優先級隊列中獲取requests對象，交給engine；

engine將requests對此昂交給下載器下載，期間會通過downloadmiddleware的process_request方法；

下載器完成下載，獲得response對象，將該對象交給engine，期間會經過downloadmiddleware的process_response()方法；

engine將獲得的response對象交給spider進行解析，期間會經過spidermiddleware的process_spider_input()方法；

spider解析下載器下載下來的response，返回item或links（url）；

item或者link經過spidermiddleware的process_spider_out()方法，交給engine；

engine將item交給item pipeline，將links交給調度器；

在調度器中，先將requests對象利用scrapy內置的指紋函數生成一個指紋；

如果requests對象中的don’t filter參數設置為False，并且該requests對象的指紋不在信息指紋的隊列中，那么就把該requests對象放到優先級隊列中。

中間件

spider與engine之間（爬蟲中間件）
介于scrapy引擎和爬蟲之間的框架，主要工作就是處理爬蟲的響應輸入和請求的輸
出。
download與engine之間（下載器中間件）
介于scrapy引擎和下載器之間的框架，主要是處理scrapy引擎與下載器之間的請求和響應。
scrapy框架中的middleware.py

• Scrapy Middleware有以下幾個函數被管理

process_spider_input：接收一個response對象并處理；

process_spider_exception：spider出現異常時被調用；

process_spider_output：當spider處理response返回result時，就會調用該
方法；

process_spider_requests：當spider發出請求時，被調用；

• Download Middleware有以下幾個函數被管理

process_requests：requests通過下載中間件的時候，該方法被調用，這里可
以通過設置代理，設置request.meta[‘proxy’]就OK了；

process_response：下載結果經過中間件的時候會被這個方法解惑來進行處
理；
3… process_exception：下載過程中出現異常的時候會被調用。

scrapy的優缺點

優點：scrapy 是異步的，寫middleware,方便寫一些統一的過濾器。
缺點：基于python的爬蟲框架，擴展性比較差，基于twisted框架，運行中的exception是不會干掉reactor，并且異步框架出錯后是不會停掉其他任務的，數據出錯后難以察覺。

Scrapy-Redis框架

圖 2 Scrapy-Redis 框架
如圖2所示，可以發現，scrapy-redis在scrapy的架構上增加了redis，與scrapy相差無幾。本質的區別就是，將scrapy的內置的去重的隊列和待抓取的request隊列換成了redis的集合。此改動就使scrapy-redis具備分布式特性。

Scrapy-Redis組件

Scrapy-redis提供了下面四種組件（components）：(四種組件意味著這四個模塊都要做相應的修改)。

Scheduler組件

Scrapy改造了python本來的collection.deque(雙向隊列)形成了自己的Scrapy queue，但是Scrapy多個spider不能共享待爬取隊列Scrapy queue， 即Scrapy本身不支持爬蟲分布式，scrapy-redis 的解決是把這個Scrapy queue換成redis數據庫（也是指redis隊列），從同一個redis-server存放要爬取的request，便能讓多個spider去同一個數據庫里讀取。
Scrapy中跟“待爬隊列”直接相關的就是調度器Scheduler，它負責對新的request進行入列操作（加入Scrapy queue），取出下一個要爬取的request（從Scrapy queue中取出）等操作。它把待爬隊列按照優先級建立了一個字典結構，然后根據request中的優先級，來決定該入哪個隊列，出列時則按優先級較小的優先出列。為了管理這個比較高級的隊列字典，Scheduler需要提供一系列的方法。但是原來的Scheduler已經無法使用，所以使用Scrapyredis的scheduler組件。

Duplication Filter組件

Scrapy中用集合實現這個request去重功能，Scrapy中把已經發送的request指紋放入到一個集合中，把下一個request的指紋拿到集合中比對，如果該指紋存在于集合中，說明這個request發送過了，如果沒有則繼續操作。在scrapy-redis中去重是由Duplication Filter組件來實現的，它通過redis的set 不重復的特性，巧妙的實現了Duplication Filter去重。scrapy-redis調度器從引擎接受request，將request的指紋存?redis的set檢查是否重復，并將不重復的request push寫?redis的 request queue。引擎請求request(Spider發出的）時，調度器從redis的request queue隊列?里根據優先級pop 出?個request 返回給引擎，引擎將此request發給spider處理。

Item Pipeline組件

引擎將(Spider返回的)爬取到的Item給Item Pipeline，scrapy-redis 的Item Pipeline將爬取到的 Item 存?redis的 items queue。修改過Item Pipeline可以很方便的根據 key 從 items queue 提取item，從?實現itemsprocesses集群。

Base Spider組件

不再使用scrapy原有的Spider類，重寫的RedisSpider繼承了Spider和RedisMixin這兩個類，RedisMixin是用來從redis讀取url的類。當我們生成一個Spider繼承RedisSpider時，調用setup_redis函數，這個函數會去連接redis數據庫，然后會設置signals(信號)：

當spider空閑時候的signal，會調用spider_idle函數，這個函數調用schedule_next_request函數，保證spider是一直活著的狀態，并且拋出DontCloseSpider異常。

當抓到一個item時的signal，會調用item_scraped函數，這個函數會調用schedule_next_request函數，獲取下一個request。

Scrapy-Redis分布式策略

圖 3 Scrapy-Redis 分布式策略
Scrapy-Redis分布式爬蟲分為Master端和Salverr端：

Master端(核心服務器) ：使用 Windows 10，搭建一個Redis數據庫，不負責爬取，只負責url指紋判重、Request的分配，以及數據的存儲。

Salverr端(爬蟲程序執行端) ：Ubuntu 16.04，負責執行爬蟲程序，運行過程中提交
新的Request給Master。

如圖3首先Salverr端從Master端拿任務（Request、url）進行數據抓取，Salverr抓取數據的同時，產生新任務的Request便提交給 Master 處理。
Master端只有一個Redis數據庫，負責將未處理的Request去重和任務分配，將處理后的Request加入待爬隊列，并且存儲爬取的數據。[6]

爬蟲設計

爬行策略設計

本文在設計全國房源信息爬蟲系統時，以房天下網作為爬取對象，充分考慮了房天下站點URL的結構特點，設計了一種最佳的爬行策略，能夠引導爬蟲抓取房天下新房與二手房信息。

圖 4 種子網頁
爬蟲根據預先設定的一個種子 URL，如圖 4 所示， 直接訪問并下載頁面，經頁面解析器去掉頁面上的 HTML 標簽得到頁面內容，通過中國各省份與城市列表構造新的 URL 放入Redis Queue 隊列，期間通過去重和排序操作。然后將篩選通過的 URL 加入待爬隊列進而供爬蟲抽取進行下一步的下載和頁面解析操作。此過程將一直循環進行，直到列表為空，整個抓取過程結束。

確定抓取對象

房天下房源信息頁面中包含多種內容，通過定義 Item 來選擇需要抓取的對象信息。本文定義了兩種數據的字段信息，如圖 5 和表 1 所示為待抓取新房信息，圖 6 和表 2 為待抓取二手房信息。

圖 5 新房詳情頁面
表 1 NewHouse


圖 6 二手房詳情頁面
表 2 ESFHouse

頁面爬取和頁面解析

在房源信息首頁和詳情頁面的解析中，本文主要使用 Xpath 進行解析。XPath 全稱是XML Path Language，它既可以用來解析 XML，也可以用來解析 HTML。同 Beautiful Soup 一樣，在 XPath 中提供了非常簡潔的節點選擇的方法，Beautiful Soup 主要是通過“.”的方式來進行子節點或者子孫節點的選擇，而在 XPath 中則主要通過“/”的方式來選擇節點。除此之外，在 XPath 中還提供了大量的內置函數來處理各個數據之間的匹配關系。如表 3 為常見的節點匹配規則。
表 3 Xpah 常見的節點匹配規則

房天下首頁解析

#代碼1 ：房天下首頁解析 def parse(self, response):trs= response.xpath("//div[@class= 'outCont']//tr")province= Nonefor tr in trs:tds= tr.xpath(".//td[not(@class)]")province_td= tds[0]province_text= province_td.xpath(".//text()").get()province_text= re.sub(r"\s","",province_text)if province_text:province= province_text# 過濾海外城市if province== '其它':continuecity_td= tds[1]city_links= city_td.xpath(".//a")for city_link in city_links:city= city_link.xpath(".//text()").get()city_url= city_link.xpath(".//@href").get()# 構建新房url鏈接url_module= city_url.split(".") scheme1= url_module[0] # 例:http://cdscheme2= url_module[1] #例:fangscheme3= url_module[2] #例:comnewhouse_url= scheme1+ "."+ "newhouse."+ scheme2+ "."+ scheme3+ "house/s/"# 構建二手房url鏈接esf_url= scheme1+ "."+ "esf."+ scheme2+ "."+ scheme3yield scrapy.Request(url=newhouse_url, callback=self.parse_newhouse,meta={"info":(province,city)})yield scrapy.Request(url=esf_url, callback=self.parse_esf, meta={"info":(province, city)})

如代碼1，處理完首頁后，使用yeild返回請求返回Request分別指向兩個url，及NewHoues(新房頁面)和ESFHouse(二手房頁面)，基于當前城市使用callback回調函數分別執行新房與二手房頁面的解析工作。

新房頁面解析

#代碼2 新房頁面解析 def parse_newhouse(self,response):province,city= response.meta.get('info')lis= response.xpath("//div[contains(@class,'nl_con')]/ul/li")for li in lis:name_text= li.xpath(".//div[@class='nlcd_name']/a/text()").get()if name_text is not None:name= name_text.strip()house_type_list= li.xpath(".//div[contains(@class,'house_type')]/a/text()").getall()house_type_list= list(map(lambda x: re.sub(r"\s","",x), house_type_list))rooms= list(filter(lambda x:x.endswith("居"),house_type_list)) #過濾干擾信息area= "".join(li.xpath(".//div[contains(@class,'house_type')]/text()").getall())area= re.sub("\s|－|/","",area)district_text= "".join(li.xpath(".//div[@class= 'address']/a//text()").getall())district= re.search(r".*\[(.+)].*", district_text)if district is not None:district= district.group(1)address= li.xpath(".//div[@class= 'address']/a/@title").get()sale= li.xpath(".//div[contains(@class, 'fangyuan')]/span/text()").get() price = "".join(li.xpath(".//div[@class='nhouse_price']//text()").getall())price= re.sub(r"\s|'廣告'","",price)origin_url= li.xpath(".//div[@class='nlcd_name']/a/@href").get()if origin_url is not None:origin_url= "http"+ ":"+ origin_urlitem = NewHouseItem(name= name, rooms= rooms, area= area, address= address,district= district, sale= sale, price= price, origin_url= origin_url, province =province, city= city)yield itemnext_url= response.xpath("//div[@class='page']//a[@class='next'/@href]").get()if next_url:yield scrapy.Request(url=response.urljoin(next_url), callback=self.parse_newhouse, meta={"info":(province, city)})

如代碼2所示，使用xpath語法，獲取新房頁面所需字段信息后，存儲在定義的item中。

二手房頁面解析

#代碼3 二手房頁面解析 def parse_esf(self,response):province,city = response.meta.get('info')dls= response.xpath("//div[contains(@class,'shop_list')]/dl")for dl in dls:item= ESFHouseItem(province=province, city= city)name_text= dl.xpath(".//p[@class='add_shop']/a/text()").get()if name_text is not None:item['name'] = name_text.strip()infos= dl.xpath(".//p[@class='tel_shop']/text()").getall()infos= list(map(lambda x: re.sub(r"\s","",x), infos))for info in infos:if "廳" in info:item['rooms']= infoelif "層" in infos:item['floor']= infoelif '向' in info:item['toward']= infoelif '㎡' in info:tem['area']= infoelse:item['year']= info.replace("年建","") address= dl.xpath(".//p[@class='add_shop']/span/text()").get()if address is not None:address= address.strip()item['address'] = addressprice= "".join(dl.xpath("./dd[@class= 'price_right']/span[1]//text()").getall())if price is not None:price= price.strip()item['price']= priceunit = dl.xpath("./dd[@class= 'price_right']/span[2]//text()").get()if unit is not None:unit= unititem['unit']= unitdetail_url= dl.xpath(".//h4[@class='clearfix']/a/@href").get()item['origin_url']= response.urljoin(detail_url)yield itemnext_url= response.xpath("//div[@class='page_box']//p/a[1]/@href").get()yield scrapy.Request(url=response.urljoin(next_url), callback= self.parse_esf, meta={"info":(province, city)})

如代碼3所示，使用xpath語法，獲取二手房頁面所需字段信息后，存儲在定義的item中。

Spider類編寫

區別于單機爬蟲Spider類的編寫，分布式SfwSpider是自定義編寫的針對房天下頁面解析的Spider類，它不在繼承原始的scrapy.Spider類，而是繼承了RedisSpider類，用來從redis讀取url。同樣也不再使用start_urls，取而代之的是redis_key，Scrapy-redis將key從redis中pop出來，成為請求的url地址。關鍵代碼如代碼4。

#代碼4 SfwSpider類 class SfwSpider(RedisSpider):name = 'sfw'allowed_domains = ['fang.com']# start_urls = ['https://www.fang.com/SoufunFamily.htm']redis_key = "fang:start_urls"

配置Scrapy-Redis

為確保request存儲到redis中、確保所有爬蟲共享相同的去重指紋，以及設置redis連接
信息，需要在setting.py中配置相關代碼，如代碼5所示。
代碼5 Scrapy-Redis的配置

# Scrapy-Redis相關配置 # 確保request存儲到redis中 SCHEDULER= "scrapy_redis.scheduler.Scheduler" # 確保所有爬蟲共享相同的去重指紋 DUPEFILTER_CLASS= "scrapy_redis.dupefilter.RFPDupeFilter" # 設置redis為item pipline ITEM_PIPELINES= {'scrapy_redis.pipelines.RedisPipeline': 300 } # 在redis中保持scrapy-redis用到的隊列，不會清理redis中的隊列，從而可以實現暫停和回復 的功能 SCHEDULER_PERSIST= True # 設置連接redis信息 REDIS_HOST= '192.168.1.5' REDIS_PORT= '6379'

應對反爬蟲機制

為了不被網站識別出是爬蟲，主要使用了用戶代理、限速、IP代理池等措施。

隨機請求頭

相應的中間件代碼如代碼6。

代碼6 隨機請求頭 USER_AGENTS= ['Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.77 Safari/537.36','Mozilla/5.0 (X11; Ubuntu; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2919.83 Safari/537.36','Mozilla/5.0 (Macintosh; Intel Mac OS X 10_8_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2866.71 Safari/537.36','Mozilla/5.0 (X11; Ubuntu; Linux i686 on x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2820.59 Safari/537.36','Mozilla/5.0 (Macintosh; Intel Mac OS X 10_9_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/52.0.2762.73 Safari/537.36','Mozilla/5.0 (Macintosh; Intel Mac OS X 10_8_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2656.18 Safari/537.36','Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.36 (KHTML like Gecko) Chrome/44.0.2403.155 Safari/537.36' ] …… def process_request(self, request, spider):user_agent = random.choice(self.USER_AGENTS)request.headers['User-Agent'] = user_agent

限速設置

房天下服務器為防止惡意爬蟲軟件對其數據的破壞，設置相應的識別機制，為了降低反爬蟲機制對系統的干擾，需增大平臺的訪問間隔時間。DOWNLOAD_DELAY = 3 #間隔時間

IP代理池

在眾多的網站防爬措施中，有一種是根據ip的訪問頻率進行限制，即在某一時間段內，當某個ip的訪問次數達到一定的閥值時，該ip就會被拉黑、在一段時間內禁止訪問。應對的方法有兩種：

降低爬蟲的爬取頻率，避免IP被限制訪問，缺點顯而易見：會大大降低爬取的效
率。

搭建一個IP代理池，使用不同的IP輪流進行爬取。

本文為降低爬蟲被房天下網識別為爬蟲的紀律，構建了IP代理池，如代碼7、代碼8所示。

#代碼7 Proxy類 class ProxyModel(object):def __init__(self,data):self.ip = data['ip']self.port = data['port']self.expire_str = data['expire_time']self.proxy = 'http://'+ '%s:%s' % (self.ip, self.port) self.expire_time = self.detail_time #代理是否已經被拉入黑名單了self.blacked = False#這個函數用于把str格式的過期時間（expire_time）轉化為datetime格式，方便我們來#根據過期時間換新的代理@propertydef detail_time(self):date_str,time_str = self.expire_str.split(" ")year,month,day = date_str.split('-')hour,minute,second = time_str.split(':')expire_time = datetime(year=int(year),month=int(month),day=int(day),hour=int(hour),minute=int(minute),second=int(second),)return expire_time#比較代理的過期時間和現在的時間#如果這個代理的存活時間少于10，那么就要準備更換代理IP了@propertydef is_expiring(self):now = datetime.now()if (self.expire_time - now) <timedelta(seconds=10):return Trueelse:return False #代碼8 更新IP def update_proxy(self): # lock是屬于多線程中的一個概念，因為這里scrapy是采用異步的，可以直接看成多線程 # 所以有可能出現這樣的情況，爬蟲在爬取一個網頁的時候，忽然被對方封了，這時候就 會來到這里 # 獲取新的IP，但是同時會有多條線程來這里請求，那么就會出現浪費代理IP的請求，所 以這這里加上了鎖 # 鎖的作用是在同一時間段，所有線程只能有一條線程可以訪問鎖內的代碼，這個時候一 條線程獲得新的代理IP # 而這個代理IP是可以用在所有線程的，這樣子別的線程就可以繼續運行了，減少了代理 IP（錢）的浪費 self.lock.acquire() # 判斷換線程的條件 # 1.目前沒有使用代理IP # 2.到線程過期的時間了 # 3.目前IP已經被對方封了 # 滿足以上其中一種情況就可以換代理IP了 if not self.current_proxy or self.current_proxy.is_expiring or self.current_proxy.blacked: url = r'https://h.wandouip.com/get/iplist?pack=%s&num=1&xy=1&type=2&lb=\r\n&mr=1&' % random.randint(100,1000) response = requests.get(url=url, headers=DEFAULT_REQUEST_HEADERS) text = json.loads(response.text) print(text) data = text['data'][0] proxy_model = ProxyModel(data) print('重新獲取了一個代理：%s' % proxy_model.proxy) self.current_proxy = proxy_model # return proxy_model self.lock.release()

相應的中間件代碼如代碼9所示。

#代碼9 IP代理中間件相應代碼 def process_request(self, request, spider):if 'proxy' not in request.meta or self.current_proxy.is_expiring:# 請求代理self.update_proxy() request.meta['proxy'] = self.current_proxy.proxy def process_response(self, request, response, spider):# 如果對方重定向（302）去驗證碼的網頁，換掉代理IP# 'captcha' in response.url 指的是有時候驗證碼的網頁返回的狀態碼是200，所以用這個作為 辨識的標志if response.status != 200 or 'captcha' in response.url:# 如果來到這里，說明這個請求已經被boss直聘識別為爬蟲了# 所以這個請求就相當于什么都沒有獲取到# 所以要重新返回request，讓這個請求重新加入到調度中# 下次再發送if not self.current_proxy.blacked:self.current_proxy.blacked = Trueself.update_proxy()print('%s代理失效' % self.current_proxy.proxy)request.meta['proxy'] = self.current_proxy.proxyreturn request

數據存儲

Scrapy-Redis框架支持mongodb、Redis等數據庫存儲。MongoDB是一種文檔性的數據庫，便于存儲大量數據，由于系統采集的數據量過大，因此利用MongoDB數據庫存儲爬蟲爬取的目標數據。各子爬蟲將爬到的數據存儲到Master服務器上的Redis數據庫中，之后將Redis數據庫中數據存入MongoDB數據庫中，便于后續分析，如代碼10。

代碼10 將爬蟲數據存入MongoDB數據庫 # 數據的持久化操作redis---->MongoDB import redis from pymongo import MongoClient import json # 爬蟲實現簡單分布式：多個url放到列表里，往里不停放URL，程序循環取值， # 可以把url放到redis中，多臺機器從redis中取值，爬取數據，實現簡單分布式 # 實例化redis客戶端 redis_client = redis.Redis(host='192.168.1.3',port=6379)# 實例化MongoDB客戶端 mongo_client = MongoClient(host='127.0.0.1',port=27017) # 指定鏈接的MongDB數據庫、集合 db = mongo_client['fang'] col = db['HN'] # 使用循環把redis中數據全部寫入到MongoDB中 while True:# 從redis中取出數據#blpop中出參數就是redis中的key-value的名為value的列表的名稱,# 系統默認生成的與爬蟲文件名類似的名稱,形如=>(爬蟲名:items)key,data = redis_client.blpop(['sfw:items'])print('key', key)print('data',data)#json.loads()函數是將json格式數據轉換為字典# 把數據寫入到MongoDB中col.insert_one(json.loads(data.decode())) # 關閉數據庫 mongo_client.close()

系統測試

系統由兩臺物理節點組成，一臺Master服務器，一臺Salver服務器。
Master端：CPU4核處理器，1T硬盤，8G內存，IP(192.168.1.5)采用Windows10(64位)操作系統，安裝有Python3，Scrapy框架，Scrapy-Redis，Redis數據庫和MongoDB數據庫等。
Salver端：CPU2核處理器，40G硬盤，2G內存，IP(192.168.138.128)采用Ubuntu20.04(64位)操作系統，安裝有Python3，Scrapy框架，Scrapy-Redis等。
由Master管理Url隊列和分發下載任務，Salve下載網頁提取數據，運行10min后，抓取全國房源信息8W條。將抓取到的數據存儲到Master端Redis數據庫中，后進行數據持久化操作，將數據存入Master端MongoDB數據庫中。

開啟redis服務器
執行redis-server.exe redis.windows.conf開啟redis服務器如圖7所示。

圖7 開啟redis服務

salver端執行sfw爬蟲代碼
如圖8所示，在ubuntu系統下的salver端執行爬蟲程序，并偵聽Master端的redis-key,如圖9所示。

圖8 執行sfw爬蟲

圖9 等待Master端發送redis-key

Master端發送redis-key
如圖10所示，Master主機發送redis-key，也是爬蟲所需的start_url。

圖10 Master主機發送redis-key

數據持久化操作
將salver端抓取的數據存儲在master端的MongoDB數據庫中，使用Navicat Premium 展示部分數據如圖11。

圖11 抓取的房源信息數據存儲在mongodb中

全國房源信息可視化

數據預處理

由于網頁中房源信息不統一，需要對抓取的數據進行預處理方可進行下一步分析。本文中，對抓取的房源信息統一價格單位均為元/平方米。

tableau的使用

Tableau是目前全球最易于上手的報表分析工具，并且具備強大的統計分析擴展功能。它能夠根據用戶的業務需求對報表進行遷移和開發，實現業務分析人員獨立自助、簡單快速、以界面拖拽式地操作方式對業務數據進行聯機分析處理、即時查詢等功能。Tableau可以連接到一個或多個數據源，支持單數據源的多表連接和多數據源的數據融合，可以輕松的對多源數據進行整合分析而無需任何編碼基礎。連接數據源后只需用拖放或點擊的方式就可快速地創建出交互、精美、智能的視圖和儀表板。任何Excel用戶甚至是零基礎的用戶都能很快、很輕松地使用Tableau Desktop直接面對數據進行分析，從而擺脫對開發人
員的依賴。本文就基于Tableau實現全國房源信息的簡單可視化。

全國房源信息簡單可視化效果如圖12為全國房源信息可視化效果圖。

圖12 全國房源信息可視化

結束語

本文立足于快速、靈活抓取房天下房源信息這一目的，設計實現了一套面向房源信息采集的高效的分布式爬蟲系統。采用Scrrapy-Redis分布式設計思想對目標數據進行爬取，并通過對房天下站點的結構分析，設計了一種使用于新房與二手房站帶你的爬蟲爬行策略。此外，還實現了持久化存儲方式MongoDB數據庫存儲，并使用PowerBI可視化軟件對全國房源信息進行簡單的可視化分析。

參考文獻

[1]鄧萬宇.一種基于Scapy-Redis的分布式微博數據采集方案[J].信息技術,2018,(11):59-62.
[2]嚴慧.基于Scrapy-Redis分布式數據采集平臺的設計與實現[J].湖北師范大學學報(自然科學
版),2019,39(1):TP302.
[3]安子建.基于Scrapy框架的網絡爬蟲實現與數據抓取分析[D].長春市:吉林大學,2017.
[4]馬豫星.Redis數據庫特性分析.[J].物聯網技術,2015,(3):TP326.
[5]王芳.基于Scrapy框架的分布式爬蟲設計與實現[J].信息技術,2019,(3):TP391.9.
[6]馬聯帥.基于Scrapy的分布式網絡新聞抓取系統設計與實現[D].西安市:西安電子科技大
學,2015

總結

以上是生活随笔為你收集整理的基于 Scrapy-Redis 全国房源信息抓取系统的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。