What is 分布式,爬蟲?

　　使用多臺機器組成一個分布式的機群,在機群中運行同一組程序。進行聯合數據的爬取 !?

Scrapy怎么實現分布式?

　　原生Scrapy是無法實現分布式的 !

? ? ? ?Reason:

? ? ? ? ? ? -? 原生scrapy中的調度器無法共享,

? ? ? ? ? ? -? 原生scrapy中的管道不可以被共享

　　Solution:

? ? ? ? ? ? -? 必須使用scrapy-redis(模塊)

　　　 -? 該模塊可以 給原生的scrapy提供共享的管道和調度器

? ? ? ? ? ? -? pip install?scrapy-redis

　　搭建流程:

1. 創建工程 2. 爬蟲文件 3. 將當前爬蟲文件的父類修改為 RedisCrawlSpider 4. # allowed_domain 和起始url不再需要,刪除 ,然后創建調度器隊列名稱 redis_key` 5. 數據解析,將解析的數據封裝到Item中然后向管道提交。 6. settings.py中重新配置- 指定管道 : """ITEM_PIPELINES = {'scrapy_redis.pipelines.RedisPipeline': 400}"""- 指定調度器: """# 使用scrapy-redis組件的去重隊列DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter"# 使用scrapy-redis組件自己的調度器SCHEDULER = "scrapy_redis.scheduler.Scheduler"# 是否允許暫停SCHEDULER_PERSIST = True"""- 指定具體的redis : """REDIS_HOST = 'redis服務的ip地址'REDIS_PORT = 6379REDIS_ENCODING = ‘utf-8’REDIS_PARAMS = {‘password’:’123456’}""" 7. 開啟redis服務:- redis.windows.conf 取消默認綁定 "127.0.0.1" ;關閉保護模式- redis-server- redis-cli 8.運行爬蟲文件: scrapy runspider SpiderFile.py 9. 向調度器隊列中扔入一個起始url（在redis客戶端中操作）：lpush redis_key屬性值 起始url

?

　　　　

?

轉載于:https://www.cnblogs.com/CrazySheldon1/p/10838543.html

總結

以上是生活随笔為你收集整理的爬虫篇 --- 分布式爬虫的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。