@Author：Runsen

文章目錄

• scrapy-redis框架
• 分布式原理
• 分布式爬蟲的實現
• scrapy-redis框架的安裝
• 部署scrapy-redis
• 運行slave
• 運行master

scrapy-redis框架

scrapy-redis

一個三方的基于redis的分布式爬蟲框架，配合scrapy使用，讓爬蟲具有了分布式爬取的功能。

github地址：https://github.com/darkrho/scrapy-redis

分布式原理

scrapy-redis實現分布式，其實從原理上來說很簡單，這里為描述方便，我們把自己的核心服務器稱為master，而把用于跑爬蟲程序的機器稱為slave

我們知道，采用scrapy框架抓取網頁，我們需要首先給定它一些start_urls，爬蟲首先訪問start_urls里面的url，再根據我們的具體邏輯，對里面的元素、或者是其他的二級、三級頁面

總結

以上是生活随笔為你收集整理的三十九、Scrapy-redis框架分布式部署的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。