準備工作

1.安裝scrapy_redis包,打開cmd工具,執行命令pip install scrapy_redis

2.準備好一個沒有BUG,沒有報錯的爬蟲項目

3.準備好redis主服務器還有跟程序相關的mysql數據庫

前提mysql數據庫要打開允許遠程連接,因為mysql安裝后root用戶默認只允許本地連接,詳情請看此文章

部署過程

1.修改爬蟲項目的settings文件

在下載的scrapy_redis包中,有一個scheduler.py文件,里面有一個Scheduler類,是用來調度url,還有一個dupefilter.py文件,里面有個類是RFPDupeFilter,是用來去重,所以要在settings任意位置文件中添加上它們

還有在scrapy_redis包中,有一個pipelines文件,里面的RedisPipeline類可以把爬蟲的數據寫入redis,更穩定安全,所以要在settings中啟動pipelines的地方啟動此pipeline

最后修改redis連接配置

2.修改spider爬蟲文件

首先我們要引入一個scrapy_redis.spider文件中的一個RedisSpider類,然后把spider爬蟲文件原來繼承的scrapy.Spider類改為引入的RedisSpider這個類

接著把原來的start_urls這句代碼注釋掉,加入redis_key = '自定義key值',一般以爬蟲名:urls命名

測試部署是否成功

直接運行我們的項目,

打開redis客戶端在redis添加key為yunqi:start_urls的列表,值為地址

添加成功后,程序直接跑了起來

查看數據是否插入

分布式用到的代碼應該是同一套代碼

1)?先把項目配置為分布式

2)?把項目拷貝到多臺服務器中

3)?把所有爬蟲項目都跑起來

4)?在主redis-cli中lpush你的網址即可

5)?效果：所有爬蟲都開始運行，并且數據還都不一樣

到此這篇關于Scrapy基于scrapy_redis實現分布式爬蟲部署的示例的文章就介紹到這了,更多相關Scrapy redis分布式爬蟲 內容請搜索腳本之家以前的文章或繼續瀏覽下面的相關文章希望大家以后多多支持腳本之家！

總結

以上是生活随笔為你收集整理的scrapy 分布式 mysql_Scrapy基于scrapy_redis实现分布式爬虫部署的示例的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。