scrapy的五大核心組件

引擎(Scrapy)

對(duì)整個(gè)系統(tǒng)的數(shù)據(jù)流進(jìn)行處理, 觸發(fā)事務(wù)(框架核心).

調(diào)度器(Scheduler)

用來(lái)接受引擎發(fā)過(guò)來(lái)的請(qǐng)求. 由過(guò)濾器過(guò)濾重復(fù)的url并將其壓入隊(duì)列中, 在引擎再次請(qǐng)求的時(shí)候返回. 可以想像成一個(gè)URL（抓取網(wǎng)頁(yè)的網(wǎng)址或者說(shuō)是鏈接）的優(yōu)先隊(duì)列, 由它來(lái)決定下一個(gè)要抓取的網(wǎng)址是什么.

下載器(Downloader)

用于下載網(wǎng)頁(yè)內(nèi)容, 并將網(wǎng)頁(yè)內(nèi)容返回給蜘蛛(Scrapy下載器是建立在twisted這個(gè)高效的異步模型上的).

爬蟲(Spiders)

爬蟲是主要干活的, 它可以生成url, 并從特定的url中提取自己需要的信息, 即所謂的實(shí)體(Item). 用戶也可以從中提取出鏈接, 讓Scrapy繼續(xù)抓取下一個(gè)頁(yè)面.

項(xiàng)目管道(Pipeline)

負(fù)責(zé)處理爬蟲從網(wǎng)頁(yè)中抽取的實(shí)體, 主要的功能是持久化實(shí)體、驗(yàn)證實(shí)體的有效性、清除不需要的信息. 當(dāng)頁(yè)面被爬蟲解析后, 將被發(fā)送到項(xiàng)目管道, 并經(jīng)過(guò)幾個(gè)特定的次序處理數(shù)據(jù).

工作流程

　　當(dāng)我們執(zhí)行爬蟲文件的時(shí)候，這五大組件就已經(jīng)開始工作了 。其中，

• 1 首先，我們最原始的起始url是在我們爬蟲文件中的，通常情況系，起始的url只有一個(gè)，當(dāng)我們的爬蟲文件執(zhí)行的時(shí)候，首先對(duì)起始url發(fā)送請(qǐng)求，將起始url封裝成了請(qǐng)求對(duì)象，將請(qǐng)求對(duì)象傳遞給了引擎，引擎就收到了爬蟲文件給它發(fā)送的封裝了起始URL的請(qǐng)求對(duì)象。我們?cè)谂老x文件中發(fā)送的請(qǐng)求并沒有拿到響應(yīng)（沒有馬上拿到響應(yīng)），只有請(qǐng)求發(fā)送到服務(wù)器端，服務(wù)器端返回響應(yīng)，才能拿到響應(yīng)。

• 2 引擎拿到這個(gè)請(qǐng)求對(duì)象以后，又將請(qǐng)求對(duì)象發(fā)送給了調(diào)度器，隊(duì)列接受到的請(qǐng)求都放到了隊(duì)列當(dāng)中，隊(duì)列中可能存在多個(gè)請(qǐng)求對(duì)象，然后通過(guò)過(guò)濾器，去掉重復(fù)的請(qǐng)求

• 3 調(diào)度器將過(guò)濾后的請(qǐng)求對(duì)象發(fā)送給了引擎，

• 4 引擎將拿到的請(qǐng)求對(duì)象給了下載器

• 5 下載器拿到請(qǐng)求后將請(qǐng)求拿到互聯(lián)網(wǎng)進(jìn)行數(shù)據(jù)下載

• 6 互聯(lián)網(wǎng)將下載好的數(shù)據(jù)發(fā)送給下載器，此時(shí)下載好的數(shù)據(jù)是封裝在響應(yīng)對(duì)象中的

• 7 下載器將響應(yīng)對(duì)象發(fā)送給引擎，引擎接收到了響應(yīng)對(duì)象，此時(shí)引擎中存儲(chǔ)了從互聯(lián)網(wǎng)中下載的數(shù)據(jù)。

• 8 最終，這個(gè)響應(yīng)對(duì)象又由引擎給了spider（爬蟲文件），由parse方法中的response對(duì)象來(lái)接收，然后再parse方法中進(jìn)行解析數(shù)據(jù)，此時(shí)可能解析到新的url，然后再次發(fā)請(qǐng)求；也可能解析到相關(guān)的數(shù)據(jù)，然后將數(shù)據(jù)進(jìn)行封裝得到item，

• 9 spider將item發(fā)送給引擎，

• 10 引擎將item發(fā)送給管道。

其中，在引擎和下載中間還有一個(gè)下載器中間件，spider和引擎中間有爬蟲中間件，

爬蟲中間件

• 攔截請(qǐng)求和響應(yīng)，對(duì)請(qǐng)求和響應(yīng)進(jìn)行處理。

下載器中間件（重點(diǎn)）

• 可以攔截請(qǐng)求和響應(yīng)對(duì)象，請(qǐng)求和響應(yīng)交互的時(shí)候一定會(huì)經(jīng)過(guò)下載中間件，可以處理請(qǐng)求和響應(yīng)。
  • 攔截請(qǐng)求：
    • 篡改請(qǐng)求url
    • 偽裝請(qǐng)求頭信息UA Cookie
    • 設(shè)置請(qǐng)求代理（重點(diǎn)）
  • 攔截響應(yīng)
    • 篡改響應(yīng)數(shù)據(jù)
  • 代理操作必須使用中間件才可以實(shí)現(xiàn)
    • process_exception:
      • request.meta[‘proxy’] = ‘http://ip:port’ # 設(shè)置代理

創(chuàng)建工程

創(chuàng)建一個(gè)爬蟲工程：scrapy startproject proName
進(jìn)入工程目錄創(chuàng)建爬蟲源文件：scrapy genspider spiderName www.xxx.com
執(zhí)行工程：scrapy crawl spiderName

對(duì)middlewares.py進(jìn)行精簡(jiǎn)并編輯

• 只留下下載中間件的類容

from scrapy import signals from itemadapter import is_item, ItemAdapterclass MiddleproDownloaderMiddleware(object):# 攔截所有(正常&異常)的請(qǐng)求# 參數(shù)： request就是攔截到的請(qǐng)求，spider就是爬蟲類實(shí)例化的對(duì)象def process_request(self, request, spider):print('process_request()')return None # or request# 攔截所有的響應(yīng)對(duì)象# 參數(shù)：response攔截到的響應(yīng)對(duì)象，request響應(yīng)對(duì)象對(duì)應(yīng)的請(qǐng)求對(duì)象def process_response(self, request, response, spider):print('process_response()')return response# 攔截異常的請(qǐng)求# 參數(shù)：request就是攔截到的發(fā)生異常的請(qǐng)求# 作用：想要將異常的請(qǐng)求進(jìn)行修正，將其變成正常的請(qǐng)求，然后對(duì)其進(jìn)行重新發(fā)送def process_exception(self, request, exception, spider):# 請(qǐng)求的ip被禁掉，該請(qǐng)求就會(huì)變成一個(gè)異常的請(qǐng)求request.meta['proxy'] = 'http://ip:port' # 設(shè)置代理print('process_exception()')return request #將異常的請(qǐng)求修正后進(jìn)行重新發(fā)送

總結(jié)

以上是生活随笔為你收集整理的17-爬虫之scrapy框架五大核心组件工作流程及下载中间件介绍04的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。