?

Scrapy的整個數據處理流程由Scrapy引擎進行控制，其主要的運行方式為：

引擎打開一個域名，蜘蛛處理這個域名，然后獲取第一個待爬取的URL。

引擎從蜘蛛那獲取第一個需要爬取的URL，然后作為請求在調度中進行調度。

引擎從調度那獲取接下來進行爬取的頁面。

調度將下一個爬取的URL返回給引擎，引擎將他們通過下載中間件發送到下載器。

當網頁被下載器下載完成以后，響應內容通過下載中間件被發送到引擎。

引擎收到下載器的響應并將它通過蜘蛛中間件發送到蜘蛛進行處理。

蜘蛛處理響應并返回爬取到的項目，然后給引擎發送新的請求。

引擎將抓取到的項目項目管道，并向調度發送請求。

系統重復第二部后面的操作，直到調度中沒有請求，然后斷開引擎與域之間的聯系。

轉載于:https://www.cnblogs.com/bushe/p/4003002.html

總結

以上是生活随笔為你收集整理的scrapy 工作流程的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。