Scrapy Engine(引擎）：負責(zé)Spider、ltemPipeline、Downloader、Scheduler中間的通訊，信號\數(shù)據(jù)傳遞等。
Scheduler(調(diào)度器）：它負責(zé)接受引擎發(fā)送過來的Request請求，并按照一定的方式進行整理排列，入隊，當(dāng)引擎需要時，交還給引擎。
Downloader(下載器）：負責(zé)下載Scrapy Engine(引擎）發(fā)送的所有Request請求，并將其獲取到的
Responses交還給Scrapy Engine(引擎）發(fā)送的所有resquests請求，并將其獲取到的Responses交還給Scrapy Engine(引擎），由引擎交給Spider來處理。
Spider(爬蟲）：它負責(zé)處理所有Response,從中分析提取數(shù)據(jù)，獲取Item字段需要的
數(shù)據(jù)，并將需要跟進的Url提交給引擎，再次進入Scheduler(調(diào)度器）。
ItemPipeline(管道）：它負責(zé)處理Spider中獲取到的Item,并進行后期（詳細分析、過濾、存儲等）的地方。
Downloader Middlewares(下載中間件):你可以當(dāng)作是一個可以自定義擴展下載功能的組件。
Spider Middleware(Spider中間件):你可以理解為是一個可以自定擴展和操作引擎和Spider中間通信的功能組件(比如進入Spider的Responses;和Spider出去的Resquests.

總結(jié)

以上是生活随笔為你收集整理的scrapy框架结构的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。