?scrapy的概念

1.為什么要學習Scrapy？

? ? ?因為會讓我們的爬蟲更快、更強

2.什么是scrapy？

? ? ?(1)?Scrapy是一個為了爬取網站數據，提取結構性數據而編寫的應用框架，我們只需要實現少量的代碼，就能夠快速的抓取

? ? *** 框架：特定需求下的所有功能***? ，? 知道框架和模塊的區別

? ? （2）Scrapy 使用了 Twisted['tw?st?d]異步網絡框架，可以加快我們的下載速度。

? ? （3）Scrapy的官方文檔? ??http://scrapy-chs.readthedocs.io/zh_CN/1.0/intro/overview.html

3. ?異步與非阻塞的區別? ? （?補充）

? ? ?

? ?(1)? ?同步或異步指的是這樣的一個過程??

? ? ? ? ? 阻塞或非阻塞指的是拿到結果之前的狀態

?(2)? ?異步：調用在發出之后，這個調用就直接返回，不管有無結果

? (3)非阻塞：關注的是程序在等待調用結果（消息，返回值）時的狀態，指在不能立刻得到結果之前，該調用不會阻塞當前線程。

?scrapy的工作流程

1.? 之前使用的爬蟲流程，獲取響應內容，提取數據、保存數據等

? ? 如圖：

2.scrapy的爬蟲流程
??

? 圖的解釋：

? ??

? ? (1)? 中間? Scrapy Engline (scrapy 引擎)? ： 這個四個大模塊是獨立的，彼此之間沒有聯系，之間的聯系都是通過

? ? ? ? ?scrapy引擎來進行調度，scrapy引擎讓誰執行誰就執行，類似于指揮交通的交警

? ?（2）Downloader Middlewares （下載中間鍵）：引擎會先把Requets對象交給下載中間鍵再然后交給Downloader

? ?（3） Spider Middlewares (爬蟲中間鍵) ： 引擎會先把response交給爬蟲中間鍵再交給Spiders

? ? (4)? 因為有引擎的存在，所以可以在中間鍵進行一些處理?

?

總結

以上是生活随笔為你收集整理的Scrapy框架的学习(1.scrapy的概念以及scrapy的工作流程)的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。