@Author：Runsen

scrapy中的強大媒體管道（二）

上文用scrapy 爬百度美女圖片，補充如何重寫默認管道知識點，當年爬取的網站是：http://www.27270.com/。但是這里也訪問不了，網站沒了。所以下面的筆記當作回憶。

上次我們是直接使用了圖片管道，有時候我們需要重寫管道。
一般重寫get_media_requests 和item_completed

• get_media_requests 一般用來加上請求頭
• item_completed 保存路徑

下面就是圖片管道的源碼

下面的代碼是之前用Scrapy爬取百度圖片的pipelines.py，現在我們重寫了get_media_requests，和item_completed方法。

import scrapy from scrapy.pipelines.image

總結

以上是生活随笔為你收集整理的三十六、Scrapy 中的复写默认管道和Rule扩展的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。