一. 舉例

def parse(self, response):...yield Request(url=parse.urljoin(response.url, title_herf), meta=meta,callback=self.parse_detail)def parse_detail(self,response):...

二. 原因

調試的時候，發現回調函數 parse_detail 沒有被調用，這可能就是被過濾掉了，
查看 scrapy 的輸出日志 offsite/filtered 會顯示過濾的數目。

查看手冊發現，
這些日志信息都是由 scrapy 中的一個 middleware 拋出的，
如果沒有自定義，那么這個 middleware 就是默認的 Offsite Spider Middleware，
它的目的就是過濾掉那些不在 allowed_domains 列表中的請求 requests

三. 解決

在 allowed_domains 中加入 url

在 scrapy.Request() 函數中將參數 dont_filter=True 設置為 True

def parse(self, response):...yield Request(url=parse.urljoin(response.url, title_herf), meta=meta,callback=self.parse_detail,dont_filter=True) -------------------------------------------------^ def parse_detail(self,response):...

---

轉載注明出處：www.meidanlong.com 😃

總結

以上是生活随笔為你收集整理的Scrapy中Request的回调函数不执行的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。