一. 舉例

def parse(self, response):...yield Request(url=parse.urljoin(response.url, title_herf), meta=meta,callback=self.parse_detail)def parse_detail(self,response):...

二. 原因

調(diào)試的時(shí)候，發(fā)現(xiàn)回調(diào)函數(shù) parse_detail 沒(méi)有被調(diào)用，這可能就是被過(guò)濾掉了，
查看 scrapy 的輸出日志 offsite/filtered 會(huì)顯示過(guò)濾的數(shù)目。

查看手冊(cè)發(fā)現(xiàn)，
這些日志信息都是由 scrapy 中的一個(gè) middleware 拋出的，
如果沒(méi)有自定義，那么這個(gè) middleware 就是默認(rèn)的 Offsite Spider Middleware，
它的目的就是過(guò)濾掉那些不在 allowed_domains 列表中的請(qǐng)求 requests

三. 解決

在 allowed_domains 中加入 url

在 scrapy.Request() 函數(shù)中將參數(shù) dont_filter=True 設(shè)置為 True

def parse(self, response):...yield Request(url=parse.urljoin(response.url, title_herf), meta=meta,callback=self.parse_detail,dont_filter=True) -------------------------------------------------^ def parse_detail(self,response):...

---

轉(zhuǎn)載注明出處：www.meidanlong.com 😃

總結(jié)

以上是生活随笔為你收集整理的Scrapy中Request的回调函数不执行的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。