Scrapy中Request的回调函数不执行
生活随笔
收集整理的這篇文章主要介紹了
Scrapy中Request的回调函数不执行
小編覺(jué)得挺不錯(cuò)的,現(xiàn)在分享給大家,幫大家做個(gè)參考.
一. 舉例
def parse(self, response):...yield Request(url=parse.urljoin(response.url, title_herf), meta=meta,callback=self.parse_detail)def parse_detail(self,response):...二. 原因
調(diào)試的時(shí)候,發(fā)現(xiàn)回調(diào)函數(shù) parse_detail 沒(méi)有被調(diào)用,這可能就是被過(guò)濾掉了,
查看 scrapy 的輸出日志 offsite/filtered 會(huì)顯示過(guò)濾的數(shù)目。
查看手冊(cè)發(fā)現(xiàn),
這些日志信息都是由 scrapy 中的一個(gè) middleware 拋出的,
如果沒(méi)有自定義,那么這個(gè) middleware 就是默認(rèn)的 Offsite Spider Middleware,
它的目的就是過(guò)濾掉那些不在 allowed_domains 列表中的請(qǐng)求 requests
三. 解決
轉(zhuǎn)載注明出處:www.meidanlong.com 😃
總結(jié)
以上是生活随笔為你收集整理的Scrapy中Request的回调函数不执行的全部?jī)?nèi)容,希望文章能夠幫你解決所遇到的問(wèn)題。
- 上一篇: 庖丁解牛启示作文800字
- 下一篇: The server time zone