https://www.xin3721.com/eschool/pythonxin3721/

Scrapy.http.Request

自動去重，根據url的哈希值，進行去重

屬性

meta(dict) 　　 　　?在不同的請求之間傳遞數據，dict

priority(int) 　　　　?此請求的優先級(默認為0)

dont_filter(boolean)? 關閉自動去重

errback(callable) 　? 在處理請求時引發任何異常時將調用的函數

flags(list) 　　　　? ?發送給請求的標志，可用于日志記錄或類似目的

方法

copy() 　　　　返回一個新的請求，該請求是此請求的副本

replace()? ? 　　返回一個更新對的request

FormRequest

scrapy框架內置了一個FormRequest類，它擴展了基類Request，具有處理HTML表單的功能

post請求的時候，使用FormRequest將數據傳入formdata參數即可

日志使用

LOG_FILE　　　　　　　　?日志輸出文件，如果為None，就打印在控制臺

LOG_ENABLED 　　　　　? 是否啟用日志，默認True

LOG_ENCODING? ? 　　　? ?日期編碼，默認utf-8

LOG_LEVEL 　　　　　　　日志等級，默認debug

LOG_FORMAT 　　　　　　日志格式

LOG_DATEFORMAT　　　? 日志日期格式

LOG_STDOUT 　　　　　　日志標準輸出，默認False，如果True所有標準輸出都將寫入日志中

LOG_SHORT_NAMES? ?　　短日志名，默認為False，如果True將不輸出組件名

一般只在settings配置文件中添加

總結

以上是生活随笔為你收集整理的python scrapy request_Scrapy中的Request和日志分析|python基础教程|python入门|python教程...的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。