Python

Python開發

Python語言

Scrapy中response屬性以及內容提取

一.屬性

url ：HTTP響應的url地址,str類型

status：HTTP響應的狀態碼, int類型

headers ：HTTP響應的頭部, 類字典類型, 可以調用get或者getlist方法對其進行訪問

body：HTTP響應正文, bytes類型

text：文本形式的HTTP響應正文, str類型

response.text = response.body.decode(response.encoding)

encoding：HTTP響應正文的編碼

reqeust：產生該HTTP響應的Reqeust對象

meta：即response.request.meta, 在構造Request對象時, 可將要傳遞給響應處理函數的信息通過meta參數傳入, 響應處理函數處理響應時, 通過response.meta將信息提取出來

selector：Selector對象用于在Response中提取數據使用下面詳細將,主要是 xpath,css取值之后的處理

xpath(query)：下面詳細講解

css(query) ：下面詳細講解

urljoin(url) ：用于構造絕對url, 當傳入的url參數是一個相對地址時, 根據response.url計算出相應的絕對url.

二.Selector對象

Selector 對象和SelectorList對象都有以下幾種方法。

extract() 返回選中內容的Unicode字符串

re("正則表達式") 正則提取

extract_first()(SelectorList獨有)

返回列表中的第一個元素內容

re_first()(SelectorList獨有)

返回列表中的第一個元素內容

三.CSS

response.css('css選擇器')返回值是Selector對象

獲取一個

response.css('css選擇器').extract_first()

獲取全部

response.css('css選擇器').extract()

獲取其中某個屬性

response.css('css選擇器::attr(屬性名)').extract()

只要標簽里的文本

(response.css('css選擇器::text').extract()

四.xpath

response.css('xpath選擇器')返回值是Selector對象

內容來源于網絡，如有侵權請聯系客服刪除

創作挑戰賽新人創作獎勵來咯，堅持創作打卡瓜分現金大獎

總結

以上是生活随笔為你收集整理的pythonresponse对象的属性_Scrapy中response属性以及内容提取的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。