Python 理解使用requests库爬取数据
生活随笔
收集整理的這篇文章主要介紹了
Python 理解使用requests库爬取数据
小編覺得挺不錯(cuò)的,現(xiàn)在分享給大家,幫大家做個(gè)參考.
requests庫是爬取數(shù)據(jù)的第三方庫,安裝方法:
pip3 install requests用法:
r = requests.get(url)r 是返回的response對(duì)象,有五個(gè)最常用的屬性:
| r.status_code | HTTP返回的請(qǐng)求狀態(tài),200表示成功,400表示失敗 |
| r.text | HTTP響應(yīng)內(nèi)容的字符串形式,即url對(duì)應(yīng)的頁面內(nèi)容 |
| r.encoding | HTTPheader中猜測(cè)的響應(yīng)內(nèi)容編碼方式 |
| r.apparent_encoding | 從內(nèi)容中分析出的響應(yīng)內(nèi)容編碼方式(備選編碼方式) |
| r.content | HTTP響應(yīng)的二進(jìn)制形式 |
r.encoding:若header中沒有charset字段,則認(rèn)為編碼為ISO-8859-1
r.apparent_encoding:是根據(jù)返回的HTTP內(nèi)容而不是響應(yīng)頭部分,分析出的編碼方式
有時(shí),爬取的數(shù)據(jù)會(huì)出現(xiàn)亂碼,可能就是響應(yīng)頭中的沒有charset字段,默認(rèn)編碼ISO-8859-1,這時(shí)候可以通過修改響應(yīng)的編碼方式來獲取我們想要的數(shù)據(jù):
r.encoding = 'utf-8'?
總結(jié)
以上是生活随笔為你收集整理的Python 理解使用requests库爬取数据的全部?jī)?nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 软件测试日语专业术语,【软件工程师日语】
- 下一篇: Python——Crypto库实现公钥加