Python 理解使用requests库爬取数据
生活随笔
收集整理的這篇文章主要介紹了
Python 理解使用requests库爬取数据
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
requests庫是爬取數據的第三方庫,安裝方法:
pip3 install requests用法:
r = requests.get(url)r 是返回的response對象,有五個最常用的屬性:
| r.status_code | HTTP返回的請求狀態,200表示成功,400表示失敗 |
| r.text | HTTP響應內容的字符串形式,即url對應的頁面內容 |
| r.encoding | HTTPheader中猜測的響應內容編碼方式 |
| r.apparent_encoding | 從內容中分析出的響應內容編碼方式(備選編碼方式) |
| r.content | HTTP響應的二進制形式 |
r.encoding:若header中沒有charset字段,則認為編碼為ISO-8859-1
r.apparent_encoding:是根據返回的HTTP內容而不是響應頭部分,分析出的編碼方式
有時,爬取的數據會出現亂碼,可能就是響應頭中的沒有charset字段,默認編碼ISO-8859-1,這時候可以通過修改響應的編碼方式來獲取我們想要的數據:
r.encoding = 'utf-8'?
總結
以上是生活随笔為你收集整理的Python 理解使用requests库爬取数据的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 软件测试日语专业术语,【软件工程师日语】
- 下一篇: 英特尔核显运行opengl时的帧数过高或