the website is the API
Requests robots.txt beautiful soup projects 正則表達式 Scrapy
12單元 4個實例
工具：IDLE,Sublime Text,VSCode&PTVS,pycharm, Canopy,Anaconda&Spyder
在annaconda中配置環(huán)境 安裝：“pip install requests”(翻墻確實會更快 )
get方法：
python的requests模塊參數(shù)詳解
requests.get()參數(shù)

1.簡單爬取百度

import requests r =requests.get("http://www.baidu.com") r.status_code r.encoding='utf-8' r.text

requset.get(url)
注：python大小寫敏感

完整有三個參數(shù)

其實都是request方法


返回200代表獲得成功

重要：
apparent_encoding從內容中分析而不是header

import requests r =requests.get("http://www.baidu.com") r.status_code r.encoding =r.apparent_encoding//自動處理，apparent_encoding從內容中分析而不是header r.text

涉及到異常處理，所以用try except語句（這里的timeout設置的很小）

request庫對應的六個方法







就是正常的請求功能

params：指能增加到url中的參數(shù)

data:向服務器提供或提交數(shù)據(jù)時使用


header：修改頭字段，模擬不同瀏覽器


files：傳遞文件

timeout:超時時間

proxies：代理服務器，有效防止逆追蹤


summray

與requests完全一樣

與requests完全一樣




summary

總結

以上是生活随笔為你收集整理的丑憨批的爬虫笔记1（导学+requests））的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內容還不錯，歡迎將生活随笔推薦給好友。