本次主要學(xué)習(xí)內(nèi)容有requests\BeautifulSoup\scrapy\re，目前除了scrapy其他剛好看完。并搬運(yùn)實(shí)現(xiàn)了一些小項(xiàng)目如58同城租房信息爬取、淘寶搜索商品項(xiàng)目，現(xiàn)將從爬蟲(chóng)基本方法、實(shí)戰(zhàn)和遇到的問(wèn)題三個(gè)方面進(jìn)行總結(jié)。

1.基本方法

首先就是requests庫(kù)，是python最簡(jiǎn)易實(shí)用的HTTP庫(kù)，是一個(gè)請(qǐng)求庫(kù)。主要方法如下，其中requests.request()方法最常用，用于構(gòu)造請(qǐng)求，是其他幾種方法的總和。其余方法如get()獲取HTML網(wǎng)頁(yè)，head()獲取網(wǎng)頁(yè)head標(biāo)簽，post()\pu()t用于提交對(duì)應(yīng)請(qǐng)求，patch()進(jìn)行局部修改，delete()提交刪除請(qǐng)求。

著重介紹request.get()方法，requests.get(url, params=None,**kwargs)

其中url為頁(yè)面鏈接，params為額外參數(shù)，字典格式，**kwargs包含了12個(gè)控制訪問(wèn)的參數(shù)。（params\data\json\headers\cookies\auth\files\timeout\proxies\allow_redirects\stream\verify\cert）

通常我們使用get()方法獲取頁(yè)面的內(nèi)容。

接著介紹請(qǐng)求得到的Response對(duì)象，見(jiàn)下表。

總結(jié)

以上是生活随笔為你收集整理的请查收，一份让你年薪突破20W的Python爬虫笔记的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。