前言

前幾天爬的今天整理了一下發(fā)現(xiàn)就兩個(gè)需要注意的點(diǎn)

一是記得用帶cookie的方式去訪問，也就是實(shí)例化requests.session()

二是轉(zhuǎn)化一下爬取到的url，訪問爬到的url得到返回的Location值，該值便是真實(shí)的地址(如果你不是要爬url當(dāng)我沒說)

知道了這兩點(diǎn)可以直接先去嘗試一下，并沒有想象的那么難，爬不出來再看代碼

正文

不帶cookie訪問，直接用requests.get()訪問，可以看到只能成功訪問一次。其他的雖然狀態(tài)碼是200但應(yīng)該是觸發(fā)了反爬機(jī)制返回了其他頁面給你

帶cookie訪問，基本上都成功了

轉(zhuǎn)化一下得到的url，得到最終的url

最終代碼

import requests

from bs4 import BeautifulSoup

import time

#將百度的url轉(zhuǎn)成真實(shí)的url

def convert_url(url):

resp = requests.get(url=url,

headers=headers,

allow_redirects=False

)

return resp.headers['Location']

#獲取url

def get_url(wd):

s = requests.session()

#10為第2頁，20為第三頁，30為第四頁，以此類推

for i in range(10, 600, 10):

url = 'https://www.baidu.com/s'

params = {

"wd": wd,

"pn": i,

}

r = s.get(url=url, headers=headers, params=params)

print(r.status_code)

soup = BeautifulSoup(r.text, 'lxml')

for so in soup.select('#content_left .t a'):

g_url = so.get('href')

print(convert_url(g_url))

time.sleep(1 + (i / 10))

if __name__ == '__main__':

headers = {

"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:73.0) Gecko/20100101 Firefox/73.0",

"Host": "www.baidu.com",

}

wd = input("輸入搜索關(guān)鍵字：")

get_url(wd)

總結(jié)

以上是生活随笔為你收集整理的python爬取百度百科搜索结果_用Python抓取百度搜索结果,python,爬取,的的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。