提及爬蟲相信大家都知道，今天為大家介紹五點解決反爬的機制。

1、SSL證書驗證錯誤

錯誤：

requests.exceptions.SSLError: ("bad handshake: Error([('SSL routines', 'tls_process_server_certificate', 'certificate verify failed')],)",)

解決辦法

import requests url = "https://www.baidu.com/" response = requests.get(url,verify=False).content.decode() # 默認解碼方式為UTF-8 print(response)

2、用戶user-agent過于頻繁

注意：有些網站會統計單個user-agent單位時間訪問服務器的次數。
解決方法：

pip install fake_useragent # 安裝ua庫 from fake_useragent import UserAgent import requests url = 'https://www.baidu.com/' ua = UserAgent().random header = {'User-Agent': ua} response = requests.get(url, headers=header, verify=False).content.decode() print(response)

總結

以上是生活随笔為你收集整理的西北乱跑娃 --- requests爬虫五大反反爬机制的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。