渣渣業(yè)余選手講解，關(guān)于爬取數(shù)據(jù)缺失的補(bǔ)坑，一點(diǎn)點(diǎn)關(guān)于Python數(shù)據(jù)爬取的坑坑洼洼如何鏟平，個(gè)人的一些心得體會(huì)，還有結(jié)合實(shí)例的數(shù)據(jù)缺失的補(bǔ)全，幾點(diǎn)參考，僅供觀賞，如有雷同，那肯定是我抄襲的！

在使用Python爬取數(shù)據(jù)的過程中，尤其是用你自身電腦進(jìn)行數(shù)據(jù)抓取，往往會(huì)有網(wǎng)絡(luò)延遲，或者兼職網(wǎng)管拔插重啟網(wǎng)絡(luò)的情況發(fā)生，這是渣渣碰到的非常普遍的情況，當(dāng)然推薦還是推薦使用服務(wù)器抓取數(shù)據(jù)。

當(dāng)然這是比較常見和可控的網(wǎng)絡(luò)爬取的異常，處理還是有不少方法或者說是方案的，也是這里著重談?wù)劦呐廊?shù)據(jù)缺失的補(bǔ)坑。

補(bǔ)坑一：timeou=x 的設(shè)置

requests抓取網(wǎng)頁數(shù)據(jù)中，timeou屬性建議一定要設(shè)置，一般為timeou=5，建議設(shè)置5s以上，如果你的網(wǎng)絡(luò)差，或者抓取的網(wǎng)頁服務(wù)器延遲比較厲害，比如國內(nèi)訪問國外網(wǎng)站服務(wù)器，建議設(shè)置10s以上！

為什么要設(shè)置imeou=x呢？

避免網(wǎng)絡(luò)延遲，程序卡死，死機(jī)，連報(bào)錯(cuò)都不會(huì)出現(xiàn)，一直停滯在網(wǎng)頁訪問的過程中，這在 pyinstaller 打包的exe程序 使用中尤為常見！

超時(shí)（timeout）

為防止服務(wù)器不能及時(shí)響應(yīng)，大部分發(fā)至外部服務(wù)器的請求都應(yīng)該帶著 timeout 參數(shù)。

在默認(rèn)情況下，除非顯式指定了 timeout 值，requests 是不會(huì)自動(dòng)進(jìn)行超時(shí)處理的。

如果沒有 timeout，你的代碼可能會(huì)掛起若干分鐘甚至更長時(shí)間。

連接超時(shí)指的是在你的客戶端實(shí)現(xiàn)到遠(yuǎn)端機(jī)器端口的連接時(shí)（對應(yīng)的是 connect() ），Request 會(huì)等待的秒數(shù)。

一個(gè)很好的實(shí)踐方法是把連接超時(shí)設(shè)為比 3 的倍數(shù)略大的一個(gè)數(shù)值，因?yàn)?TCP 數(shù)據(jù)包重傳窗口 (TCP packet retransmission window) 的默認(rèn)大小是 3。

在爬蟲代理這一塊我們經(jīng)常會(huì)遇到請求超時(shí)的問題，代碼就卡在哪里，不報(bào)錯(cuò)也沒有requests請求的響應(yīng)。

通常的處理是在requests.get()語句中加入timeout限制請求時(shí)間req = requests.get(url, headers=headers, proxies=proxies, timeout=5)

如果發(fā)現(xiàn)設(shè)置timeout=5后長時(shí)間不響應(yīng)問題依然存在，可以將timeout里的參數(shù)細(xì)化

作出如下修改后，問題就消失了req = requests.get(url, headers=headers, proxies=proxies, timeout=(3,7))

timeout是用作設(shè)置響應(yīng)時(shí)間的，響應(yīng)時(shí)間分為連接時(shí)間和讀取時(shí)間，timeout(3,7)表示的連接時(shí)間是3，響應(yīng)時(shí)間是7，如果只寫一個(gè)的話，就是連接和讀取的timeout總和！

來源：CSDN博主「明天依舊可好」

補(bǔ)坑二：requests超時(shí)重試

requests訪問重試的設(shè)置，你非常熟悉的錯(cuò)誤信息中顯示的是 read timeout（讀取超時(shí)）報(bào)錯(cuò)。

超時(shí)重試的設(shè)置，雖然不能完全避免讀取超時(shí)報(bào)錯(cuò)，但能夠大大提升你的數(shù)據(jù)獲取量，避免偶爾的網(wǎng)絡(luò)超時(shí)而無法獲取數(shù)據(jù)，避免你后期大量補(bǔ)坑數(shù)據(jù)。

一般超時(shí)我們不會(huì)立即返回，而會(huì)設(shè)置一個(gè)三次重連的機(jī)制。def gethtml(url):

i = 0

while i < 3:

try:

html = requests.get(url, timeout=5).text

return html

except requests.exceptions.RequestException:

i += 1

其實(shí) requests 已經(jīng)幫我們封裝好了。（但是代碼好像變多了...）import time

import requests

from requests.adapters import HTTPAdapter

s = requests.Session()

s.mount('http://', HTTPAdapter(max_retries=3))

s.mount('https://', HTTPAdapter(max_retries=3))

print(time.strftime('%Y-%m-%d %H:%M:%S'))

try:

r = s.get('http://www.google.com.hk', timeout=5)

return r.text

except requests.exceptions.RequestException as e:

print(e)

print(time.strftime('%Y-%m-%d %H:%M:%S'))

max_retries 為最大重試次數(shù)，重試3次，加上最初的一次請求，一共是4次，所以上述代碼運(yùn)行耗時(shí)是20秒而不是15秒2020-01-11 15:34:03

HTTPConnectionPool(host='www.google.com.hk', port=80): Max retries exceeded with url: / (Caused by ConnectTimeoutError(, 'Connection to www.google.com.hk timed out. (connect timeout=5)'))

2020-01-11 15:34:23

來源：大齡碼農(nóng)的Python之路

補(bǔ)坑三：urlretrieve（）函數(shù) 下載圖片

解決urlretrieve下載不完整問題且避免用時(shí)過長

下載文件出現(xiàn)urllib.ContentTooShortError且重新下載文件會(huì)存在用時(shí)過長的問題，而且往往會(huì)嘗試好幾次，甚至十幾次，偶爾會(huì)陷入死循環(huán)，這種情況是非常不理想的。為此，筆者利用socket模塊，使得每次重新下載的時(shí)間變短，且避免陷入死循環(huán)，從而提高運(yùn)行效率。

以下為代碼：import socket

import urllib.request

#設(shè)置超時(shí)時(shí)間為30s

socket.setdefaulttimeout(30)

#解決下載不完全問題且避免陷入死循環(huán)

try:

urllib.request.urlretrieve(url,image_name)

except socket.timeout:

count = 1

while count <= 5:

try:

urllib.request.urlretrieve(url,image_name)

break

except socket.timeout:

err_info = 'Reloading for %d time'%count if count == 1 else 'Reloading for %d times'%count

print(err_info)

count += 1

if count > 5:

print("downloading picture fialed!")

來源：CSDN博主「山陰少年」

補(bǔ)坑四：time.sleep的使用

Python time sleep() 函數(shù)推遲調(diào)用線程的運(yùn)行，可通過參數(shù)secs指秒數(shù)，表示進(jìn)程掛起的時(shí)間。

某些網(wǎng)頁請求過快，如果沒有設(shè)置延遲1-2s，你是不會(huì)抓取到數(shù)據(jù)的！

當(dāng)然這種情況還是比較少數(shù)！

想要順利采集數(shù)據(jù)，不管什么方法，目的只有一個(gè)：記錄下最后的狀態(tài)，也就是你的抓取日志文件系統(tǒng)一定要完善！

附：

一次完整的數(shù)據(jù)補(bǔ)坑實(shí)例：

異常處理記錄源碼：s = requests.session()

s.mount('http://', HTTPAdapter(max_retries=3))

s.mount('https://', HTTPAdapter(max_retries=3))

try:

print(f">>> 開始下載 {img_name}圖片 ...")

r=s.get(img_url,headers=ua(),timeout=15)

with open(f'{path}/{img_name}','wb') as f:

f.write(r.content)

print(f">>>下載 {img_name}圖片 成功！")

time.sleep(2)

except requests.exceptions.RequestException as e:

print(f"{img_name}圖片-{img_url}下載失敗！")

with open(f'{path}/imgspider.txt','a+') as f:

f.write(f'{img_url},{img_name},{path}-下載失敗，錯(cuò)誤代碼：{e}！\n')

下載圖片報(bào)錯(cuò)：

異常文件記錄數(shù)據(jù)：https://www.red-dot.org/index.php?f=65894&token=2aa10bf1c4ad54ea3b55f0f35f57abb4ba22cc76&eID=tx_solr_image&size=large&usage=overview,1_1_KRELL Automotive.jpg,2019Communication Design/Film & Animation-下載失敗，錯(cuò)誤代碼：HTTPSConnectionPool(host='www.red-dot.org', port=443): Max retries exceeded with url: /index.php?f=65894&token=2aa10bf1c4ad54ea3b55f0f35f57abb4ba22cc76&eID=tx_solr_image&size=large&usage=overview (Caused by ReadTimeoutError("HTTPSConnectionPool(host='www.red-dot.org', port=443): Read timed out. (read timeout=15)"))！

https://www.red-dot.org/index.php?f=65913&token=8cf9f213e28d0e923e1d7c3ea856210502f57df3&eID=tx_solr_image&size=large&usage=overview,1_2_OLX – Free Delivery.jpg,2019Communication Design/Film & Animation-下載失敗，錯(cuò)誤代碼：HTTPSConnectionPool(host='www.red-dot.org', port=443): Read timed out.！

https://www.red-dot.org/index.php?f=65908&token=426484d233356d6a1d4b8044f4994e1d7f8c141a&eID=tx_solr_image&size=large&usage=overview,1_3_Dentsu Aegis Network’s Data Training – Data Foundation.jpg,2019Communication Design/Film & Animation-下載失敗，錯(cuò)誤代碼：HTTPSConnectionPool(host='www.red-dot.org', port=443): Max retries exceeded with url: /index.php?f=65908&token=426484d233356d6a1d4b8044f4994e1d7f8c141a&eID=tx_solr_image&size=large&usage=overview (Caused by NewConnectionError(': Failed to establish a new connection: [Errno 11004] getaddrinfo failed'))！

數(shù)據(jù)補(bǔ)坑思路：

第一步：搜索到異常記錄文件，獲取到文件路徑

第二步：打開文件，獲取到相關(guān)數(shù)據(jù)信息

第三步：重新下載圖片信息，補(bǔ)充圖片數(shù)據(jù)

幾個(gè)關(guān)鍵點(diǎn)：

1.搜索異常文件，我這里是 imgspider.txt#搜索文件

def search(path,key):

"""

文件目錄里 搜索想要查找的文件 輸出文件所在路徑

:param path: 想要搜索查詢的目錄

:param key: 搜索的文件關(guān)鍵字

:return: 返回目錄

"""

key_paths=[]

#查看當(dāng)前目錄文件列表（包含文件夾）

allfilelist = os.listdir(path)

print(allfilelist)

for filelist in allfilelist:

if "." not in filelist:

filespath=os.path.join(path, filelist)

files= os.listdir(filespath)

print(files)

for file in files:

if "." not in file:

filepath=os.path.join(filespath, file)

file = os.listdir(filepath)

for file_name in file:

if key in file_name:

key_path=os.path.join(filepath,file_name)

print(f'找到文件，路徑為{key_path}')

key_paths.append(key_path)

else:

if key in filelist:

key_path=os.path.join(path, filelist)

print(f'找到文件，路徑為{key_path}')

key_paths.append(key_path)

return key_paths

這里只寫到二級目錄，其實(shí)可以改成遞歸函數(shù)調(diào)用，結(jié)合gui界面制作簡易文件搜索工具助手！

搜索文件效果：

2.圖片數(shù)據(jù)的處理

字符串分割函數(shù) split

需要提取到三個(gè)信息，也就是異常記錄里的信息內(nèi)容

1.img_url：圖片下載地址

2.img_name：圖片名稱

3.path：圖片存儲(chǔ)路徑for data in datas:

img_data=data.split('-下載失敗')[0]

img_url=img_data.split(',')[0]

img_name = img_data.split(',')[1]

path = img_data.split(',')[2]

print(img_name,img_url,path)

補(bǔ)坑效果：

附完整源碼：# -*- coding: utf-8 -*-

#python3.7

# 20200111 by 微信：huguo00289

import os,time,requests

from fake_useragent import UserAgent

from requests.adapters import HTTPAdapter #引入 HTTPAdapter 庫

#構(gòu)成協(xié)議頭

def ua():

ua=UserAgent()

headers={"User-Agent":ua.random}

return headers

#搜索文件

def search(path,key):

"""

文件目錄里 搜索想要查找的文件 輸出文件所在路徑

:param path: 想要搜索查詢的目錄

:param key: 搜索的文件關(guān)鍵字

:return: 返回目錄

"""

key_paths=[]

#查看當(dāng)前目錄文件列表（包含文件夾）

allfilelist = os.listdir(path)

print(allfilelist)

for filelist in allfilelist:

if "." not in filelist:

filespath=os.path.join(path, filelist)

files= os.listdir(filespath)

print(files)

for file in files:

if "." not in file:

filepath=os.path.join(filespath, file)

file = os.listdir(filepath)

for file_name in file:

if key in file_name:

key_path=os.path.join(filepath,file_name)

print(f'找到文件，路徑為{key_path}')

key_paths.append(key_path)

else:

if key in filelist:

key_path=os.path.join(path, filelist)

print(f'找到文件，路徑為{key_path}')

key_paths.append(key_path)

return key_paths

#獲取圖片下載失敗的文件記錄路徑

def get_pmimgspider():

img_paths=[]

key = "imgspider"

categorys = [

"Advertising", "Annual Reports", "Apps", "Brand Design & Identity", "Brands", "Corporate Design & Identity",

"Fair Stands", "Film & Animation", "Illustrations", "Interface & User Experience Design",

"Online", "Packaging Design", "Posters", "Publishing & Print Media", "Retail Design", "Sound Design",

"Spatial Communication", "Typography", "Red Dot_Junior Award",

]

for category in categorys:

path = f'2019Communication Design/{category}'

key_paths = search(path, key)

img_paths.extend(key_paths)

print(img_paths)

return img_paths

#下載圖片

def get_img(img_name,img_url,path):

s = requests.session()

s.mount('http://', HTTPAdapter(max_retries=3))

s.mount('https://', HTTPAdapter(max_retries=3))

try:

print(f">>> 開始下載 {img_name}圖片 ...")

r=s.get(img_url,headers=ua(),timeout=15)

with open(f'{path}/{img_name}','wb') as f:

f.write(r.content)

print(f">>>下載 {img_name}圖片 成功！")

time.sleep(2)

except requests.exceptions.RequestException as e:

print(f"{img_name}圖片-{img_url}下載失敗！")

with open(f'{path}/imgspider.txt','a+') as f:

f.write(f'{img_url},{img_name},{path}-下載失敗，錯(cuò)誤代碼：{e}！\n')

def main2():

img_paths = get_pmimgspider()

for img_path in img_paths:

print(img_path)

with open(img_path) as f:

datas = f.readlines()

print(datas)

for data in datas:

img_data=data.split('-下載失敗')[0]

img_url=img_data.split(',')[0]

img_name = img_data.split(',')[1]

path = img_data.split(',')[2]

print(img_name,img_url,path)

get_img(img_name, img_url, path)

if __name__=="__main__":

main2()

總結(jié)

以上是生活随笔為你收集整理的python抓取数据时失败_爬取数据缺失的补坑，Python数据爬取的坑坑洼洼如何铲平...的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。