前言

大家在做數據抓取的時候，經常遇到由于網絡問題導致的程序保存，先前只是記錄了錯誤內容，并對錯誤內容進行后期處理。

原先的流程：

def crawl_page(url):

pass

def log_error(url):

pass

url = ""

try:

crawl_page(url)

except:

log_error(url)

改進后的流程：

attempts = 0

success = False

while attempts < 3 and not success:

try:

crawl_page(url)

success = True

except:

attempts += 1

if attempts == 3:

break

最近發現的新的解決方案：retrying

retrying是一個 Python的重試包，可以用來自動重試一些可能運行失敗的程序段。retrying提供一個裝飾器函數retry，被裝飾的函數就會在運行失敗的條件下重新執行，默認只要一直報錯就會不斷重試。

import random

from retrying import retry

@retry

def do_something_unreliable():

if random.randint(0, 10) > 1:

raise IOError("Broken sauce, everything is hosed!!!111one")

else:

return "Awesome sauce!"

print do_something_unreliable()

如果我們運行have_a_try函數，那么直到random.randint返回5，它才會執行結束，否則會一直重新執行。

retry還可以接受一些參數，這個從源碼中Retrying類的初始化函數可以看到可選的參數：

stop_max_attempt_number：用來設定最大的嘗試次數，超過該次數就停止重試

stop_max_delay：比如設置成10000，那么從被裝飾的函數開始執行的時間點開始，到函數成功運行結束或者失敗報錯中止的時間點，只要這段時間超過10秒，函數就不會再執行了

wait_fixed：設置在兩次retrying之間的停留時間

wait_random_min和wait_random_max：用隨機的方式產生兩次retrying之間的停留時間

wait_exponential_multiplier和wait_exponential_max：以指數的形式產生兩次retrying之間的停留時間，產生的值為2^previous_attempt_number * wait_exponential_multiplier，previous_attempt_number是前面已經retry的次數，如果產生的這個值超過了wait_exponential_max的大小，那么之后兩個retrying之間的停留值都為wait_exponential_max。這個設計迎合了exponential backoff算法，可以減輕阻塞的情況。

我們可以指定要在出現哪些異常的時候再去retry，這個要用retry_on_exception傳入一個函數對象：

def retry_if_io_error(exception):

return isinstance(exception, IOError)

@retry(retry_on_exception=retry_if_io_error)

def read_a_file():

with open("file", "r") as f:

return f.read()

在執行read_a_file函數的過程中，如果報出異常，那么這個異常會以形參exception傳入retry_if_io_error函數中，如果exception是IOError那么就進行retry，如果不是就停止運行并拋出異常。

我們還可以指定要在得到哪些結果的時候去retry，這個要用retry_on_result傳入一個函數對象：

def retry_if_result_none(result):

return result is None

@retry(retry_on_result=retry_if_result_none)

def get_result():

return None

在執行get_result成功后，會將函數的返回值通過形參result的形式傳入retry_if_result_none函數中，如果返回值是None那么就進行retry，否則就結束并返回函數值。

總結

以上就是這篇文章的全部內容了，希望本文的內容對大家的學習或者工作能帶來一定的幫助，如果有疑問大家可以留言交流，謝謝大家對的支持。

總結

以上是生活随笔為你收集整理的php 异常 重试,Python中异常重试的解决方案详解的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。