使用scapy 爬取的時候，少數(shù)請求鏈接會出現(xiàn)請求超時，當出現(xiàn)請求超時時，爬蟲會自動重試三次。若超過180s且三次后仍沒有得到數(shù)據(jù)，就會放棄請求出現(xiàn)twisted.internet.error.TimeoutError 錯誤。此時就出現(xiàn)了爬取失敗的情況。

錯誤原因：

當網(wǎng)絡無法滿足在180s內(nèi)下載完所有的請求數(shù)量，就會出現(xiàn)此類錯誤。

解決辦法：

這里做個示例，具體情況具體分析

1、降低同時請求的數(shù)量

CONCURRENT_REQUESTS = 2

2、 設置合適的超時時間，

DOWNLOAD_TIMEOUT = 1800

3、下載中間件中，捕獲這個報錯，并返回request，讓它重新請求這個對象：

from twisted.internet.error import TimeoutError def process_exception(self, request, exception, spider)：if isinstance(exception, TimeoutError):return request

總結

以上是生活随笔為你收集整理的twisted.internet.error.TimeoutError错误的解决方法的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。