1.請求頭信息得一致

當你捕獲到一個采用JSOUP?去請求超時的鏈接，我是通過catch?去發現。

try{

doc = Jsoup.connect(url)

.header("User-Agent", "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:49.0) Gecko/20100101 Firefox/49.0")

.header("Connection", "close")//如果是這種方式，這里務必帶上

.timeout(8000)//超時時間

.get();

} catch (Exception e) {//可以精確處理timeoutException

//超時處理

}

通過try···catch?去發現超時，然后結合自己的處理，這里要說幾個問題。

請求頭信息，在你嘗試去爬取對方的內容的時候，需要盡可能的和你在http瀏覽器請求的請求頭一致，注意是請求頭，不是相應頭。

在請求頭里務必加上Connection：close?，有同學可能會問，這個不是相應頭里的嗎？是的，有的時候你看到在請求頭里，有的時候看到在相應頭里，而且一般是?Connection：keep-alive?，你加上就可以了。下面會講到。

當發現對方拒絕請求的時候，把瀏覽器里看到的請求頭全部加上，甚至??Cookie? 也加上，注意換行和空格，需要自己處理下。盡量一行。

如果對方網站過弱，請采用單線程爬取，要不然會大量超時，甚至把對方Kill?了。

如果對方有??IP? 限制，采用??IP? 代理，或者頻率放緩慢一點。

下面看兩張圖對比下。

總結

以上是生活随笔為你收集整理的使用jsoup爬虫超时分析与处理的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。