1.請(qǐng)求頭信息得一致

當(dāng)你捕獲到一個(gè)采用JSOUP?去請(qǐng)求超時(shí)的鏈接，我是通過(guò)catch?去發(fā)現(xiàn)。

try{

doc = Jsoup.connect(url)

.header("User-Agent", "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:49.0) Gecko/20100101 Firefox/49.0")

.header("Connection", "close")//如果是這種方式，這里務(wù)必帶上

.timeout(8000)//超時(shí)時(shí)間

.get();

} catch (Exception e) {//可以精確處理timeoutException

//超時(shí)處理

}

通過(guò)try···catch?去發(fā)現(xiàn)超時(shí)，然后結(jié)合自己的處理，這里要說(shuō)幾個(gè)問(wèn)題。

請(qǐng)求頭信息，在你嘗試去爬取對(duì)方的內(nèi)容的時(shí)候，需要盡可能的和你在http瀏覽器請(qǐng)求的請(qǐng)求頭一致，注意是請(qǐng)求頭，不是相應(yīng)頭。

在請(qǐng)求頭里務(wù)必加上Connection：close?，有同學(xué)可能會(huì)問(wèn)，這個(gè)不是相應(yīng)頭里的嗎？是的，有的時(shí)候你看到在請(qǐng)求頭里，有的時(shí)候看到在相應(yīng)頭里，而且一般是?Connection：keep-alive?，你加上就可以了。下面會(huì)講到。

當(dāng)發(fā)現(xiàn)對(duì)方拒絕請(qǐng)求的時(shí)候，把瀏覽器里看到的請(qǐng)求頭全部加上，甚至??Cookie? 也加上，注意換行和空格，需要自己處理下。盡量一行。

如果對(duì)方網(wǎng)站過(guò)弱，請(qǐng)采用單線程爬取，要不然會(huì)大量超時(shí)，甚至把對(duì)方Kill?了。

如果對(duì)方有??IP? 限制，采用??IP? 代理，或者頻率放緩慢一點(diǎn)。

下面看兩張圖對(duì)比下。

總結(jié)

以上是生活随笔為你收集整理的使用jsoup爬虫超时分析与处理的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。