java爬蟲問題一：解決使用htmlunit 時候ssl認證失敗問題

凱哥Java 凱哥java

前言：

在使用htmlunit 爬取其他網站信息的時候，提示錯誤信息：unable to find valid certification path to requested target

意思：

說明證書問題。各種檢索，使用了很多方法，以下記錄解決思路：

解決方案一：

一種解決方案是： webClient.getOptions().setUseInsecureSSL(true);

這么設置之后，確實沒有在提示unable to find valid certification path to requested target錯誤了。但是引發了其他的問題。所以該方案不成立。

繼續排查：

解決方案二：

設置setUseInsecureSSL(false);

重要代碼：

WebClient webClient = new WebClient(BrowserVersion.CHROME);

/*** htmlunit unable to find valid certification path to requested target

**/

webClient.getOptions().setThrowExceptionOnScriptError(false);//當JS執行出錯的時候是否拋出異常, 這里選擇不需要

webClient.getOptions().setThrowExceptionOnFailingStatusCode(false);//當HTTP的狀態非200時是否拋出異常, 這里選擇不需要

webClient.getOptions().setActiveXNative(false);

// webClient.getOptions().setCssEnabled(false);//是否啟用CSS, 因為不需要展現頁面, 所以不需要啟用

webClient.getOptions().setJavaScriptEnabled(true); //很重要，啟用JS

webClient.setAjaxController(new NicelyResynchronizingAjaxController());//很重要，設置支持AJAX

添加上面代碼問題完美解決。

總結

以上是生活随笔為你收集整理的JAVA爬虫https_java爬虫问题一：解决使用htmlunit 时候ssl认证失败问题的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。