使用爬蟲框架htmlunit整合springboot不兼容的一個問題

本來使用htmlunit爬蟲爬取數據非常正常好用，之前一直是直接java程序或者整合Javaswing界面，都沒有問題，但是后來整合springboot變成BS架構之后，同樣的代碼卻報錯，報錯

信息如下：

這個錯誤很常見，網上搜索得到的答案也千篇一律，就是解決動態網頁的獲取問題，添加對js的支持，但是我的代碼單獨運行時沒有問題的，而且也并不是爬取所有的網頁都有這個錯誤，只是有些無法爬取，這個問題困擾了我好久，隱約覺得不是網上說的那種原因，是別的的未知原因引發了這個錯誤，那最有可能的原因就是跟整合springboot有關系，沒辦法，重新創建一個最簡單的springboot項目，整合好htmlunit一個個排查，發現依然如此，可以肯定是因為整合了springboot，那接著排查是否是jar包沖突，按理說jar沖突會報錯提醒，但是卻沒有相關的沖突報錯信息，后來想到使用htmlunit時需要log4j的支持，否則也會報錯，那會不會是因為日志沖突的原因呢？springboot默認的日志是logback，雖然jar都有，也沒有相關的報錯信息，但是有可能是日志沖突導致錯誤，果斷去掉logback，

重啟，果然可以運行，但是日志系統需要自己重新書寫了，雖然為啥沒有報日志的相關錯誤，但是總算是找到了解決辦法，特在此記錄一下。

2018年8月6日晚更新......

后來當整合Jalopy格式化java代碼時，又出現了不兼容的情況，最終發現依賴的log4j不要使用maven加載，而是創建lib文件夾第三方引入，并且排列在第一位即可解決兼容問題。

于是乎想到htmlunit會不會也是這樣，果然，嘗試后如此。

總結

以上是生活随笔為你收集整理的spring日志报错提醒_使用爬虫框架htmlunit整合springboot出现的一个不兼容问题的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。