如何避免Puppeteer被前端JS检测
生活随笔
收集整理的這篇文章主要介紹了
如何避免Puppeteer被前端JS检测
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
工具和資料
- QQ群 - Javascript高級爬蟲https://jq.qq.com/?_wv=1027&k=5Bcu3YU -作者自建群,歡迎加入!
- 中國商標網加密接口https://github.com/rockswang/wsjs.saic.mmewmd? -僅做演示
- awesome-jave-crawlerhttps://github.com/rockswang/awesome-java-crawler?- 作者收集的爬蟲相關工具和資料
前言
這兩天開始看puppeteer,發現居然也能被某數的前端js檢測出來!?
github的issue區找了找,原來puppeteer啟動的chrome里面,是有navigator.webdriver屬性的,搞什么搞么,老外真是做那啥還要立牌坊......
方案1
issue區里看到的解決方案:
await this.page.evaluateOnNewDocument(() => {Object.defineProperty(navigator, 'webdriver', {get: () => undefined,}); }但是說實話這個還是有點問題的,因為用"webdriver" in navigator還是能檢測出來。
方案2
想找找到底哪個環節把"webdriver"屬性加上的,但是文本搜索發現puppeteer源碼中并沒有......
后來chrome中用chrome:version看了一下命令行啟動參數,結果發現了這個:"--enable-automation" ......
一看就有問題,為了確認特意搜了一下這個命令行參數的說明:
--enable-automation: Inform users that their browser is being controlled by an automated test.
確認了可以干掉了,啟動chrome時加個忽略默認參數即可:
const browser = await puppeteer.launch({ignoreDefaultArgs: ["--enable-automation"]});
總結
以上是生活随笔為你收集整理的如何避免Puppeteer被前端JS检测的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 2020HW必备-蜜罐如何在攻防演练中战
- 下一篇: 滑动验证前端代码实现