Python + Selenium +Chrome 批量下載網頁代碼修改

主要修改以下代碼可以調用 本地的 user-agent.txt 和 cookie.txt

來達到在登陸狀態下 批量打開并下載網頁，以網頁 ID 來保存為網頁文件名

PS:很多人在學習Python的過程中，往往因為遇問題解決不了或者沒好的教程從而導致自己放棄，為此我建了個Python全棧開發交流.裙 ：一久武其而而流一思(數字的諧音)轉換下可以找到了，里面有最新Python教程項目可拿,不懂的問題有老司機解決哦，一起相互監督共同進步

導入 webdriver

from selenium import webdriver

讀取本地文件中的 URL 鏈接

address = ‘./url.txt’

fp = open(address, ‘r’)

lines = fp.readlines()

print (‘【URL 鏈接】:% s’, lines)

調用環境變量指定的 PhantomJS 瀏覽器創建瀏覽器對象

driver = webdriver.PhantomJS()

driver = webdriver.Chrome()

如果沒有在環境變量指定 PhantomJS 位置

driver = webdriver.PhantomJS(executable_path=”./phantomjs”))

for data in lines:

get 方法會一直等到頁面被完全加載，然后才會繼續程序，通常測試會在這里選擇 time.sleep (2)

driver.get(data)

向下滾動 10000 像素

js = “document.body.scrollTop=10000”

js=”var q=document.documentElement.scrollTop=10000”

執行 JS 語句

driver.execute_script(js)

查看頁面快照

driver.save_screenshot(“csdn.png”)

print (‘執行中。。。’)

關閉瀏覽器

driver.quit()

print (‘執行結束。。。’)

關閉文件流

fp.close()

總結：有很多人在學習Python的過程中，往往因為遇問題解決不了或者沒好的教程從而導致自己放棄，為此我建了個Python全棧開發交流.裙 ：一久武其而而流一思(數字的諧音)轉換下可以找到了，里面有最新Python教程項目可拿,不懂的問題有老司機解決哦，一起相互監督共同進步

本文的文字及圖片來源于網絡加上自己的想法,僅供學習、交流使用,不具有任何商業用途,版權歸原作者所有,如有問題請及時聯系我們以作處理。

總結

以上是生活随笔為你收集整理的python webdriver save_Python + Selenium +Chrome 批量下载网页代码修改【新手必学】的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。