---

Python3 爬蟲(chóng)學(xué)習(xí)筆記第五章 —— 【Selenium + 無(wú)界面瀏覽器】

---

文章目錄

• 【5.1】關(guān)于無(wú)界面瀏覽器
• 【5.2】PhantomJS
• 【5.3】Headless Chrome
• 【5.4】Headless Firefox

---

【5.1】關(guān)于無(wú)界面瀏覽器

無(wú)界面（headless）瀏覽器，會(huì)把網(wǎng)站加載到內(nèi)存并執(zhí)行頁(yè)面上的 JavaScript，因?yàn)椴粫?huì)展示圖形界面，所以運(yùn)行起來(lái)比完整的瀏覽器更高效。Selenium 搭配無(wú)界面瀏覽器使用，被稱為爬蟲(chóng)利器，常用的無(wú)界面瀏覽器有：PhantomJS、Headless Chrome、Headless Firefox，其中，18年3月，PhantomJS 的作者在 GitHub 上宣布暫停開(kāi)發(fā) PhantomJS，現(xiàn)在使用 PhantomJS 會(huì)出現(xiàn)警告：UserWarning: Selenium support for PhantomJS has been deprecated, please use headless versions of Chrome or Firefox instead，所以推薦使用谷歌或者火狐的無(wú)界面瀏覽器

【5.2】PhantomJS

下載 PhantomJS：https://phantomjs.org/download.html
path 為 PhantomJS 路徑，如果系統(tǒng)配置了環(huán)境變量，就不用手動(dòng)指定 executable_path 參數(shù)

from selenium import webdriverpath = r'F:\PycharmProjects\Python3爬蟲(chóng)\phantomjs-2.1.1\bin\phantomjs.exe' driver = webdriver.PhantomJS(executable_path=path) driver.get("https://www.itrhx.com") print(driver.page_source) driver.close()

【5.3】Headless Chrome

下載 Chromedriver：http://chromedriver.storage.googleapis.com/index.html
需要本地有 Chrome 瀏覽器，path 為 Headless Chrome 路徑，如果系統(tǒng)配置了環(huán)境變量，就不用手動(dòng)指定 executable_path 參數(shù)

from selenium import webdriver from selenium.webdriver.chrome.options import Optionschrome_options = Options() chrome_options.add_argument('--headless') chrome_options.add_argument('--disable-gpu') path = 'F:\PycharmProjects\Python3爬蟲(chóng)\chromedriver.exe' driver = webdriver.Chrome(executable_path=path, chrome_options=chrome_options) driver.get("https://www.itrhx.com") print(driver.page_source) driver.close()

【5.4】Headless Firefox

下載 geckodriver：https://github.com/mozilla/geckodriver/releases/
需要本地有 Firefox 瀏覽器，path 為 Headless Firefox 路徑，如果系統(tǒng)配置了環(huán)境變量，就不用手動(dòng)指定 executable_path 參數(shù)

from selenium.webdriver import Firefox from selenium.webdriver.firefox.options import Optionsoptions = Options() options.add_argument('-headless') path = 'F:\PycharmProjects\Python3爬蟲(chóng)\geckodriver.exe' driver = Firefox(executable_path=path, firefox_options=options) driver.get("https://www.itrhx.com") print(driver.page_source) driver.close()

總結(jié)

以上是生活随笔為你收集整理的Python3 爬虫学习笔记 C05 【Selenium + 无界面浏览器】的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。