前言

以前寫爬蟲都是用requests包，雖然很好用，不過還是要封裝一些header啊什么的，也沒有用過無頭瀏覽器，今天偶然接觸了一下。

原因是在處理一個錯誤的時候，用到了幾個以前沒有用過的工具；這幾個工具也挺常見的，在這里一起總結一下。包括以下幾個：

• selenium
• requests-html

selenium

簡介

selenium是一個網頁自動化測試的工具，既然是網頁測試的，那么肯定支持各種瀏覽器了，常見的Firefox/Chrome/Safari都支持；當然，也需要你下載對應瀏覽器的驅動了。下面簡單說一下他的使用方式。

安裝

• 使用pip install selenium安裝selenium
• 安裝對應瀏覽器驅動，chrome的可以去這里下載
• 把驅動copy到/usr/local/bin下（非必須，不拷貝的話在使用的時候需要制定驅動的路徑）

簡單使用

''' 遇到問題沒人解答？小編創建了一個Python學習交流QQ群：778463939 尋找有志同道合的小伙伴，互幫互助,群里還有不錯的視頻學習教程和PDF電子書！ ''' from selenium import webdriverdriver = webdriver.chrome.webdriver.WebDriver() driver.get("https://www.lagou.com/jobs/3490584.html")# 獲取源碼 a = driver.page_source.encode('utf-8')# 查找資源/tag driver.find_element_by_xpath(u"//img[@alt='強化學習 (Reinforcement Learning)']").click() driver.find_element_by_link_text("About").click()# 截圖 driver.get_screenshot_as_file("./img/sreenshot1.png")

requests-html

簡介

是不是看見requests很熟悉，沒錯，這個就是會拍照又會寫代碼的requests的作者寫的又一個庫；

這個庫代碼并不是很多，都是基于其他庫封裝的，lxml/requests啊這些；使用也很簡單，遵循了他的宗旨：for humans

安裝

pip install requests-html

使用

''' 遇到問題沒人解答？小編創建了一個Python學習交流QQ群：778463939 尋找有志同道合的小伙伴，互幫互助,群里還有不錯的視頻學習教程和PDF電子書！ ''' from requests_html import HTMLSessionsession = HTMLSession() r = session.get('https://python.org/')# 獲取頁面上的鏈接 r.html.links r.html.absolute_links# 用css選擇器選擇一個元素 about = r.html.find('#about', first=True) print(about.text)# xpath r.html.xpath('a')

總結

以上是生活随笔為你收集整理的常见Python爬虫工具总结的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。