歡迎大家來到“Python從零到壹”，在這里我將分享約200篇Python系列文章，帶大家一起去學習和玩耍，看看Python這個有趣的世界。所有文章都將結合案例、代碼和作者的經驗講解，真心想把自己近十年的編程經驗分享給大家，希望對您有所幫助，文章中不足之處也請海涵。Python系列整體框架包括基礎語法10篇、網絡爬蟲30篇、可視化分析10篇、機器學習20篇、大數據分析20篇、圖像識別30篇、人工智能40篇、Python安全20篇、其他技巧10篇。您的關注、點贊和轉發就是對秀璋最大的支持，知識無價人有情，希望我們都能在人生路上開心快樂、共同成長。

前一篇文章講述了數據庫操作知識，包括MySQL安裝、SQL語句和Python操作數據庫知識，這將為后續網絡爬蟲存儲至數據庫奠定基礎。本文詳細介紹Selenium基礎技術，涉及基礎入門、元素定位、常用方法和屬性、鼠標操作、鍵盤操作和導航控制。基礎性文章，希望對您有所幫助。

文章目錄

• 一.初識Selenium
• • 1.安裝Selenium
  • 2.安裝瀏覽器驅動
  • 3.Phantomjs
• 二.快速開始Selenium解析
• 三.定位元素
• • 1.通過ID定位元素
  • 2.通過Name定位元素
  • 3.通過XPath定位元素
  • 4.通過連接文本定位超鏈接
  • 5.通過標簽名定位元素
  • 6.通過類名定位元素
  • 7.通過CSS選擇器定位元素
• 四.常用方法和屬性
• • 1.操作元素方法
  • 2.WebElement常用屬性
• 五.鍵盤和鼠標自動化操作
• • 1.鍵盤操作
  • 2.鼠標操作
• 六.導航控制
• • 1.下拉菜單交互操作
  • 2.Window和Frame間對話框移動
• 七.總結

下載地址：

• https://github.com/eastmountyxz/Python-zero2one

前文賞析：

第一部分 基礎語法

• [Python從零到壹] 一.為什么我們要學Python及基礎語法詳解
• [Python從零到壹] 二.語法基礎之條件語句、循環語句和函數
• [Python從零到壹] 三.語法基礎之文件操作、CSV文件讀寫及面向對象

第二部分 網絡爬蟲

• [Python從零到壹] 四.網絡爬蟲之入門基礎及正則表達式抓取博客案例
• [Python從零到壹] 五.網絡爬蟲之BeautifulSoup基礎語法萬字詳解
• [Python從零到壹] 六.網絡爬蟲之BeautifulSoup爬取豆瓣TOP250電影詳解
• [Python從零到壹] 七.網絡爬蟲之Requests爬取豆瓣電影TOP250及CSV存儲
• [Python從零到壹] 八.數據庫之MySQL基礎知識及操作萬字詳解
• [Python從零到壹] 九.網絡爬蟲之Selenium基礎技術萬字詳解（定位元素、常用方法、鍵盤鼠標操作）

作者新開的“娜璋AI安全之家”將專注于Python和安全技術，主要分享Web滲透、系統安全、人工智能、大數據分析、圖像識別、惡意代碼檢測、CVE復現、威脅情報分析等文章。雖然作者是一名技術小白，但會保證每一篇文章都會很用心地撰寫，希望這些基礎性文章對你有所幫助，在Python和安全路上與大家一起進步。

---

Selenium是一款用于測試Web應用程序的經典工具，它直接運行在瀏覽器中，仿佛真正的用戶在操作瀏覽器一樣，主要用于網站自動化測試、網站模擬登陸、自動操作鍵盤和鼠標、測試瀏覽器兼容性、測試網站功能等，同時也可以用來制作簡易的網絡爬蟲。

本文主要介紹Selenium Python API技術，它以一種非常直觀的方式來訪問Selenium WebDriver的所有功能，包括定位元素、自動操作鍵盤鼠標、提交頁面表單、抓取所需信息等。

一.初識Selenium

Selenium是ThoughtWorks公司專門為Web應用程序編寫的一個驗收測試工具，它提供的API支持多種語言，包括Python、Java、C#等，本書主要介紹Python環境下的Selenium技術。Python語言提供了Selenium擴展包，它是使用Selenium WebDriver（網頁驅動）來編寫功能、驗證測試的一個API接口。

通過Selenium Python API，讀者能夠以一種直觀的方式來訪問Selenium WebDriver的所有功能。Selenium Python支持多種瀏覽器，諸如Chrome、火狐、IE、360等瀏覽器，也支持PhantomJS特殊的無界面瀏覽器引擎。

Selenium WebDriver API接口提供了一種定位網頁中元素（Locate Elements）的策略，本書將使用Selenium Python講解網絡數據爬取知識，本章主要介紹Selenium技術的基礎知識，后面的章節結合實例講解如何利用Selenium定位網頁元素、自動爬取、設計爬蟲等。

類似于BeautifulSoup技術，Selenium制作的爬蟲也是先分析網頁的HTML源碼和DOM樹結構，再通過其所提供的方法定位到所需信息的結點位置，并獲取其文本內容。

同時，推薦讀者閱讀官網提供的《Selenium with Python Bindings》開源技術文檔，本文也汲取了它很多精彩的知識，再結合自己的理解和實際爬蟲實例進行介紹的。下面從Selenium安裝、驅動安裝、PhantomJS三部分知識進行介紹，讓我們開始吧！

---

1.安裝Selenium

讀者可以訪問PyPI網站來下載Selenium擴展包，例如圖2所提供的selenium 3.4.3，對應的網址為：

• https://pypi.python.org/pypi/selenium

我們點擊“Downloads”按鈕下載該Selenium擴展包，解壓下載的文件后，在解壓目錄下執行下面的命令進行安裝Selenium包。

C:\selenium\selenium3.4.3> python3 setup.py install

PyPI全稱是Python Package Index，是Python官方的第三方庫的倉庫，所有人都可以下載第三方庫或上傳自己開發的庫到PyPI。

同時，作者更推薦大家使用pip工具來安裝Selenium庫，PyPI官方也推薦使用pip管理器來下載第三方庫。Python3.6標準庫中自帶pip，Python2.x需要自己單獨安裝。前文介紹了pip工具的安裝過程及基礎用法。安裝好pip工具后，直接調用命令即可安裝Selenium：

• pip install selenium

調用命令“pip install selenium”安裝Selenium包如圖3所示。

安裝過程中的會顯示安裝配置相關包的百分比，直到出現“Successfully installed selenium-2.47.1”提示，表示安裝成功，如圖4所示。

此時的Selenium包已經安裝成功，接下來需要調用瀏覽器來進行定位或爬取信息，而使用瀏覽器的過程中需要安裝瀏覽器驅動。作者推薦使用Firefox瀏覽器、Chrome瀏覽器或PhantomJS瀏覽器，下面將結合實例講解三種瀏覽器驅動的配置過程。

---

2.安裝瀏覽器驅動

Selenium需要安裝瀏覽器驅動，才能調用瀏覽器進行自動爬取或自動化測試，常見的包括Chrome、Firefox、IE、PhantomJS等瀏覽器。表1是部分瀏覽器驅動下載頁面。

表1 瀏覽器驅動下載頁面

注意：驅動下載解壓后，將chromedriver.exe、geckodriver.exe、Iedriver.exe置于Python的安裝目錄下，例如Python的安裝目錄為“C:\python”，則將驅動文件放置于該文件夾下；然后將Python的安裝目錄添加到系統環境變量路徑（Path）中，打開Python IDLE輸入不同的代碼來啟動不同的瀏覽器。

• Firefox瀏覽器
  加載火狐瀏覽器的核心代碼如下：

from selenium import webdriver driver = webdriver.Firefox() driver.get('http://www.baidu.com/')

輸出結果如下圖所示：

• chrome瀏覽器
  加載谷歌覽器的核心代碼如下，其中驅動置于chrome瀏覽器目錄下，如代碼所示。

import os from selenium import webdriver chromedriver = "C:\Program Files (x86)\Google\Chrome\Application\chromedriver.exe" os.environ["webdriver.chrome.driver"] = chromedriver browser = webdriver.Chrome(chromedriver) browser.get('http://www.baidu.com/')

• IE瀏覽器
  加載微軟IE覽器的核心代碼如下：

from selenium import webdriver browser = webdriver.Ie() browser.get('http://www.baidu.com/')

---

3.Phantomjs

PhantomJS是一個服務器端的 JavaScript API 的開源的瀏覽器引擎（WebKit）。它支持各種Web標準，包括DOM樹分析、CSS選擇器、JSON和SVG等。PhantomJS常用于頁面自動化、網絡監測、網頁截屏以及無界面測試等。在官網http://phantomjs.org/下載PhantomJS解壓后如圖5所示。

調用時如果報錯“Unable to start phantomjs with ghostdriver”，則需要設置PhantomJS的路徑，或者配置到Scripts目錄環境下。當Selenium安裝成功并且PhantomJS下載配置好后，下面這代代碼是調用方法。其中executable_path參數設置PhantomJS的路徑。

from selenium import webdriver driver = webdriver.PhantomJS(executable_path="F:\phantomjs-1.9.1-windows\phantomjs.exe") driver.get("http://www.baidu.com") data = driver.title print(data)

代碼含義為：

• 首先導入Selenium.webdriver擴展包，它提供了webdriver實現方法。
• 然后創建driver實例，調用webdriver.PhantomJS方法配置路徑。
• 通過driver.get(“http://www.baidu.com”) 代碼打開百度網頁，webdriver會等待網頁元素加載完成之后才把控制權交回腳本。
• 最后獲取文章標題（title）并賦值給data變量輸出，其值為“百度一下，你就知道”。

運行結果如圖6所示，Python3效果一樣。

注意，webdriver中提供的save_sceenshot()函數可以對網頁進行截圖，代碼如下：

from selenium import webdriver driver = webdriver.Firefox() driver.get("http://www.baidu.com") data = driver.title driver.save_screenshot('baidu.png')

---

二.快速開始Selenium解析

網頁通常采用文檔對象模型樹結構進行存儲，并且這些節點都是成對出現的，如“< html >”對應“</ html >”、“< table >”對應“</ table >”、“< div >”對應“</ div >”等。Selenium技術通過定位節點的特定屬性，如class、id、name等，可以確定當前節點的位置，再獲取相關網頁的信息。

下面代碼是定位百度搜索框并進行自動搜索，它作為我們的快速入門代碼。

#-*- coding:utf-8 -*- #By:Eastmount 2021-05-29 import time from selenium import webdriver from selenium.webdriver.common.keys import Keys#啟動驅動 driver = webdriver.Firefox() driver.get("http://www.baidu.com") assert "百度" in driver.title print(driver.title)#查找元素并輸入內容 elem = driver.find_element_by_name("wd") elem.send_keys("數據分析") elem.send_keys(Keys.RETURN)#截圖并退出 time.sleep(10) driver.save_screenshot('baidu.png') driver.close() driver.quit()

運行結果如下圖所示，調用Firefox瀏覽器并搜索“數據分析”關鍵詞，最后對瀏覽的網頁進行截圖操作。所以，Selenium常用于自動化測試領域。

下面對這部分代碼進行詳細講解。

• from selenium import webdriver
  導入Selenium.webdriver模板，它提供了webdriver的實現方法，目前支持這些方法的瀏覽器有Firefox、Chrome、IE和Remote等。
• from selenium.webdriver.common.keys import Keys
  導入Keys類，它提供了操作鍵盤的快捷鍵，如回車鍵、空格鍵、ctrl鍵等操作。
• driver = webdriver.Firefox()
  創建Firefox webdriver實例，定義火狐瀏覽器（Firefox）驅動，其他瀏覽器如Chrome可能還需要設置驅動參數和配置路徑。
• driver.get(“http://www.baidu.com”)
  接下來通過driver.get()函數打開百度url網頁，webdriver會等待網頁元素加載完成之后才把控制權交回腳本。
• assert “百度” in driver.title
  接下來使用斷言（assert）判斷文章的標題title是否包含了“百度”字段。對應爬取的標題是“百度一下，你就知道”，所以包含了“百度”，否則會出現斷言報錯。斷言主要用于判斷結果是否成功返回，從而更好地執行下一步定位操作。
• elem = driver.find_element_by_name(“wd”)
  webdriver提供了很多形如“find_element_by_*”的方法來匹配要查找的元素。如利用name屬性來查找的方法是find_element_by_name，這里通過該方法來定位百度輸入框，即審查元素name為“wd”的節點。

圖8是百度首頁審查元素的反饋結果，其中輸入框input元素對應屬性name為“kw”，所以定位其節點代碼為：

• driver.find_element_by_id(“kw”)

• elem.send_keys(“數據分析”)
  send_keys()方法可以用來模擬鍵盤操作，相當于是在搜索框中輸入“數據分析”字段。
• elem.send_keys(Keys.RETURN)
  調用send_keys()函數輸入回車鍵操作，其中Keys類提供了常見的鍵盤按鍵，如Keys.RETURN表示回車鍵。但在引用Keys類及其方法之前，需要注意先導入Keys類，即使用“from selenium.webdriver.common.keys import Keys”代碼導入。
• driver.save_screenshot(‘baidu.png’)
  調用save_screenshot()函數進行截圖，并將截圖保存至本地，名稱為為“baidu.png”。
• driver.close()
  調用close()方法關閉驅動。
• driver.quit()
  調用quit()方法退出驅動。它與close()方法的區別在于：quit()方法會退出瀏覽器，而close()方法只是關閉頁面，但如果只有一個頁面被打開，close()方法同樣會退出瀏覽器。

---

三.定位元素

Selenium Python提供了一種用于定位元素（Locate Elements）的策略，你可以根據所爬取網頁的HTML結構選擇最適合的方案，表8.2是Selenium提供的各種方法。定位多個元素時，只需將方法“element”后加s，這些元素將會以一個列表的形式返回。

表2 Selenium元素定位的方法

本節將結合下面這段關于李白簡介的HTML代碼（blog09.html）進行講解。

<html><head><title>李白簡介</title></head><body><p class="title"><b>靜夜思</b></p><p class="content">窗前明月光，<br />疑似地上霜。 <br />舉頭望明月，<br />低頭思故鄉。 <br /></p><div class="other" align="left" name="d1" id="nr">李白（701年－762年），字太白，號青蓮居士，又號“謫仙人”，唐代偉大的浪漫主義詩人，被后人譽為“詩仙”，與<a href="http://test.com/dufu" class="poet" id="link" name="dufu"> 杜甫</a>并稱為“李杜”，為了與另兩位詩人<a href="http://test.com/lsy" class="poet" id="link" name="lsy"> 李商隱</a>、<a href="http://test.com/dumu" class="poet" id="link" name="dumu"> 杜牧</a> 即“小李杜”區別，杜甫與李白又合稱“大李杜”。其人爽朗大方，愛飲酒...</div><p class="story">...</p> </body> </html>

該網頁打開運行如下圖9所示。

下面結合這個實例分別介紹各種元素定位方法，并以定位單個元素為主。

---

1.通過ID定位元素

該方法是通過網頁標簽的id屬性定位元素，它將返回第一個用id屬性值匹配定位的元素。如果沒有元素匹配id值，將會返回一個NoSuchElementException異常。
假設需要通過id屬性定位頁面中的杜甫、李商隱、杜牧三個超鏈接，HTML核心代碼如下：

如果需要獲取div布局，則使用如下代碼：

• test_div = driver.find_element_by_id(‘nr’)
• print(test_div.text)

如果寫成如下代碼，則返回第一個詩人的信息。

• test_poet = driver.find_element_by_id(‘link’)
• print(test_poet.text)
• 杜甫

其中test_poet是獲取的值，通常為“<selenium.webdriver…>”形式，而text是獲取其文本內容，即“杜甫”。如果想通過id元素獲取多個鏈接，比如杜甫、李商隱、杜牧三位詩人對應的超鏈接，則需要使用：

• find_elements_by_id()

注意“elements”表示獲取多個值。三個超鏈接都使用同一個id名稱“link”，通過find_elements_by_id()函數定位獲取之后，再調用for循環輸出結果，如下所示：

#-*- coding:utf-8 -*- #By:Eastmount 2021-05-29 import time from selenium import webdriver from selenium.webdriver.common.keys import Keys#啟動驅動 driver = webdriver.Firefox() driver.get("file://C:/Users/xiuzhang/Desktop/09.selenium/blog09.html") print(driver.title)#查找元素并輸入內容 test_div = driver.find_elements_by_id('link') for t in test_div:print(t.text)

輸出結果如下圖所示：

---

2.通過Name定位元素

該方法是通過網頁標簽的name屬性定位元素，它將返回第一個用name屬性值匹配定位的元素。如果沒有元素匹配name值，將會返回一個NoSuchElementException異常。

下面介紹通過name屬性定位頁面中的杜甫、李商隱、杜牧三個超鏈接的方法，HTML源碼如下：

<div class="other" align="left" name="d1" id="nr"> <a href="http://test.com/dufu" class="poet" id="link" name="dufu">杜甫</a><a href="http://test.com/lsy" class="poet" id="link" name="lsy">李商隱</a><a href="http://test.com/dumu" class="poet" id="link" name=”dumu”>杜牧</a> </div>

如果需要分別獲取杜甫、李商隱、杜牧三個超鏈接，則使用代碼如下：

test_poet1 = driver.find_element_by_name('dufu') test_poet2 = driver.find_element_by_name('lsy') test_poet3 = driver.find_element_by_name('dumu')

此時不能調用find_elements_by_name()函數獲取多個元素，因為三位詩人對應超鏈接的name屬性都是不同的，即“dufu”、“lsy”、“dumu”，如果name屬性相同，則該方法可以獲取同一name屬性的多個元素。

---

3.通過XPath定位元素

XPath是用于定位XML文檔中節點的技術，HTML\XML都采用網頁DOM樹狀標簽的結構進行編寫的，所以可以通過XPath方法分析其節點信息。Selenium Python也提供了類似的方法來跟蹤網頁中的元素。

XPath定位元素方法不同于按照ID或Name屬性的定位方法，前者更加的靈活、方便。 比如想通過ID屬性定位第三個詩人“杜牧”的超鏈接信息，但是三位詩人的ID屬性值都是相同的，即“link”，如果沒有其他屬性，那我們怎么實現呢？此時可以借助XPath方法進行定位元素。這也體現了XPath方法的一個優點：

• 當沒有一個合適的ID或Name屬性來定位所要查找的元素時，你可以使用XPath去定位這個絕對元素（但作者不建議定位絕對元素），或者定位一個有ID或Name屬性的相對元素位置。

XPath方法也可以通過除了ID和Name屬性以外的其他屬性進行定位元素，其完整函數為：

• find_element_by_xpath()
• find_elements_by_xpath()

下面開始通過實例進行講解，HTML代碼如下：

<html><head><title>李白簡介</title></head><body><div class="other" align="left" name="d1" id="nr">李白（701年－762年），字太白，號青蓮居士，又號“謫仙人”，唐代偉大的浪漫主義詩人，被后人譽為“詩仙”，與<a href="http://test.com/dufu" class="poet" id="link1" namd="dufu"> 杜甫</a>并稱為“李杜”，為了與另兩位詩人<a href="http://test.com/lsy" class="poet" id="link2" namd="lsy"> 李商隱</a>、<a href="http://test.com/dumu" class="poet" id="link3" name=”dumu”> 杜牧</a> 即“小李杜”區別，杜甫與李白又合稱“大李杜”。其人爽朗大方，愛飲酒...</div> </body> </html>

這個div布局可能通過如下三種XPath方法定位：

test_div = driver.find_element_by_xpath("/html/body/div[1]") test_div = driver.find_element_by_xpath("//div[1]") test_div = driver.find_element_by_xpath("//div[@id='nr']")

• 第一句是使用絕對路徑定位，從HTML代碼的根節點開始定位元素，但如果HTML代碼有稍微的改動，其結果就會被被破壞，此時可以通過后面兩種方法進行定位。
• 第二句是獲取HTML代碼中的第一個div布局元素。但是如果所要爬取的div節點位置太深，難道我們從第一個div節點數下去嗎？顯然不是的。此時我們可以通過尋找附近一個元素的ID或Name屬性進行定位，從而追蹤到所需要的元素。
• 第三句是調用find_element_by_xpath()方法，定位ID屬性值為“nr”的div布局元素，此時可以定位介紹三位著名詩人的簡介信息。

三個語句輸出test_div.text內容，都如下所示：

• 李白（701年－762年），字太白，號青蓮居士，又號“謫仙人”， 唐代偉大的浪漫主義詩人，被后人譽為“詩仙”，與 杜甫 并稱為“李杜”，為了與另兩位詩人 李商隱、 杜牧 即“小李杜”區別，杜甫與李白又合稱“大李杜”。 其人爽朗大方，愛飲酒…

如需定位第三位詩人“杜牧”超鏈接的內容，則使用如下所示的三種方法。

username = driver.find_element_by_xpath("//div[a/@name='dumu']") username = driver.find_element_by_xpath("//div[@id='nr']/a[3]") username = driver.find_element_by_xpath("//a[@name='dumu']")

• 第一句是定位div節點下的一個超鏈接a元素，且a元素的name屬性為“dumu”。
• 第二句是定位“id=nr”的div元素，再找到它的第三個超鏈接a子元素。
• 第三句是定位name屬性為“dumu”的第一個超鏈接a元素。

同時，如果是按鈕控件且name屬性相同，假設HTML代碼如下：

<form id="loginForm"><input name="continue" type="submit" value="Login" /><input name="continue" type="button" value="Clear" /> </form>

則定位value值為“Clear”按鈕元素的方法如下：

clearb = driver.find_element_by_xpath("//input[@name='continue'][@type='button']") clearb = driver.find_element_by_xpath("//form[@id='loginForm']/input[2]")

• 第一句是定位屬性name為“continue”且屬性type為“button”的input控件。
• 第二句是定位屬性“id=loginForm”的form節點下的第二個input子元素。

XPath定位方法作為最常用的定位元素方法之一，后面章節的實例中將會被反復利用，而本小節只是介紹了些基礎知識，更多知識請讀者在W3Schools XPath Tutorial、W3C XPath Recommendation或Selenium官方文檔中學習。

---

4.通過連接文本定位超鏈接

當你需要定位一個錨點標簽內的鏈接文本（Link Text）時就可以使用該方法。該方法將返回第一個匹配這個鏈接文本值的元素。如果沒有元素匹配這個鏈接文本，將拋出一個NoSuchElementException異常。下面介紹調用該方法定位頁面中的杜甫、李商隱、杜牧三個超鏈接，假設HTML源碼如下：

• blog09_02.html

<html><body><div class="other" align="left" name="d1" id="nr"><a href="dufu.html" class="poet" id="link" name="dufu"> Dufu</a><a href="lsy.html" class="poet" id="link" name="lsy"> LiShangYing</a><a href="dumu.html" class="poet" id="link" name=”dumu”> DuMu</a></div> </body> </html>

如果需要分別獲取杜甫、李商隱、杜牧三個超鏈接，則使用如下代碼。

#-*- coding:utf-8 -*- #By:Eastmount 2021-05-29 import time from selenium import webdriver from selenium.webdriver.common.keys import Keys#啟動驅動 driver = webdriver.Firefox() driver.get("file://C:/Users/xiuzhang/Desktop/09.selenium/blog09_02.html") print(driver.title)#分別定位三個超鏈接 test_poet1 = driver.find_element_by_link_text('Dufu') print(test_poet1.text) test_poet2 = driver.find_element_by_link_text('LiShangYing') print(test_poet2.text) test_poet3 = driver.find_element_by_link_text('DuMu') print(test_poet3.text)#定位超鏈接部分元素 test_poet4 = driver.find_element_by_partial_link_text('Du') print(test_poet4.text)#定位超鏈接部分元素且定位多個元素 test_poet5 = driver.find_elements_by_partial_link_text('Du') for t in test_poet5:print(t.text)

其中，find_element_by_link_text()函數是使用錨點標簽的鏈接文本進行定位的，partial表示部分匹配，獲取多個元素的方法則使用：

• find_elements_by_partial_link_text()

代碼運行截圖如圖10所示，其中地址也可以為放在本地Apache服務器中的blog09_02.html文件，內容為上面的HTML源碼。

• http://localhost:8080/blog09_02.html

---

5.通過標簽名定位元素

該方法是通過標簽名（Tag Name）定位元素，它將返回第一個用Tag Name匹配定位的元素。如果沒有元素匹配，將會返回一個NoSuchElementException異常。假設HTML源碼如下：

• blog09_03.html

<html><head><title>李白簡介</title></head><body><h1>靜夜思</h1><p class='content'>窗前明月光，疑是地上霜。舉頭望明月，低頭思故鄉。</p> </body> </html>

定位元素h1和段落p的方法如下：

• test1 = driver.find_element_by_tag_name(‘h1’)
• test2 = driver.find_element_by_tag_name(‘p’)

---

6.通過類名定位元素

該方法是通過類屬性名（Class Attribute Name）定位元素，它將返回第一個用類屬性名匹配定位的元素。如果沒有元素匹配，將會返回一個NoSuchElementException異常。

blog09_03.html代碼中通過class屬性值定位段落p元素的方法如下：

• test1 = driver.find_element_by_class_name(‘content’)

---

7.通過CSS選擇器定位元素

該方法是通過CSS選擇器（CSS Selectors）定位元素，它將返回第一個與CSS選擇器匹配的元素。如果沒有元素匹配，將會返回一個NoSuchElementException異常。blog09_03.html代碼中通過CSS選擇器定位段落p元素的方法如下：

• test1 = driver.find_element_by_css_selector(‘p.content’)

如果存在多個相同class值得content標簽，則可以使用下面方法進行定位獲取：

• test1 = driver.find_element_by_css_selector(*.content)
• test2 = driver.find_element_by_css_selector(.content)

CSS選擇器定位方法是比較難的一個方法，推薦讀者下來自行研究，同時作者更推薦大家使用ID、Name、XPath等常用定位方法。

---

四.常用方法和屬性

1.操作元素方法

講述完定位元素（Locate Elements）之后，我們需要對已經定位好的對象進行操作，這些操作的交互行為通常需要通過WebElement接口來實現，常見操作元素方法如表3所示。

表3 常用操作元素方法

下面作者舉一個自動登錄百度首頁的示例講解常用的操作元素方法，包括clear()、send_keys()、click()、submit()等方法。

首先我們通過火狐瀏覽器打開百度首頁，找到“登錄”按鈕，并右鍵鼠標點擊“審查元素”，可以看到百度首頁“登錄”按鈕對應的HTML源代碼如圖11所示。

“登錄”按鈕節點其實是一個name值為“tj_login”的超鏈接，我們可以通過下面的代碼定位到該節點，再調用click()函數自動點擊它，并跳轉到登錄頁面。

• login = driver.find_element_by_name(“tj_login”)
• login.click()

新版百度又增加了“用戶名登錄”的選擇，我們需要進一步捕獲該位置并點擊。

點擊按鈕后彈出界面如圖13所示，接下來需要分析用戶名和密碼的HTML源碼，并找到其節點位置后實現自動登錄操作。

接著再審查登錄頁面，獲取“用戶名”和“密碼”元素，對應HTML核心代碼如下：

<input id="TANGRAM__PSP_10__userName" type="text" value="" autocomplete="off" class="pass-text-input pass-text-input-userName"name="userName" placeholder="手機/郵箱/用戶名"></input> <input id="TANGRAM__PSP_10__password" type="password" value="" class="pass-text-input pass-text-input-password" name="password" placeholder="密碼"></input>

通過find_element_by_name()定位元素，調用函數clear()清除輸入框默認內容，如“請輸入密碼”等提示，并調用send_keys()函數輸入正確的用戶名和密碼后點擊登錄。核心代碼如下：

name = driver.find_element_by_name("userName") name.send_keys("admin") pwd = driver.find_element_by_name("password") pwd.send_keys("123456") pwd.send_keys(Keys.RETURN)

錯誤提示
在自動登錄百度首頁時，可能會提示錯誤“selenium.common exceptions ElementNotInteractable Exception: could not be scrolled into view”，這是因為某些情況下，元素的visibility為hidden或者display屬性為none，我們在頁面上看不到但是實際是存在頁面的一些隱藏元素，這時候用 is_displayed() 來判斷并設置時間等待。

完整代碼如下：

#-*- coding:utf-8 -*- #By:Eastmount CSDN 2021-05-29 import time from selenium import webdriver from selenium.webdriver.common.keys import Keys from selenium.webdriver.common.action_chains import ActionChains#打開瀏覽器 driver = webdriver.Firefox() driver.get("https://www.baidu.com/") time.sleep(1)#點擊登錄鏈接 logins = driver.find_elements_by_name("tj_login") for login in logins:print(login.text)print(login.get_attribute('href'))if login.is_displayed():login.click() time.sleep(1)#通過二次定位尋找用戶名登錄按鈕 uesrlogins = driver.find_elements_by_xpath("//div[@class='tang-pass-footerBar']/p") for uesrlogin in uesrlogins:print(uesrlogin.text)if uesrlogin.is_displayed():uesrlogin.click()#輸入密碼并登陸 name = driver.find_element_by_name("userName") name.clear name.send_keys("Eastmount") pwd = driver.find_element_by_name("password") pwd.clear pwd.send_keys("12345678")#暫停輸入驗證碼 按回車鍵登錄 time.sleep(5) pwd.send_keys(Keys.RETURN) driver.close()

注意：如果登錄過程中需要輸入驗證碼，則使用time.sleep(5)暫停函數，手動輸入驗證碼“報表”后，程序會執行send_keys(Keys.RETURN)函數，輸入回車鍵實現百度網自動登錄。

最終，該部分代碼會自動輸入指定的用戶名和密碼，然后輸入回車鍵實現登錄操作。但需要注意，由于部分頁面是動態加載的，而實際操作時可能無法捕獲其節點，同時百度網頁的HTML源碼也會不定期變化，但是其原理知識更為重要，希望讀者掌握類似的分析方法，在后面爬取微博、知乎、B站等案例時，也會再結合實例詳細講解自動登錄爬蟲。

---

2.WebElement常用屬性

通過WebElement接口可以獲取常用的值，其中常見屬性值如下表所示。

表4 常用屬性

該部分代碼如下：

#-*- coding:utf-8 -*- #By:Eastmount CSDN 2021-05-29 import time from selenium import webdriver from selenium.webdriver.common.keys import Keys driver = webdriver.Firefox() driver.get("https://www.baidu.com/")print(driver.title) print(driver.current_url) # 百度一下，你就知道 # https://www.baidu.com/news = driver.find_element_by_xpath("//div[@id='u1']/a[1]") print(news.text) print(news.get_attribute('href')) print(news.location) # 新聞 # http://news.baidu.com/ # {'y': 19.0, 'x': 456.0}

輸出結果如下圖所示：

• driver.title是輸出網頁的標題“百度一下，你就知道”，driver.current_url輸出當前頁面的超鏈接；
• 再通過find_element_by_xpath("//div[@id=‘u1’]/a[1]")函數定位百度首頁右上角“新聞”鏈接；
• 然后調用news.text代碼輸出其內容；
• 最后get_attribute(‘href’)函數是獲取超鏈接，news.location是輸出其網頁坐標位置。

---

五.鍵盤和鼠標自動化操作

Selenium技術另一個特點就是可以自動化操作鼠標和鍵盤，所以它更多的應用是自動化測試領域，通過自動操作網頁，反饋響應的結果從而檢測網站的健壯性和安全性。

1.鍵盤操作

在Selenium提供的Webdriver庫中，其子類Keys提供了所有鍵盤按鍵操作，比如回車鍵、Tab鍵、空格鍵，同時也包括一些常見的組合按鍵操作，如Ctrl+A（全選）、Ctrl+C（復制）、Ctrl+V（粘貼）等。常用鍵盤操作如下：

• send_keys(Keys.ENTER)：按下回車鍵，最常用按鍵操作
• send_keys(Keys.TAB)：按下Tab制表鍵
• send_keys(Keys.SPACE)：按下空格鍵Space
• send_keys(Kyes.ESCAPE)：按下回退鍵Esc
• send_keys(Keys.BACK_SPACE)：按下刪除鍵BackSpace
• send_keys(Keys.SHIFT)：按下Shift鍵
• send_keys(Keys.CONTROL)：按下Ctrl鍵
• send_keys(Keys.CONTROL,‘a’)：按下組合鍵全選Ctrl+A
• send_keys(Keys.CONTROL,‘c’)：按下組合鍵復制Ctrl+C
• send_keys(Keys.CONTROL,‘x’)：按下組合鍵剪切Ctrl+X
• send_keys(Keys.CONTROL,‘v’)：按下組合鍵粘貼Ctrl+V

下面舉一個百度自動搜索“Python”關鍵字的簡單示例，代碼如下：

#-*- coding:utf-8 -*- #By:Eastmount CSDN 2021-05-29 from selenium import webdriver from selenium.webdriver.common.keys import Keys driver = webdriver.Firefox() driver.get("https://www.baidu.com/") elem = driver.find_element_by_id("kw") elem.send_keys("Python") elem.send_keys(Keys.RETURN)

首先需要定位百度搜索框的HTML源代碼，分析結果如圖14所示，百度搜索框對應的HTML標簽為input且其ID屬性為“kw”，故定位代碼為：

• driver.find_element_by_id(“kw”)

然后調用elem.send_keys(“Python”)輸入關鍵字“Pyhon”，elem.send_keys(Keys.RETURN)代碼表示輸入回車鍵，相當于點擊“百度一下”按鈕，反饋結果如圖15所示。

同樣可以自動搜索作者“Eastmount”的信息，哈哈~

---

2.鼠標操作

Selenium操作鼠標技術也常用于自動化測試中，它位于ActionChains類中，最常用的是click()函數，該函數表示單擊鼠標左鍵操作。常見的鼠標操作如下：

• click()：點擊鼠標左鍵一次
• context_click(elem)：右擊鼠標點擊元素elem，比如在彈出的快捷鍵菜單中選擇“另存為”等命令
• double_click(elem)：擊鼠標點擊元素elem
• drag_and_drop(source,target)：鼠標拖動操作。在源元素source位置下按下鼠標左鍵，并移動至目標元素target釋放鼠標
• send_keys(Keys.BACK_SPACE)：按下刪除鍵BackSpace
• move_to_element(elem)：將鼠標光標移動到元素elem上
• click_and_hold(elem)：按下鼠標左鍵并懸停在元素elem上
• perform()：執行ActionChains類中的存儲操作，彈出對話框

下面的示例代碼是定位百度的logo圖片，再執行鼠標右鍵另存為圖片操作。

彈出對話框如下圖所示，新版本嘗試輸入k鍵也能另存為網頁。

---

六.導航控制

前一小節講述了Python操作鍵盤和鼠標，建議讀者一定要自己去實現該部分代碼，從而更好地應用到實際項目中去。本小節主要介紹Selenium的導航控制操作，包括頁面交互、表單操作和對話框間移動。

1.下拉菜單交互操作

前面講述的百度搜索案例就是一個頁面交互的過程，包括：

• 調用driver.find_element_by_xpath()函數定位元素。
• 調用send_keys(key)輸入關鍵詞或鍵盤按鍵，如輸入Keys.RETURN回車鍵。
• 調用click()函數點擊左鍵，右鍵點擊“另存為圖片”等。

這里我們將補充頁面交互的切換下拉菜單的實例。定位“name”下拉菜單標簽之后，我們調用SELECT類選中選項，同時select_by_visible_text()用于顯示選中菜單，也可以提交Form表單。

from selenium.webdriver.support.ui import Select name = driver.find_element_by_name('name') select = Select(name) select.select_by_index(index) select.select_by_visible_text("text") select.select_by_value(value)

如果讀者想取消已經選中的選項，則使用如下代碼：

from selenium.webdriver.support.ui import Select name = driver.find_element_by_name('name') select = Select(name) all_selected_options = select.all_selected_options

獲取所有的可用選項則調用select.options即可，當讀者填寫完表單后，可以通過submit()函數提交，或者找到提交按鈕后調用下面函數提交表單。

• driver.find_element_by_id(“submit”).click()

---

2.Window和Frame間對話框移動

網站通常都是由多個窗口組成的，稱為多幀Web應用，WebDriver提供了方法switch_to_window來支持命名窗口間的移動切換。比如：

• driver.switch_to_window(“windowName”)

現在driver的所有操作將會針對特定的窗口。但是怎么才能知道窗口的名字呢？可以通過定位其HTML源碼中的超鏈接，或者給switch_to_window()方法傳遞一個“窗口句柄”，常用的方法是循環遍歷所有的窗口，再獲取指定的句柄進行定位操作，核心代碼如下：

for handle in driver.window_handles:driver.switch_to_window(handle)

在幀與幀（Iframe）之間切換使用driver.switch_to_frame(“frameName”)函數。對于彈出式對話框，Selenium WebDriver提供了內建支持，通過switch_to_alert()函數將返回當前打開的alert對象，通過該對象您可以進行確認同意或反對操作，也可以讀取它的內容。

• alert = driver.switch_to_alert()

更多知識推薦讀者閱讀官方文檔，下面是捕獲彈出式對話框內容的核心代碼。

#獲取當前窗口句柄 now_handle = driver.current_window_handle print(now_handle)#獲取所有窗口句柄 all_handles = driver.window_handles for handle in all_handles:if handle!=now_handle:#輸出待選擇的窗口句柄print(handle)driver.switch_to_window(handle)time.sleep(1)#具體操作elem_bt = driver.find_element_by_xpath("...")driver.close() #關閉當前窗口#輸出主窗口句柄 print(now_handle) driver.switch_to_window(now_handle) #返回主窗口

后續實例也會介紹一種窗口句柄轉義的方法。

---

七.總結

Selenium庫分析和定位節點的方法和BeautifulSoup庫類似，它們都能夠利用類似于XPath技術來定位標簽，都擁有豐富的操作函數來爬取數據。但不同之處在于：

• Selenium能方便的操控鍵盤、鼠標以及切換對話框、提交表單等，當我們的目標網頁需要驗證登錄之后才能爬取、所爬取的數據位于彈出來的對話框中或者所爬取的數據通過超鏈接跳轉到了新的窗體時，Selenium技術的優勢就體現出來了，它通過控制鼠標模擬登錄或提交表單從而爬取數據，但其缺點是爬取效率較低，BeautifulSoup速度更快些。

Selenium用得更廣泛的領域是自動化測試，它直接運行在瀏覽器中（如Firefox、Chrome、IE等），就像真實用戶操作一樣，對開發的網頁進行各式各樣的測試，它更是自動化測試方向的必備工具。希望讀者能掌握這種技術的爬取方法，尤其是目標網頁需要驗證登錄等情形。

該系列所有代碼下載地址：

• https://github.com/eastmountyxz/Python-zero2one

感謝在求學路上的同行者，不負遇見，勿忘初心。這周的留言感慨～

(By:娜璋之家 Eastmount 2021-05-29 夜于武漢 https://blog.csdn.net/Eastmount )

---

參考文獻

• [1] [譯]Selenium Python文檔：目錄 - Tacey Wong - 博客園
• [2] Baiju Muthukadan Selenium with Python Selenium Python Bindings 2 documentation
• [3] https://github.com/baijum/selenium-python
• [4] http://blog.csdn.net/Eastmount/article/details/47785123
• [5] Selenium實現自動登錄163郵箱和Locating Elements介紹 - Eastmount
• [6] Selenium常見元素定位方法和操作的學習介紹 - Eastmount
• [7]《Python網絡數據爬取及分析從入門到精通（爬取篇）》Eastmount

總結

以上是生活随笔為你收集整理的[Python从零到壹] 九.网络爬虫之Selenium基础技术万字详解（定位元素、常用方法、键盘鼠标操作）的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。