每逢佳節(jié)倍思親，中秋節(jié)到了，這里祝愿大家中秋節(jié)快樂(lè)。

今天主要向大家介紹的是如何自動(dòng)打開瀏覽器并自動(dòng)搜索指定內(nèi)容。

1. 下載谷歌瀏覽器驅(qū)動(dòng)

為什么要下載驅(qū)動(dòng)？

因?yàn)橐话愕膶懪老x的方法是用腳本直接對(duì)目標(biāo)網(wǎng)站進(jìn)行訪問(wèn)，而且只對(duì)目標(biāo)數(shù)據(jù)進(jìn)行采集，訪問(wèn)速度很快，這樣目標(biāo)網(wǎng)站很容易就識(shí)別出你是爬蟲，然后把你封鎖了。這個(gè)時(shí)候，為了更加像人瀏覽網(wǎng)站，需要一個(gè)控制器來(lái)控制瀏覽器，這樣就可以避開封鎖，很多難爬的網(wǎng)站也可以輕而易舉的抓數(shù)據(jù)了。

我們就是通過(guò)一個(gè)叫做Selenium的工具做到模擬人瀏覽瀏覽器的，當(dāng)然，Selenium不僅如此，它還是一個(gè)用于Web應(yīng)用程序測(cè)試的工具。Selenium測(cè)試直接運(yùn)行在瀏覽器中，就像真正的用戶在操作一樣。這個(gè)工具的主要功能包括：測(cè)試與瀏覽器的兼容性——測(cè)試你的應(yīng)用程序看是否能夠很好得工作在不同瀏覽器和操作系統(tǒng)之上。測(cè)試系統(tǒng)功能——?jiǎng)?chuàng)建回歸測(cè)試檢驗(yàn)軟件功能和用戶需求。支持自動(dòng)錄制動(dòng)作和自動(dòng)生成 .Net、Java、Perl等不同語(yǔ)言的測(cè)試腳本。

針對(duì)不同的瀏覽器，控制底層的邏輯實(shí)現(xiàn)不同，因此，不同的瀏覽器需要下載不同的驅(qū)動(dòng)，這有點(diǎn)類似于連接到不同的數(shù)據(jù)庫(kù)時(shí)需要不同的數(shù)據(jù)庫(kù)驅(qū)動(dòng)一樣，這里提供一個(gè)谷歌瀏覽器的驅(qū)動(dòng)下載鏈接：谷歌瀏覽器驅(qū)動(dòng)。

2. 元素定位之XPath

XPath即為XML路徑語(yǔ)言，它是一種用來(lái)確定XML（標(biāo)準(zhǔn)通用標(biāo)記語(yǔ)言的子集）文檔中某部分位置的語(yǔ)言。XPath基于XML的樹狀結(jié)構(gòu)，提供在數(shù)據(jù)結(jié)構(gòu)樹中找尋節(jié)點(diǎn)的能力，在實(shí)際開發(fā)自動(dòng)化腳本過(guò)程中，XPath的使用是最多的一種方法。關(guān)于XPath的其他內(nèi)容，讀者可以自行百度。

這里主要介紹一下如何獲取某一個(gè)元素的XPath，例如，我們以獲取百度首頁(yè)的搜索文本框填入搜索內(nèi)容后點(diǎn)擊搜索按鈕距離。

上述操作對(duì)于沒有接觸過(guò)谷歌瀏覽器的讀者可能有一定的困難，如果有不懂可以評(píng)論區(qū)留蘭。

copy xpath后，直接黏貼，可以看到如下的路徑字符串：?

//*[@id="kw"]

為了實(shí)現(xiàn)搜索，我們也獲取一下“百度一下”按鈕的XPath：?

//*[@id="su"]

3. 搜索內(nèi)容

下面演示一下如何打開瀏覽器并輸入搜索“中秋快樂(lè)”的。

3.1 添加依賴

首先，建立一個(gè)maven項(xiàng)目，并在pom.xml中添加依賴的jar包：

<dependency><groupId>org.seleniumhq.selenium</groupId><artifactId>selenium-java</artifactId><version>3.4.0</version> </dependency>

接著，編寫我們主要的代碼：

3.2?獲取驅(qū)動(dòng)對(duì)象

/** * 獲取Chrome驅(qū)動(dòng) * * @param path 路徑 * @return * @throws Exception */ public static WebDriver createChromeWebDriver(String path) throws Exception {if (path == null || "".equals(path)) {throw new Exception("配置錯(cuò)誤, 沒有配置:chrome path");}System.getProperties().setProperty("webdriver.chrome.driver", path);WebDriver webDriver = new ChromeDriver();webDriver.manage().timeouts().pageLoadTimeout(1200, TimeUnit.SECONDS);webDriver.manage().window().setSize(new Dimension(1024, 768));return webDriver; }

3.3?搜索

/** * 搜索 * * @param key 關(guān)鍵字 */ public static void search(WebDriver driver, String key) {driver.get("http://baidu.com/");WebElement elementKey = driver.findElement(By.xpath("//*[@id=\"kw\"]"));elementKey.sendKeys(key);WebElement elementClick = driver.findElement(By.xpath("//*[@id=\"su\"]"));elementClick.click(); }

3.4?主函數(shù)?

public static void main(String[] args) {WebDriver webDriver;try {webDriver = createChromeWebDriver("webdrivers\\chromedriver.exe");search(webDriver, "中秋快樂(lè)");} catch (Exception e) {e.printStackTrace();} }

3.5?完整代碼和效果?

package com.clawer.logintest;import java.util.concurrent.TimeUnit;import org.openqa.selenium.By; import org.openqa.selenium.Dimension; import org.openqa.selenium.WebDriver; import org.openqa.selenium.WebElement; import org.openqa.selenium.chrome.ChromeDriver;/*** 百度搜索*/ public class App {public static void main(String[] args) {WebDriver webDriver;try {webDriver = createChromeWebDriver("driver\\chromedriver.exe");search(webDriver, "中秋快樂(lè)");} catch (Exception e) {e.printStackTrace();}}/*** 創(chuàng)建Chrome** @param path 路徑* @return* @throws Exception*/public static WebDriver createChromeWebDriver(String path) throws Exception {if (path == null || "".equals(path)) {throw new Exception("配置錯(cuò)誤, 沒有配置:chrome path");}System.getProperties().setProperty("webdriver.chrome.driver", path);WebDriver webDriver = new ChromeDriver();webDriver.manage().timeouts().pageLoadTimeout(1200, TimeUnit.SECONDS);webDriver.manage().window().setSize(new Dimension(1024, 768));return webDriver;}/*** 搜索* * @param key 關(guān)鍵字*/public static void search(WebDriver driver, String key) {driver.get("http://baidu.com/");WebElement elementKey = driver.findElement(By.xpath("//*[@id=\"kw\"]"));elementKey.sendKeys(key);WebElement elementClick = driver.findElement(By.xpath("//*[@id=\"su\"]"));elementClick.click();} }

?4.?報(bào)錯(cuò)處理

unknown error: call function result missing 'value'，網(wǎng)上關(guān)于這個(gè)錯(cuò)誤的說(shuō)法是chrome版本和driver的版本不一致，因此，筆者這里建議升級(jí)chrome，并下載對(duì)應(yīng)的驅(qū)動(dòng)。

Starting ChromeDriver 2.33.506120 (e3e53437346286c0bc2d2dc9aa4915ba81d9023f) on port 38667 Only local connections are allowed. 九月 13, 2019 2:27:01 下午 org.openqa.selenium.remote.ProtocolHandshake createSession 信息: Detected dialect: OSS org.openqa.selenium.WebDriverException: unknown error: call function result missing 'value'(Session info: chrome=76.0.3809.100)(Driver info: chromedriver=2.33.506120 (e3e53437346286c0bc2d2dc9aa4915ba81d9023f),platform=Windows NT 10.0.17134 x86_64) (WARNING: The server did not provide any stacktrace information) Command duration or timeout: 81 milliseconds Build info: version: '3.4.0', revision: 'unknown', time: 'unknown' System info: host: 'MicroWin10-2025', ip: '192.168.44.45', os.name: 'Windows 10', os.arch: 'amd64', os.version: '10.0', java.version: '1.8.0_131' Driver info: org.openqa.selenium.chrome.ChromeDriver Capabilities [{applicationCacheEnabled=false, rotatable=false, mobileEmulationEnabled=false, networkConnectionEnabled=false, chrome={chromedriverVersion=2.33.506120 (e3e53437346286c0bc2d2dc9aa4915ba81d9023f), userDataDir=C:\Users\ADMINI~1\AppData\Local\Temp\scoped_dir8664_25666}, takesHeapSnapshot=true, pageLoadStrategy=normal, databaseEnabled=false, handlesAlerts=true, hasTouchScreen=false, version=76.0.3809.100, platform=XP, browserConnectionEnabled=false, nativeEvents=true, acceptSslCerts=true, locationContextEnabled=true, webStorageEnabled=true, browserName=chrome, takesScreenshot=true, javascriptEnabled=true, cssSelectorsEnabled=true, setWindowRect=true, unexpectedAlertBehaviour=}] Session ID: 879a1a7546fff18bd185a2a8a54c6b48at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:62)at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)at java.lang.reflect.Constructor.newInstance(Constructor.java:423)at org.openqa.selenium.remote.ErrorHandler.createThrowable(ErrorHandler.java:215)at org.openqa.selenium.remote.ErrorHandler.throwIfResponseFailed(ErrorHandler.java:167)at org.openqa.selenium.remote.RemoteWebDriver.execute(RemoteWebDriver.java:671)at org.openqa.selenium.remote.RemoteWebElement.execute(RemoteWebElement.java:272)at org.openqa.selenium.remote.RemoteWebElement.sendKeys(RemoteWebElement.java:96)at com.clawer.logintest.App.search(App.java:52)at com.clawer.logintest.App.main(App.java:20)

?

總結(jié)

以上是生活随笔為你收集整理的【java】Selenium爬虫控制谷歌浏览器的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。