現(xiàn)在絕大多數(shù)網(wǎng)頁都是動(dòng)態(tài)生成的，那么學(xué)習(xí)爬蟲就意味著更加困難。若是靜態(tài)網(wǎng)頁，只需要了解如何連接網(wǎng)絡(luò)和分析網(wǎng)頁源代碼提取標(biāo)簽信息即可，但是動(dòng)態(tài)網(wǎng)頁的話，就需要使用到一些特定的框架來爬取了。比較實(shí)用的爬取動(dòng)態(tài)網(wǎng)頁信息的其中一個(gè)工具就是selenium了。先來看看要怎樣使用webmagic和selenium來模擬瀏覽器啟動(dòng)吧。

代碼如下所示：

import us.codecraft.webmagic.Spider; import us.codecraft.webmagic.downloader.selenium.SeleniumDownloader; import us.codecraft.webmagic.processor.example.GithubRepoPageProcessor;public class LiuLanQiTest {public static void main(String[] args) {// TODO Auto-generated method stub//selenium系統(tǒng)配置，其中的路徑寫自己config文件的路徑System.setProperty("selenuim_config", "D:\\jse-workspace\\WebMagicTest\\Study\\src\\main\\java\\Four\\config.ini"); Spider.create(new GithubRepoPageProcessor())//調(diào)用一個(gè)webmagic中封裝好的一個(gè)網(wǎng)頁爬取類.addUrl("http://www.baidu.com")//要爬取的網(wǎng)頁//瀏覽器驅(qū)動(dòng)（動(dòng)態(tài)網(wǎng)頁信息通過模擬瀏覽器啟動(dòng)獲取）.setDownloader(new SeleniumDownloader("D:\\ChromeDriver\\chromedriver_win32(2)\\chromedriver.exe")).thread(3)//啟動(dòng)n個(gè)線程（此語句表示啟動(dòng)3個(gè)線程）.run();//啟動(dòng)爬蟲，會(huì)阻塞當(dāng)前線程執(zhí)行（及n個(gè)線程不是同時(shí)執(zhí)行的） // 。runAsync();//啟動(dòng)爬蟲，當(dāng)前線程繼續(xù)執(zhí)行（及n個(gè)線程同時(shí)執(zhí)行）} }當(dāng)出現(xiàn)如下頁面時(shí)，說明啟動(dòng)瀏覽器成功。

！！！需要注意的是，用此代碼模擬瀏覽器啟動(dòng)的時(shí)候，要先將webmagic和selenium所需要的包全部導(dǎo)入到所建項(xiàng)目中，并且下載過chrome驅(qū)動(dòng)。

若創(chuàng)建的項(xiàng)目是maven項(xiàng)目，則可以直接在pom.xml文件中加入如下語句：

<dependency><groupId>us.codecraft</groupId><artifactId>webmagic-core</artifactId><version>0.7.3</version></dependency><dependency><groupId>us.codecraft</groupId><artifactId>webmagic-extension</artifactId><version>0.7.3</version></dependency><dependency><groupId>us.codecraft</groupId><artifactId>webmagic-selenium</artifactId><version>0.7.3</version></dependency><dependency><groupId>org.seleniumhq.selenium</groupId><artifactId>selenium-java</artifactId><version>3.0.1</version></dependency><dependency><groupId>org.seleniumhq.selenium</groupId><artifactId>selenium-chrome-driver</artifactId><version>3.0.1</version></dependency><dependency><groupId>org.seleniumhq.selenium</groupId><artifactId>selenium-server</artifactId><version>2.18.0</version></dependency>再有就是要在所建項(xiàng)目下新建config配置文件，文件內(nèi)容可以參照我的config.ini文件來寫，文件內(nèi)容如下：

# What WebDriver to use for the tests #driver=phantomjs #driver=firefox driver=chrome #driver=http://localhost:8910 #driver=http://localhost:4444/wd/hub# PhantomJS specific config (change according to your installation) #phantomjs_exec_path=/Users/Bingo/bin/phantomjs-qt5 #phantomjs_exec_path=d:/phantomjs.exe chrome_exec_path=C:\Users\sky\AppData\Local\Google\Chrome\Application\chrome.exe #phantomjs_driver_path=/Users/Bingo/Documents/workspace/webmagic/webmagic-selenium/src/main.js #phantomjs_driver_loglevel=DEBUG chrome_driver_loglevel=DEBUG其中的#表示注釋。

在執(zhí)行代碼過程中若碰到其他問題，可以參考我前面的兩個(gè)博客看能否將問題解決。

http://blog.csdn.net/without_scruple/article/details/78311942和http://blog.csdn.net/without_scruple/article/details/78312445

總結(jié)

以上是生活随笔為你收集整理的webmagic+selenium模拟浏览器启动（动态网页爬取方法之一的第一步）的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。