python有許多庫可以讓我們很方便地編寫網絡爬蟲，爬取某些頁面，獲得有價值的信息！但許多時候，爬蟲取到的頁面僅僅是一個靜態的頁面，即網頁 的源代碼，就像在瀏覽器上的“查看網頁源代碼”一樣。一些動態的東西如javascript腳本執行后所產生的信息，是抓取不到的，這里暫且先給出這么一 些方案，可用于python爬取js執行后輸出的信息。

1、兩種基本的解決方案

1.1 用dryscrape庫動態抓取頁面

js腳本是通過瀏覽器來執行并返回信息的，所以，抓取js執行后的頁面，一個最直接的方式就是用python模擬瀏覽器的行為。WebKit 是一個開源的瀏覽器引擎，python提供了許多庫可以調用這個引擎，dryscrape便是其中之一，它調用webkit引擎來處理包含js等的網頁！

import?dryscrape

#?使用dryscrape庫?動態抓取頁面

def?get_url_dynamic(url):

session_req=dryscrape.Session()

session_req.visit(url)?#請求頁面

response=session_req.body()?#網頁的文本

#print(response)

return?response

get_text_line(get_url_dynamic(url))?#將輸出一條文本

這里對于其余包含js的網頁也是適用的！雖然可以滿足抓取動態頁面的要求，但缺點還是很明顯的：慢！太慢了，其實想一想也合理，python調用 webkit請求頁面，而且等頁面加載完，載入js文件，讓js執行，將執行后的頁面返回，慢一點也是應該的！除外還有很多庫可以調用 webkit：PythonWebkit，PyWebKitGit，Pygt（可以用它寫個瀏覽器），pyjamas等等，聽說它們也可以實現相同的功能！

1.2 selenium web測試框架

selenium是一個web測試框架，它允許調用本地的瀏覽器引擎發送網頁請求，所以，它同樣可以實現抓取頁面的要求。

# 使用 selenium webdriver 可行，但會實時打開瀏覽器窗口

def?get_url_dynamic2(url):

driver=webdriver.Firefox()?#調用本地的火狐瀏覽器，Chrom?甚至?Ie?也可以的

driver.get(url)?#請求頁面，會打開一個瀏覽器窗口

html_text=driver.page_source

driver.quit()

#print?html_text

return?html_text

get_text_line(get_url_dynamic2(url))?#將輸出一條文本

這也不失為一條臨時的解決方案！與selenium類似的框架還有一個windmill，感覺稍復雜一些，就不再贅述！

2、selenium的安裝與使用

2.1 selenium的安裝

在Ubuntu上安裝可以直接使用pip install selenium。由于以下原因：

1. selenium 3.x開始，webdriver/firefox/webdriver.py的__init__中，executable_path="geckodriver"；而2.x是executable_path="wires"

2. firefox 47以上版本，需要下載第三方driver，即geckodriver

還需要一些特殊操作：

1. 下載 geckodriverckod 地址：

mozilla/geckodriver

2. 解壓后將geckodriverckod 存放至 /usr/local/bin/ 路徑下即可：

sudo?mv?～/Downloads/geckodriver?/usr/local/bin/

2.2 selenium的使用

1. 運行報錯：

driver?=?webdriver.chrome()

TypeError:?'module'?object?is?not?callable

解決方案：瀏覽器的名稱需要大寫Chrome和Firefox，Ie

2. 通過

content?=?driver.find_element_by_class_name('content')

來定位元素時，該方法返回的是FirefoxWebElement，想要獲取包含的值時，可以通過

value?=?content.text

到此這篇關于python如何爬取動態網站的文章就介紹到這了,更多相關python怎么爬動態網站內容請搜索python博客以前的文章或繼續瀏覽下面的相關文章希望大家以后多多支持python博客！

總結

以上是生活随笔為你收集整理的python爬虫什么网站都能爬吗_python如何爬取动态网站的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。