一、概念

網(wǎng)頁中的許多數(shù)據(jù)并不是寫死在HTML中的，而是通過js動態(tài)載入的。所以也就引出了什么是動態(tài)數(shù)據(jù)的概念，動態(tài)數(shù)據(jù)在這里指的是網(wǎng)頁中由Javascript動態(tài)生成的頁面內容，是在頁面加載到瀏覽器后動態(tài)生成的，而之前并沒有的。在編寫爬蟲進行網(wǎng)頁數(shù)據(jù)抓取的時候，經(jīng)常會遇到這種需要動態(tài)加載數(shù)據(jù)的HTML網(wǎng)頁，如果還是直接從網(wǎng)頁上抓取那么將無法獲得任何數(shù)據(jù)。

二、操作

1.先進入網(wǎng)址如：https://dujia.qunar.com/

2.在Chrome瀏覽器中，點擊F12，打開Network中的XHR，我們來抓取對應的js文件來進行解析：

3.向下拖拽或點擊獲取更多時，使得頁面加載入更多的數(shù)據(jù)信息，從而我們可以抓取對應的報文。如點擊“度假”

4.查看XHR

5.訪問Request URL查看json信息:

https://dujia.qunar.com/golfz/urlProxy/proxy.qunar?urlPath=http%3A%2F%2Fdiy.dujia.qunar.com%2Fapi%2Fdest.json&_=1501918232175

與50位技術專家面對面20年技術見證，附贈技術全景圖

總結

以上是生活随笔為你收集整理的python抓取网页信息_python抓取网页中的动态数据的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內容還不錯，歡迎將生活随笔推薦給好友。