當前位置：首頁 > 编程语言 > python >内容正文

python

利用python爬虫(part11)--XpathHelper为啥不能全信之JS要闹哪般

發(fā)布時間：2023/12/19 python 39 豆豆

生活随笔收集整理的這篇文章主要介紹了利用python爬虫(part11)--XpathHelper为啥不能全信之JS要闹哪般小編覺得挺不錯的,現(xiàn)在分享給大家,幫大家做個參考.

學習筆記
編輯器：Sublime

本Blog回答一下爬蟲案例4里為，啥我在Xpath Helper可以匹配到URL，但是在python中就匹配不到了的小問題

在以往寫爬蟲時，我會在前端頁面中，選中要爬取的內容，然后右鍵點擊【審查元素】，按照HTML結構寫一個Xpah表達式。之后再把寫好的Xpath表達式用Xpath Helper 在前端頁面中測試一下，如果匹配成功，那么我就在爬蟲程序中使用這個Xpath表達式。但是有的時候在前端頁面中，我的Xpath表達式匹配成功了，在python中就匹配不到數(shù)據了，，這是個啥情況？？

現(xiàn)在有一種解釋

因為，我們再前端頁面中看到的HTML結構，并不一定是網站給我們響應的結構.有些網頁中被嵌入了JavaScript,當我們用瀏覽器打開這些頁面時，就觸發(fā)了這些JS, 這些JS一旦執(zhí)行，網頁的頁面結構就被改變了！

所以, 如果我們在頁面中用Xpath Helper能匹配到信息，不代表在程序中就能匹配到網頁響應給我的HTML頁面中的信息

這時該咋整？??我們可以先查看網頁源代碼(因為網頁源代碼里的HTML結構，才是網頁響應給我們的真正的HTML結構)，【CTRL+F】搜索要爬取的內容，再觀察此時的頁面結構，最后重新寫XPath.

來個例子吧

現(xiàn)在，我想爬取怪物獵人吧里一個帖子中的視頻。

我們右鍵點擊要爬取的視頻，看一下【審查元素】里的HTML結構:

我們可以看到這個視頻的URL地址在video標記的src屬性里，所以我想這樣寫Xpath:

//video/@src

我們利用Xpath Helper測試一下，看能不能匹配到：

很好！匹配到了，現(xiàn)在我開始用python爬取這個視頻：

import requests from lxml import etreeurl = 'https://tieba.baidu.com/p/6610350138' headers = {'User-Agent':'Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.1; WOW64; Trident/4.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; InfoPath.3)'} html = requests.get(url, headers = headers).content.decode('utf-8') parse_html = etree.HTML(html) my_xpath = '//video/@src' data_list = parse_html.xpath(my_xpath) print(data_list)

輸出：

[] [Finished in 7.4s]

嚶嚶嚶，我不開心，啥都沒匹配到！

我們打開網頁源代碼，搜索一下這個vodieo的URL，檢查一下HTML頁面結構：

很好！頁面結構真的和我們之前看到的不大一樣呢~

我們重新寫一個Xpath表達式，來匹配這個視頻URL地址(注意！這里寫的Xpath表達式不具有共性，只是為了講明白這個案例，只針對該頁面中的視頻)：

//div[@class="video_src_wrapper"]/embed/@data-video

再來用用Python爬一下：

import requests from lxml import etreeurl = 'https://tieba.baidu.com/p/6610350138' headers = {'User-Agent':'Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.1; WOW64; Trident/4.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; InfoPath.3)'} html = requests.get(url, headers = headers).content.decode('utf-8') parse_html = etree.HTML(html) my_xpath = '//div[@class="video_src_wrapper"]/embed/@data-video' data_list = parse_html.xpath(my_xpath) print(data_list)

輸出：

['https://gss3.baidu.com/6LZ0ej3k1Qd3ote6lo7D0j9wehsv/tieba-smallvideo-transcode-crf/1934937_98718bd465733e5f2edd568e6f346f6b_0.mp4'] [Finished in 4.8s]

很好！爬取到了呢~

后記：這只是Xpath Helper為啥不能全信的其中一個原因，其他原因在之后的系列Blog里會一一闡述，學習ing…

總結

以上是生活随笔為你收集整理的利用python爬虫(part11)--XpathHelper为啥不能全信之JS要闹哪般的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。

上一篇：非主流qq签名女生最新版设计每个人都有
下一篇：利用python爬虫(part12)--