這兩天閑的無聊，隨便爬了點(diǎn)小說和趣圖，因?yàn)楹镁脹]使用xpath了，所以遇到了點(diǎn)問題，就是xpath值一直為空，舉個(gè)例子:
爬取小說網(wǎng)站。
使用xpath工具查詢小說網(wǎng)站導(dǎo)航欄的xpath路徑是這樣子的:

值是醬紫的:

用python測(cè)試下xpath

import requests from lxml import etreeheaders = {"User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/535.1 (KHTML, like Gecko) Chrome/14.0.835.163 Safari/535.1"} url = "http://www.b520.cc/"

按xpath直接使用

rep = requests.get(url =url,headers=headers).text html = etree.HTML(rep) xp = '//*[@id="wrapper"]/div[3]' # xpath直接拷貝的 nav = html.xpath(xp) print(nav)

返回

轉(zhuǎn)成文本加個(gè)text()

xp = '//*[@id="wrapper"]/div[3]/text()'

用復(fù)制的xpath就算加上了text()也才打印出這個(gè)玩意，完全牛頭不對(duì)馬嘴

再仔細(xì)看一看網(wǎng)頁

發(fā)現(xiàn)文本及鏈接全在 li的a標(biāo)簽里面
后面的路徑改進(jìn)一下

# xp = '//*[@id="wrapper"]/div[3]/text()' # xpath直接拷貝的 new_xp = "//*[@id='wrapper']/div[2]/ul/li/a/text()" # 自己找的xpath

打印結(jié)果:

數(shù)據(jù)出來了
想要鏈接的話,直接把text()改成@href

"//*[@id='wrapper']/div[2]/ul/li/a/@href"

總得來說，現(xiàn)在不能過于依賴于xpath工具，需要對(duì)比網(wǎng)頁查找路徑

總結(jié)

以上是生活随笔為你收集整理的浏览器用xpath获取一直为空的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。