這兩天閑的無聊，隨便爬了點小說和趣圖，因為好久沒使用xpath了，所以遇到了點問題，就是xpath值一直為空，舉個例子:
爬取小說網站。
使用xpath工具查詢小說網站導航欄的xpath路徑是這樣子的:

值是醬紫的:

用python測試下xpath

import requests from lxml import etreeheaders = {"User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/535.1 (KHTML, like Gecko) Chrome/14.0.835.163 Safari/535.1"} url = "http://www.b520.cc/"

按xpath直接使用

rep = requests.get(url =url,headers=headers).text html = etree.HTML(rep) xp = '//*[@id="wrapper"]/div[3]' # xpath直接拷貝的 nav = html.xpath(xp) print(nav)

返回

轉成文本加個text()

xp = '//*[@id="wrapper"]/div[3]/text()'

用復制的xpath就算加上了text()也才打印出這個玩意，完全牛頭不對馬嘴

再仔細看一看網頁

發現文本及鏈接全在 li的a標簽里面
后面的路徑改進一下

# xp = '//*[@id="wrapper"]/div[3]/text()' # xpath直接拷貝的 new_xp = "//*[@id='wrapper']/div[2]/ul/li/a/text()" # 自己找的xpath

打印結果:

數據出來了
想要鏈接的話,直接把text()改成@href

"//*[@id='wrapper']/div[2]/ul/li/a/@href"

總得來說，現在不能過于依賴于xpath工具，需要對比網頁查找路徑

總結

以上是生活随笔為你收集整理的浏览器用xpath获取一直为空的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。