–– coding:utf-8 ––

import lxml,requests,sys

from bs4 import BeautifulSoup

from lxml import etree

reload(sys)

sys.setdefaultencoding(“utf-8”)

def main():

url = 'https://image.baidu.com/search/flip?tn=baiduimage&ie=utf-8&word=%E6%9A%B4%E8%B5%B0%E6%BC%AB%E7%94%BB&pn=0'

req = requests.get(url).content

# soup = BeautifulSoup(req.content,’lxml’)

# imgs = soup.find_all(‘img’)

content = etree.HTML(req)

paths = content.xpath('//*[@id="imgid"]/ul/li[1]/a/img/text()')

# for img in imgs:

#

# ? ? print img

# for img in imgs :

print paths

main()

在寫爬蟲的時候，使用xpath一定要確認(rèn)一下網(wǎng)頁的源代碼中是否有數(shù)據(jù)，如果沒有，說明是異步加載的

1. 瀏覽器輸入這個連接即可看源代碼，ctrl+f 查找imgid所在的位置

view-source:https://image.baidu.com/search/flip?tn=baiduimage&ie=utf-8&word=%E6%9A%B4%E8%B5%B0%E6%BC%AB%E7%94%BB&pn=0

2. 發(fā)現(xiàn)

并沒有找到下面的圖片列表，我們可以判定圖片是js加載的

3. 尋找

F12看network(刷新才能看到)，并沒有發(fā)現(xiàn)異步請求加載的圖片信息，于是我猜測數(shù)據(jù)應(yīng)該就在html里，不過是放在js里，在加載圖片的時候處理了

同樣是上面的查看源代碼的方式，查找objURL這個參數(shù)發(fā)現(xiàn)了真實的url

//很多，集中在html下半部分

http://img3.duitang.com/uploads/item/201608/06/20160806110540_MAcru.jpeg

解決

剩下的就交給你啦～去想辦法解析出下面部分的真實url吧!

總結(jié)

以上是生活随笔為你收集整理的为什么有些xpath绝对路径拿不到数据_我写的Xpath 为什么爬取不到内容的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。