python爬虫爬取百度贴吧图片，requests方法
生活随笔
收集整理的這篇文章主要介紹了
python爬虫爬取百度贴吧图片，requests方法
小編覺得挺不錯的,現(xiàn)在分享給大家,幫大家做個參考.
每天一點點，記錄學(xué)習(xí)
近期爬蟲項目，看完請點贊哦～～～：
1:python 爬取菜鳥教程python100題，百度貼吧圖片反爬蟲下載，批量下載
2:python爬蟲爬取百度貼吧圖片，requests方法
3:python 爬蟲爬取百度貼吧圖片 urllib.request.urlretrieve圖片批量下載函數(shù)
python爬蟲爬取百度貼吧圖片，requests方法
知識點：反爬蟲
1:仍然是找到該圖片的http鏈接，復(fù)制到新窗口，找到user-agent
找到user-agent，將user-agent后邊的內(nèi)容全部復(fù)制
全部代碼如下：
import requests from lxml import etree url = 'https://tieba.baidu.com/p/5815297430' #反爬蟲 headers = {'user-agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/77.0.3865.90 Safari/537.36'} response = requests.get(url) data = response.content.decode('utf-8')#解析 html = etree.HTML(data) img = html.xpath('//img[@class="BDE_Image"]/@src') a = 1 for i in img:res = requests.get(i,headers = headers)img_data = res.content #只能轉(zhuǎn)換為字節(jié)流才能下載圖片with open ('/Users/你的路徑/百度貼吧圖片批量下載/{}.jpg'.format(a),'wb') as f:f.write(img_data)print('第%d張圖片已下載完成'%a)a += 1復(fù)制即可用，還有用批量圖片下載函數(shù)爬取圖片的方法，鏈接?批量下載圖片
總結(jié)
以上是生活随笔為你收集整理的python爬虫爬取百度贴吧图片，requests方法的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： CMPedometer 实现计步
- 下一篇： websocket python爬虫_p