防盜鏈原理

http標準協議中有專門的字段記錄referer
一來可以追溯上一個入站地址是什么
二來對于資源文件，可以跟蹤到包含顯示他的網頁地址是什么
因此所有防盜鏈方法都是基于這個Referer字段

學習python中有什么不懂的地方，小編這里推薦加小編的python學習群：895,817, 687
有任何不懂的都可以在里面交流，還有很好的視頻教程pdf學習資料，大家一起學習交流！

so:很多網站使用防盜鏈的方法來設置反爬蟲機制，設置這種機制后通過圖片路由直接訪問會返回403錯誤，

其實解決辦法很簡單，加入header，然后把Referer寫入即可！

headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36','Referer': url}

本文爬取https://www.mn52.com/網站上面的清純美女圖片，代碼如下；

# 需要的庫 import requests import re import os from multiprocessing import Pool # 主函數 def get_img(url):# 設置圖片存儲路徑path = './mn52/'if not os.path.exists(path):os.mkdir(path)# 請求頭，因為圖片路由有防盜鏈設置所以在headers中添加'Referer': urlheaders = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36','Referer': url}try:# 請求主頁面路由response = requests.get(url=url,headers=headers)# print(response.text)# 正則提取并遍歷獲取分頁面res_paging = re.findall('<div class="picbox">.*?<a href="(.*?)"',response.text,re.S)for i in res_paging:# 拼接分頁面路由url_infos = 'https://www.mn52.com' + i# 請求分頁面路由res_details = requests.get(url=url_infos,headers=headers)# 遍歷獲取圖片路由res_detail = re.findall('<div class="img-wrap">.*?<img .*?rel="(.*?)"/>',res_details.text,re.S)for i in res_detail:# 拼接圖片路由img_urls = 'https:'+i# 給圖片命名filename = i.split('/')[-1]# 判斷圖片是否已下載if os.path.exists(path+str(filename)):print('圖片已存在')else:# 請求圖片連接res = requests.get(url=img_urls,headers=headers)# 保存圖片with open(path+str(filename),'wb') as f:f.write(res.content)# 打印下載信息print('正在下載：'+img_urls)except Exception as e:print(e) # 程序入口 if __name__ == '__main__':# 構造完整路由urls = ['https://www.mn52.com/meihuoxiezhen/list_2_{}.html'.format(i) for i in range(1,94)]# 開啟多進程pool = Pool()# 啟動程序pool.map(get_img,urls)print('抓取完成')

圖片比較多，需要一些時間下載，控制臺顯示的下載過程

打開文件查看圖片是否下載成功

done

總結

以上是生活随笔為你收集整理的Python爬取mn52网站美女图片以及图片防盗链的解决方法的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。