防盜鏈原理

http標(biāo)準(zhǔn)協(xié)議中有專(zhuān)門(mén)的字段記錄referer
一來(lái)可以追溯上一個(gè)入站地址是什么
二來(lái)對(duì)于資源文件，可以跟蹤到包含顯示他的網(wǎng)頁(yè)地址是什么
因此所有防盜鏈方法都是基于這個(gè)Referer字段

so:很多網(wǎng)站使用防盜鏈的方法來(lái)設(shè)置反爬蟲(chóng)機(jī)制，設(shè)置這種機(jī)制后通過(guò)圖片路由直接訪問(wèn)會(huì)返回403錯(cuò)誤，

其實(shí)解決辦法很簡(jiǎn)單，加入header，然后把Referer寫(xiě)入即可！

headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36',
        'Referer': url
    }

本文爬取https://www.mn52.com/網(wǎng)站上面的清純美女圖片，代碼如下；

# 需要的庫(kù)
import requests
import re
import os
from multiprocessing import Pool
# 主函數(shù)
def get_img(url):
    # 設(shè)置圖片存儲(chǔ)路徑
    path = './mn52/'
    if not os.path.exists(path):
        os.mkdir(path)
    # 請(qǐng)求頭，因?yàn)閳D片路由有防盜鏈設(shè)置所以在headers中添加'Referer': url
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36',
        'Referer': url
    }
    try:
        # 請(qǐng)求主頁(yè)面路由
        response = requests.get(url=url,headers=headers)
        # print(response.text)
        # 正則提取并遍歷獲取分頁(yè)面
        res_paging = re.findall('<div class="picbox">.*?<a href="(.*?)"',response.text,re.S)
        for i in res_paging:
            # 拼接分頁(yè)面路由
            url_infos = 'https://www.mn52.com' + i
            # 請(qǐng)求分頁(yè)面路由
            res_details = requests.get(url=url_infos,headers=headers)
            # 遍歷獲取圖片路由
            res_detail = re.findall('<div class="img-wrap">.*?<img .*?rel="(.*?)"/>',res_details.text,re.S)
            for i in res_detail:
                # 拼接圖片路由
                img_urls = 'https:'+i
                # 給圖片命名
                filename = i.split('/')[-1]
                # 判斷圖片是否已下載
                if os.path.exists(path+str(filename)):
                    print('圖片已存在')
                else:
                    # 請(qǐng)求圖片連接
                    res = requests.get(url=img_urls,headers=headers)
                    # 保存圖片
                    with open(path+str(filename),'wb') as f:
                        f.write(res.content)
                        # 打印下載信息
                        print('正在下載：'+img_urls)
    except Exception as e:
        print(e)
# 程序入口
if __name__ == '__main__':
    # 構(gòu)造完整路由
    urls = ['https://www.mn52.com/meihuoxiezhen/list_2_{}.html'.format(i) for i in range(1,94)]
    # 開(kāi)啟多進(jìn)程
    pool = Pool()
    # 啟動(dòng)程序
    pool.map(get_img,urls)
    print('抓取完成')

圖片比較多，需要一些時(shí)間下載，控制臺(tái)顯示的下載過(guò)程

打開(kāi)文件查看圖片是否下載成功

done

總結(jié)

以上是生活随笔為你收集整理的Python爬取mn52网站美女图片以及图片防盗链的解决方法的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。