一、抓取首頁圖片

靜態頁面

流程：

1.1、找到目標數據

這里用狗的圖片來舉例，接下來我們就要分析然后爬取這個頁面所有狗的圖片的規律

1.2、分析請求流程

先訪問page頁獲取網頁的源代碼

# 網頁的URL地址 url = 'https://image.baidu.com/search/index?tn=baiduimage&ipn=r&ct=201326592&cl=2&lm=-1&st=-1&fm=result&fr=&sf=1&fmq=1623639077275_R&pv=&ic=0&nc=1&z=&hd=&latest=&copyright=&se=1&showtab=0&fb=0&width=&height=&face=0&istype=2&ie=utf-8&sid=&word=%E7%8B%97' #添加請求頭 headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/90.0.4430.93 Safari/537.36"} #訪問page頁面 獲取網頁源代碼 res = requests.get(url,headers=headers) print(res.text)

可以觀察到網頁源代碼的提取并不完整，因此我們可以按“F12”——NetWork——ALL——Name(排在第一個)查看到請求頭，把所有的請求頭內容復制到代碼里(一般反爬我們有User-Agent就行，不行我們就把所有的請求頭加進去)

但是，每個都要改寫成鍵值對形式有點麻煩，這里有個小技巧；
我們可以在pycharm上新建一個py文件，然后把復制的請求頭放進去，按“Ctrl+R”——勾選“Regex”（這里可以讓我們使用正則方式修改我們需要的內容），這樣就能獲取到網頁的源代碼了。

1.3、提取數據

我們先找隨機找一張圖片右擊“復制圖片地址”，然后在網頁空白部分右擊“查看網頁源代碼”，在網頁源代碼頁面“Ctrl+F”查看它在網頁源代碼里是如何顯示的；

同理我們可以多找幾張圖片來進行比較，通過對比可得知圖片加載格式有 3 種方式(找到圖片之間的規律了)："thumbURL":"xxx.jpg"、"middleURL":"xxx.jpg"、"hoverURL":"xxx.jpg"，接下來我們就可以通過正則表達式獲取到圖片的 URL 地址了，最后通過循環就可以爬取到該頁面的圖片了。

1.4、完整代碼

import requests import re import os# 網頁的URL地址 url = 'https://image.baidu.com/search/index?tn=baiduimage&ipn=r&ct=201326592&cl=2&lm=-1&st=-1&fm=result&fr=&sf=1&fmq=1623639077275_R&pv=&ic=0&nc=1&z=&hd=&latest=&copyright=&se=1&showtab=0&fb=0&width=&height=&face=0&istype=2&ie=utf-8&sid=&word=%E7%8B%97' #添加請求頭 headers = { "Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9", "Accept-Encoding": "gzip, deflate, br", "Accept-Language": "zh-CN,zh;q=0.9", "Cache-Control": "max-age=0", "Connection": "keep-alive", "Cookie": "BDIMGISLOGIN=0; winWH=%5E6_1280x578; BDqhfp=%E7%8B%97%26%260-10-1undefined%26%260%26%261; BIDUPSID=88BFCA0DA519F42EA22F89F163D205C5; PSTM=1621005981; BAIDUID=88BFCA0DA519F42EAE9BD14C17C67F24:FG=1; __yjs_duid=1_435ea021e771bf48348cc6d1e442cb191622824721988; H_PS_PSSID=31253_26350; BDORZ=FFFB88E999055A3F8A630C64834BD6D0; delPer=0; PSINO=6; BDRCVFR[X_XKQks0S63]=mk3SLVN4HKm; BAIDUID_BFESS=88BFCA0DA519F42EAE9BD14C17C67F24:FG=1; firstShowTip=1; cleanHistoryStatus=0; BDRCVFR[dG2JNJb_ajR]=mk3SLVN4HKm; BDRCVFR[-pGxjrCMryR]=mk3SLVN4HKm; BDRCVFR[tox4WRQ4-Km]=mk3SLVN4HKm; BDRCVFR[CLK3Lyfkr9D]=mk3SLVN4HKm; indexPageSugList=%5B%22%E7%8B%97%22%2C%22%E6%A2%A6%E7%90%AA%22%5D; ab_sr=1.0.1_ODM0ZmQ5MDFiNzQ3MzE4NzIyMDg2MWU5NTg5MDgzNmY4OTFhODgwYjUwOWYzZGZiYjZlMTQ4YWNhZjdlMDJiMDM1YmY0NjljZDljMmU5YzM0ZDZhNWYwODIyZWFkZWZkNjcwNjFmM2UxZmU1M2NjOGQxZjc3NGNmNWE5NjA2NWVlMzhiMTlkM2IyNzBlOTgyNDBjMDhjZmEyZDFjM2QyOQ==", "Host": "image.baidu.com", "sec-ch-ua": '" Not A;Brand";v="99", "Chromium";v="90", "Google Chrome";v="90"', "sec-ch-ua-mobile": "?0", "Sec-Fetch-Dest": "document", "Sec-Fetch-Mode": "navigate", "Sec-Fetch-User": "?1", "Upgrade-Insecure-Requests": "1", "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/90.0.4430.93 Safari/537.36" } #訪問page頁面 獲取網頁源代碼 res = requests.get(url,headers=headers) #提取數據 狗圖片url urls = re.findall('"thumbURL":"(.*?)"',res.text)# 創建存放的圖片文件夾 if not os.path.exists('images'):os.mkdir('images') #url發起請求，獲取圖片數據 for index,img_url in enumerate(urls):# 若圖片的地址中存在\\則替換掉if '\\' in img_url:img_url = img_url.replace("\\","")res = requests.get(img_url) #res 包含 狗圖片數據#圖片下載位置、及圖片名稱picname = './images/'+'cat'+ str(index) +'.png'print(picname)with open(picname,'wb') as f:f.write(res.content)

結果：

---

二、抓取多頁圖片

還是以狗的圖片為例，當我們鼠標往下滑的時候，我們會發現會有圖片不斷加載出來，其實這已經是加載到下一頁了。那如果我們不僅想爬第一頁圖片，還想爬第二頁、第三頁呢？

2.1、分析請求流程

構造page頁，即找到多個page頁之間的規律

首先，按“F12”——點擊“NetWork”——點擊“XHR”，然后隨著鼠標滾輪不斷的往下，我們可以看到各個頁面的網頁源代碼被加載出來。

接下來我們可以復制幾個網頁頁面的URL地址進行比價找出它們之間的規律

https://image.baidu.com/search/acjson?tn=resultjson_com&logid=8353138729825372156&ipn=rj&ct=201326592&is=&fp=result&queryWord=%E7%8B%97&cl=2&lm=-1&ie=utf-8&oe=utf-8&adpicid=&st=-1&z=&ic=0&hd=&latest=&copyright=&word=%E7%8B%97&s=&se=&tab=&width=&height=&face=0&istype=2&qc=&nc=1&fr=&expermode=&nojc=&pn=90&rn=30&gsm=5a&1623720170654= https://image.baidu.com/search/acjson?tn=resultjson_com&logid=8353138729825372156&ipn=rj&ct=201326592&is=&fp=result&queryWord=%E7%8B%97&cl=2&lm=-1&ie=utf-8&oe=utf-8&adpicid=&st=-1&z=&ic=0&hd=&latest=&copyright=&word=%E7%8B%97&s=&se=&tab=&width=&height=&face=0&istype=2&qc=&nc=1&fr=&expermode=&nojc=&pn=120&rn=30&gsm=78&1623720170795=

(這里我只列舉了兩個，要比較的話最好多找幾個)通過比較我們可以看出只有后面部分存在差異，&pn后數值相差是 30 的倍數，其他的數值差異不影響結果(這個有興趣的可以自己去嘗試)，因此我們就可以通過修改 &pn 后的值來獲取多個網頁

&pn=120&rn=30&gsm=78&1623720170795= #就&pn開始往后存在差異

接下來，就是找一個網頁進行圖片分析(這里 分析過程上面已經講了)

2.2、完整代碼

import requests import re import osheaders = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/90.0.4430.93 Safari/537.36"}def getimg(urls,filename):"""功能：獲取百度圖片，存儲到文件夾參數：img_urls：圖片url列表filename：圖片存儲文件夾"""for index,img_url in enumerate(urls):if '\\' in img_url:img_url = img_url.replace('\\',"")# url發起請求，獲取圖片數據res = requests.get(img_url, headers=headers)picname = filename+'/'+'dog'+str(index)+'.png'print(picname)with open(picname,'wb') as f:f.write(res.content)for i in range(1,4):url = "https://image.baidu.com/search/acjson?tn=resultjson_com&logid=8443544291319646945&ipn=rj&ct=201326592&is=&fp=result&queryWord=%E7%8B%97&cl=2&lm=-1&ie=utf-8&oe=utf-8&adpicid=&st=-1&z=&ic=0&hd=&latest=&copyright=&word=%E7%8B%97&s=&se=&tab=&width=&height=&face=0&istype=2&qc=&nc=1&fr=&expermode=&nojc=&pn={0}&rn=30&gsm=1e&1623687251585="index = i*30url = url.format(index)res = requests.get(url,headers=headers)#提取數據 狗圖片urlimg_urls = re.findall('"thumbURL":"(.*?)"',res.text)# 創建存放的圖片文件夾filename = 'dog'+str(i)+'.png'if not os.path.exists(filename):os.mkdir(filename)getimg(img_urls,filename)

結果：

總結

以上是生活随笔為你收集整理的爬虫学习笔记（二）——使用 requests 爬取百度图片的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。