爬去蜜桃貓

大家可以打開(kāi)堆糖網(wǎng)，不需要登錄，然后搜索蜜桃貓，就會(huì)發(fā)現(xiàn)許多可愛(ài)的蜜桃貓和他的小對(duì)象，我們這次的任務(wù)就是要爬取蜜桃貓的日常生活。下面是爬取的代碼，我們先提取了每個(gè)圖片的鏈接，然后進(jìn)行了下載。由于搜索到的結(jié)果是Ajax,所以需要我們通過(guò)json庫(kù)來(lái)進(jìn)行爬取。然后用正則表達(dá)式來(lái)為每個(gè)圖片創(chuàng)建自己的名稱。最后進(jìn)行保存。

import requests import re from requests.exceptions import MissingSchema import json url = [] def get_page():url = 'https://www.duitang.com/napi/blog/list/by_search/?kw=%E8%9C%9C%E6%A1%83%E7%8C%AB&type=feed&start=0&limit=100'try:resp = requests.get(url)#print(url)if 200 == resp.status_code:#print(resp.json())return( resp.json())except requests.ConnectionError:return Nonedef get_images(json):if json.get('data'):data = json.get('data')#print(data)object_list = data.get('object_list')for list in object_list:image2 = list.get("photo")images = image2.get("path")save_image(images)def save_image(url):response = requests.get(url)picture = response.content"https://b-ssl.duitang.com/uploads/item/201903/13/20190313105834_vtvmt.jpeg"abc = re.match("^http.*?_(.*?)$",str(url))#print("aa")#print(abc.group(1))num = abc.group(1)path = "d:/py/duitangmitaomao/p/"+str(num)with open(path, "wb") as f:f.write(picture)def main():json = get_page()get_images(json)save_image(url)main()

總結(jié)

以上是生活随笔為你收集整理的爬取堆糖蜜桃猫图片并下载到本地的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。