大家好，又見面了，我是你們的朋友風(fēng)君子。

下載目標(biāo)是堆糖網(wǎng)熱門圖片，打開網(wǎng)頁并下拉發(fā)現(xiàn)圖片是通過ajax加載的，按F12打開開發(fā)者工具選擇nerwork并篩選xhr，繼續(xù)下拉網(wǎng)頁找到ajax請求的api，如下圖所示

然后就可以構(gòu)造請求獲取包含圖片url的json數(shù)據(jù)，對于網(wǎng)絡(luò)請求等IO密集型任務(wù)，開啟進程池可以提高下載速度

代碼如下：

import requests from requests import exceptions import re from multiprocessing import Pool import os def get_pic_info(): url = 'https://www.duitang.com/napi/index/hot/?' for i in range(1000): params = { 'include_fields': 'top_comments,is_root,source_link,item,buyable,root_id,status,like_count,sender,album', 'limit': '24', 'start': 24 * i, } response = requests.get(url, params=params) json_data = response.json() pic_list = json_data['data']['object_list'] for pic_ in pic_list: image = {} pic_info = pic_['album'] pic_url = pic_info['covers'][0] image['pic_name'] = re.sub(r'[\\/:*?"<>|\r\n。，.？ ]+', '', pic_info['name']) + '.' + pic_url.split('.')[-1] image['pic_url'] = pic_url yield image def download_pic(image): if not os.path.exists(f'./img/{image["pic_name"]}'): try: resp = requests.get(image['pic_url']) if resp.status_code == 200: with open(f'./img/{image["pic_name"]}', 'wb') as f: f.write(resp.content) except exceptions: return None else: print(image['pic_name'] + ' has already downloaded') if __name__ == '__main__': if not os.path.exists('./img'): os.mkdir('./img') pool = Pool() pool.map(download_pic, get_pic_info()) pool.close() pool.join()

總結(jié)

以上是生活随笔為你收集整理的堆糖网热门图片下载[通俗易懂](数据结构中堆与内存堆区的区别)的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。