創建scrapy的項目請參考：https://blog.csdn.net/qq_35723619/article/details/83614670

items的實現：

DouyumeinvSpider創建： 這次我們爬去的是json數據包：我們可以通過network監控：

?

# -*- coding: utf-8 -*- import scrapy import json from douyu.items import DouyuItemclass DouyumeinvSpider(scrapy.Spider):name = 'douyumeinv'allowed_domains = ['capi.douyucdn.cn']offset = 0url = "http://capi.douyucdn.cn/api/v1/getVerticalRoom?limit=20&offset="start_urls = [url + str(offset)]def parse(self, response):data = json.loads(response.text)['data']for each in data:item = DouyuItem()item['name'] = each['nickname']item['imglink'] = each['vertical_src']yield itemself.offset += 20yield scrapy.Request(self.url + str(self.offset), callback=self.parse)

配置setting

創建ImagePipeline我們這里繼承了scrapy處理圖片的ImagesPipeline重新構建

get_media_requests(self, item, info)和item_completed(self, results, item, info)方法

運行結果：

謝謝瀏覽！！！！

總結

以上是生活随笔為你收集整理的python+scrapy爬取斗鱼图片的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。