使用scrapy框架爬取斗魚(yú)圖片

首先我們先認(rèn)識(shí)一下框架

scrapy—Scrapy是Python開(kāi)發(fā)的一個(gè)快速、高層次的屏幕抓取和web抓取框架，用于抓取web站點(diǎn)并從頁(yè)面中提取結(jié)構(gòu)化的數(shù)據(jù)。Scrapy用途廣泛，可以用于數(shù)據(jù)挖掘、監(jiān)測(cè)和自動(dòng)化測(cè)試。
Scrapy吸引人的地方在于它是一個(gè)框架，任何人都可以根據(jù)需求方便的修改。它也提供了多種類型爬蟲(chóng)的基類，如BaseSpider、sitemap爬蟲(chóng)等，最新版本又提供了web2.0爬蟲(chóng)的支持。

1、首先第一步先進(jìn)行框架的安裝操作

利用python的pip進(jìn)行安裝scrapy
這里如果直接pip3 install scrapy可能會(huì)出錯(cuò)。所以你可以先安裝lxml：pip3 install lxml(已安裝請(qǐng)忽略)。安裝pyOpenSSL：在官網(wǎng)下載wheel文件。安裝Twisted：在官網(wǎng)下載wheel文件。安裝PyWin32：在官網(wǎng)下載wheel文件。下載地址：https://www.lfd.uci.edu/~gohlke/pythonlibs/配置環(huán)境變量：將scrapy所在目錄添加到系統(tǒng)環(huán)境變量即可。ctrl+f搜索即可。最后安裝scrapy，pip3 install scrapy

2、安裝成功后，再進(jìn)行創(chuàng)建框架

利用該命令scrapy startproject douyuSpider ,創(chuàng)建項(xiàng)目成功后在進(jìn)行，進(jìn)入douyuSpider 目錄，使用命令創(chuàng)建一個(gè)基礎(chǔ)爬蟲(chóng)類：# douyuspider 為爬蟲(chóng)名，douyu.com為爬蟲(chóng)作用范圍
scrapy genspider tencentPostion “douyu.com” 創(chuàng)建成功后在查看一下目錄結(jié)構(gòu)

3、json數(shù)據(jù)

之后在進(jìn)行抓包 、、這是抓包的 API，可以直接使用http://capi.douyucdn.cn/api/v1/getVerticalRoom?limit=200&offset=1，這個(gè)是顏值的json數(shù)據(jù)，可以直接進(jìn)行提取使用。

這就是json數(shù)據(jù)，

4、下面進(jìn)行代碼展示，

5 、這個(gè)是爬蟲(chóng)類

進(jìn)行數(shù)據(jù)的提取
item： 這個(gè)是接收的字段，主要是主播的昵稱和圖片的鏈接 ，主播名稱用為文件的名字，圖片的鏈接用于下載

6、Pipeline：管道文件用于下載圖片的文件和進(jìn)行保存，文件名利用字符串的拼接把昵稱保存為文件名

下載文件需要把管道類的參數(shù)盡心更改為ImagesPipeline

7、settings：這是框架的配置文件

首先進(jìn)行寫(xiě)入文件的保存位置
然后進(jìn)行模擬請(qǐng)求頭，防止本機(jī)的ip進(jìn)行攔截或者被封，這是最基本的防爬機(jī)制

然后開(kāi)啟管道 ，也可以配置其優(yōu)先級(jí)，

，然后這樣就結(jié)束了。。。。祝你天天愉快！~~~~

總結(jié)

以上是生活随笔為你收集整理的使用scrapy框架爬取斗鱼图片的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。