前面十章爬蟲筆記陸陸續(xù)續(xù)記錄了一些簡單的Python爬蟲知識，

用來解決簡單的貼吧下載，績點(diǎn)運(yùn)算自然不在話下。

不過要想批量下載大量的內(nèi)容，比如知乎的所有的問答，那便顯得游刃不有余了點(diǎn)。

于是乎，爬蟲框架Scrapy就這樣出場了！

Scrapy = Scrach+Python，Scrach這個(gè)單詞是抓取的意思，

暫且可以叫它：小抓抓吧。

小抓抓的官網(wǎng)地址：點(diǎn)我點(diǎn)我。

那么下面來簡單的演示一下小抓抓Scrapy的安裝流程。

具體流程參照：官網(wǎng)教程

友情提醒：一定要按照Python的版本下載，要不然安裝的時(shí)候會提醒找不到Python。建議大家安裝32位是因?yàn)橛行┌姹镜谋貍滠浖?4位不好找。

1.安裝Python（建議32位）

建議安裝Python2.7.x，3.x貌似還不支持。

安裝完了記得配置環(huán)境，將python目錄和python目錄下的Scripts目錄添加到系統(tǒng)環(huán)境變量的Path里。

在cmd中輸入python如果出現(xiàn)版本信息說明配置完畢。

2.安裝lxml

lxml是一種使用 Python 編寫的庫，可以迅速、靈活地處理 XML。點(diǎn)擊這里選擇對應(yīng)的Python版本安裝。

3.安裝setuptools

用來安裝egg文件，點(diǎn)擊這里下載python2.7的對應(yīng)版本的setuptools。

4.安裝zope.interface

可以使用第三步下載的setuptools來安裝egg文件，現(xiàn)在也有exe版本，點(diǎn)擊這里下載。

5.安裝Twisted

Twisted是用Python實(shí)現(xiàn)的基于事件驅(qū)動的網(wǎng)絡(luò)引擎框架，點(diǎn)擊這里下載。

6.安裝pyOpenSSL

pyOpenSSL是Python的OpenSSL接口，點(diǎn)擊這里下載。

7.安裝win32py

提供win32api，點(diǎn)擊這里下載

8.安裝Scrapy

終于到了激動人心的時(shí)候了！安裝了那么多小部件之后終于輪到主角登場。

直接在cmd中輸入easy_install scrapy回車即可。

9.檢查安裝

打開一個(gè)cmd窗口，在任意位置執(zhí)行scrapy命令，得到下列頁面，表示環(huán)境配置成功。

總結(jié)

以上是生活随笔為你收集整理的[Python]网络爬虫（11）：亮剑！爬虫框架小抓抓Scrapy闪亮登场！的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。