參考：http://www.open-open.com/lib/view/open1420624463656.html

抓取網(wǎng)站的代碼實現(xiàn)很多，如果考慮到抓取下載大量內(nèi)容，scrapy框架無疑是一個很好 的工具。下面簡單列出安裝過程。PS：一定要按照Python的版本下載，要不然安裝的時候會提醒找不到Python。

?

1.安裝Python

?

安裝完了記得配置環(huán)境，將python目錄和python目錄下的Scripts目錄添加到系統(tǒng)環(huán)境變量的Path里（在python2.7以后版本中，安裝過程中會有個選項：添加到python到path，勾選即可）。在cmd中輸入python如果出現(xiàn)版本信息說明配置完畢（如下面截圖）。python下載地址:https://www.python.org/downloads/。

?
2.安裝setuptools 或者 pip
ubuntu linux: sudo apt-get install python-pip

windows:點擊https://pypi.python.org/pypi/pip?下載pip-6.1.1.tar.gz?(md5,?pgp)

解壓后進(jìn)入文件夾執(zhí)行：python setup.py install

或者直接下載exe文件進(jìn)行安裝，下載地址為：http://www.lfd.uci.edu/~gohlke/pythonlibs/#pip

?

3.安裝lxml

lxml是一種使用 Python 編寫的庫，可以迅速、靈活地處理 XML。選擇對應(yīng)的Python版本安裝。；

安裝命令：pip install lxml

驗證是否安裝成功：>>>import lxml

4.安裝zope.interface，安裝命令：

?

pip install zope.interface

?

5.安裝Twisted

Twisted是用Python實現(xiàn)的基于事件驅(qū)動的網(wǎng)絡(luò)引擎框架，安裝命令：

?

pip install twisted

?

6.安裝pyOpenSSL

pyOpenSSL是Python的OpenSSL接口，安裝命令：

pip install pyopenssl

7.安裝win32py （windows需要）

提供win32api，點擊?http://sourceforge.net/projects/pywin32/files/pywin32/下載

?

8.安裝Scrapy

?easy_install scrapy

或者：pip install scrapy

?

9.測試是否scrapy可用:

scrapy bench

?

安裝完成，開始使用吧！

轉(zhuǎn)載于:https://www.cnblogs.com/baiyang-life/p/7082906.html

總結(jié)

以上是生活随笔為你收集整理的Scrapy 安装的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。