Scrapy安裝

Scrapy的安裝有多種方式，它支持Python2.7版本及以上或Python3.3版本及以上。下面說明Python3
環(huán)境下的安裝過程。
Scrapy依賴的庫比較多，至少需要依賴庫有Twisted 14.0，lxml 3.4，pyOpenSSL 0.14。而在不同平
臺(tái)環(huán)境又各不相同，所以在安裝之前最好確保把一些基本庫安裝好，尤其是Windows。

Anaconda

這種方法是一種比較簡(jiǎn)單的安裝Scrapy的方法（尤其是對(duì)Windows來說），你可以使用該方法安裝，
也可以選用下文中專用平臺(tái)的安裝方法。

Anaconda是包含了常用的數(shù)據(jù)科學(xué)庫的Python發(fā)行版本，如果沒有安裝，可以到https://www.anaconda.com/distribution/

下載對(duì)應(yīng)平臺(tái)的包安裝。

如果已經(jīng)安裝，那么可以輕松地通過conda命令安裝Scrapy。
安裝命令如下：

conda install Scrapy

Windows

• 安裝lxml

好的安裝方式是通過wheel文件來安裝,https://www.lfd.uci.edu/~gohlke/pythonlibs/,從該網(wǎng)站找到lxml的相關(guān)文件。假如是Python3.5版本，Wlndows 64位系統(tǒng)，那就找到lxml-3.7.2-cp35-cp35m-win_a md64.whl這個(gè)文件并下載，然后通過pip安裝。

下載之后,運(yùn)行如下命令安裝:

pip3 install wheel
pip3 install lxml-3.7.2-cp35-cp35m-win amd64.whl

即可完成lxml的安裝，其他文件替換文件名即可。

• 安裝pyOpenSSL

官方網(wǎng)站下載wheel文件，https://pypi.org/project/pyOpenSSL/#downloads,如當(dāng)前最新版本名稱是pyOpenSSL-1 6.2.O-py2.py3-none-any.whl，下載后安裝即可。

pip3 install pyOpenSSL-16. 2.O-py2 . py3-none-any .whl

• 安裝Twisted

同理，https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted，下載wheel文件，利用pip安裝即可。

如Python 3.5版本，Windows 64位系統(tǒng)，下載Twisted-1 7.1 .O-cp35-cp35m-win_amd64.whl，然后pip安裝。

pip3 install Twisted-17 . 1.O-cp35-cp35m-win_amd64.whl

• 安裝pywin32

從官方網(wǎng)站https://sourceforge.net/projects/pywin32/files/pywin32/Build%20220/的安裝包安裝即可。

• 安裝Scrapy

最后安裝Scrapy即可，依然使用pip，命令如下

pip3 install Scrapy

CentOS、RedHat、Fedora

• 依賴庫安裝

確保一些必須的類庫已經(jīng)安裝，運(yùn)行如下命令：

sudo yum groupinstall development tools
sudo yum install python34-devel epel-release libxslt-devel libxml2-devel openssl-devel

• 安裝Scrapy

利用pip安裝Scrapy即可，運(yùn)行如下命令：

pip3 install Scrapy

Ubuntu、Debian、Deepin

• 依賴庫安裝

首先確保一些必須的類庫已經(jīng)安裝，運(yùn)行如下命令：

sudo apt-get install build-essential python3-dev libssl-dev libffi-dev libxml2
libxml2-dev libxsltl-dev zliblg-dev

• 安裝Scrapy

利用pip安裝Scrapy即可，運(yùn)行如下命令：

pip3 install Scrapy

Mac OS

• 依賴庫安裝

在Mac上構(gòu)建Scrapy的依賴庫需要C編譯器以及開發(fā)頭文件，它一般由Xcode提供，運(yùn)行如下命令安裝
即可：
xcode- select -install

• 安裝Scra py

利用pip安裝Scrapy即可，運(yùn)行如下命令：

pip3 install Scrapy

驗(yàn)證
安裝之后，在命令行下輸入scrapy，如果出現(xiàn)類似下方的結(jié)果，就證明Scrapy安裝成功。

常見錯(cuò)誤

• pkg_resou rces.VersionConflict: (six l .5.2 (/usr/lib/python3/dist-packages)，Requirement.parse(‘six>=l .6.0’》

six包版本過低，six包是一個(gè)提供兼容Python2和Python3的庫，升級(jí)six包即可。

sudo pip3 install -U six

• c/_cffi_backend.c:1 5:17: fatal error: ffi.h: No such file or directory

缺少Libffi這個(gè)庫。什么是libffi?“FFl”的全名是Foreign Function Interface，通常指的是允許以一種語言編寫的代碼調(diào)用另一種語言的代碼。而Libffi庫只提供了最底層的、與架構(gòu)相關(guān)的、完整的”FFl”。
安裝相應(yīng)的庫即可。
Ubuntu、Debian：

sudo apt-get install build-essential libssl-dev libffi-dev python3-dev

CentOS、RedHat

sudo yum install gcc libffi-devel python-devel openssl-devel

• ImportError: No module named ‘cryptography’

達(dá)是缺少加密的相關(guān)組件，利用pip安裝即可。

sudo pip3 install cryptography

• ImportError: No module named ‘packaging’

缺少packaging這個(gè)包，它提供了Python包的核心功能，利用pip安裝即可。

sudo pip3 install packaging

• ImportError: No module named ‘appdirs’

缺少appdirs這個(gè)包，它用來確定文件目錄，利用pip單獨(dú)安裝即可。

sudo pip3 install appdirs

總結(jié)

以上是生活随笔為你收集整理的scrapy安装步骤_scrapy安装教程(Scrapy)的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。