python3安裝scrapy之windows32位爬坑

原創 2016年11月06日 01:38:08

• 標簽：
• scrapy /
• windows /
• python /
• 開源框架 /
• 網絡爬蟲

早就聽說scrapy不支持python3，而scrapy作為一款優秀的開源框架，不在新的python上集成一下實在可惜。最近剛好打算開始學習網絡爬蟲，網上又有那么多教程，so今天就來爬一下這個坑。
首先當然是安裝一下python，官網可以直接安裝最新的3.5.2。安裝完成以后，可以成功python后在cmd執行一下命令

pip install scrapy

• 1

ok，然后坐等執行結果。年輕人，你以為這就完了么，too young too navie。等待十幾分鐘后，回頭來看，報錯了、

word天吶，腫么回事？！twisted下載98%，lxml報Exception，這都是什么鬼咩？
別急，找尋度娘，原來這些都是運行scrapy所依賴的庫。好了，下面是正文，開始爬坑~
首先度娘，scrapy依賴的庫有twisted、lxml，而twisted依賴的庫又有zope.interface、pyopenssl。各位看官是不是已經略嫌煩人了，不要急，前途終歸是美好滴，但學習的路線總是曲折的~

一、安裝twisted庫

1. 安裝zope.interface。
我們可以先在python環境中執行一下命令 import zope.interface 來確定是否已安裝zope.interface，如果未報錯，那么衷心祝賀你可以跳過這一步，直接進入下一步。如果報錯并出現如下圖的問題，那么我們就來解決一下這個坑。

從zope.interface這里下載zope.interface。好吧，當你打開鏈接點擊右上角淺綠色按鈕Downloads的時候，又傻眼了！

因為zope的下載列表中的文件很顯然只支持到py3.4！！！怎么辦？那就只能先把文件下載下來，然后看看其對py3.5的適配性是否良好了（捏一把汗！）。這里我們下載最后一個文件，然后雙擊執行。

好吧，又navie了，于是這種方法方棄之。
接下來試一下直接安裝zope.interface的whl文件。前提需要你的python安裝wheel，如果沒有安裝wheel可以在cmd中執行命令 pip install wheel 來安裝一下。我們下載。。。（此處省略一萬字）

納尼，zope的whl文件居然有支持py3.5的，可是exe文件卻沒有，簡直。。。折騰半天浪費糧食。好了，我們直接下載上圖中選中的whl文件，然后在cmd中執行如下命令

pip install D:\Study\spider\scrapy\zope.interface-4.3.2-cp35-cp35m-win32.whl

• 1

看到Successfully字眼，好吧，zope.interface終于搞定。

2. 安裝pyopenssl。

這里還是首先下載pyopenssl，打開鏈接，依舊點擊右上角淺綠色按鈕Downloads，然后下載列表中的第一個文件。

下載完成后，然后老規矩打開cmd執行命令

pip install D:\Study\spider\scrapy\pyOpenSSL-16.2.0-py2.py3-none-any.whl

• 1

然后坐等成功安裝完成，好吧，然而往往事與愿違~
。
咩黎嘎？無奈再次求助度娘。（萬頭攢動火樹銀花之處不必找我，我在度娘溫暖的臂彎里）
懷疑是cryptography庫沒有安裝，于是執行一下命令 pip install cryptography

安裝cryptography成功，并可以看到其版本為1.5.2。于是回頭繼續安裝pyopenssl，執行命令

pip install D:\Study\spider\scrapy\pyOpenSSL-16.2.0-py2.py3-none-any.whl

• 1

好吧，幸福來得太突然，讓人猝不及防。果然，還是要靜心多思考。next。
3. 安裝twisted。
依舊到官網下載 twisted安裝文件。

這里沒有找到對應py3.5版本的twisted，所以先直接下載最新的twisted版本16.5。
我們直接下載列表中的第一項whl文件，下載完成后，在cmd中執行命令：

pip install D:\Study\spider\scrapy\Twisted-16.5.0-cp27-cp27m-win_amd64.whl

• 1

前排小凳子，坐等結果。。。

版本不支持，看了一下安裝的twisted是64位的。于是繼續搞起，找找32位的twisted。
皇天不負有心人，在這里找到了32位的twisted。于是果斷下載下來，執行命令安裝。


好吧，看來是因為安裝的python版本是3.5，而twisted的版本沒有匹配到。可是官網最新的版本16.5表示財支持到python2.7版本，而且還是64位的。
皇阿瑪，你憋走，我要哭會哭會、、、
經過幾個小時的折騰，終于發現了人民群眾的智慧力量是無窮的，找到一篇文章，里面提供了野生的twisted cp35版本可供下載。

好吧，請容許我賣弄一下自己的武斗學問：真真兒是踏破鐵鞋無覓處，得來全不費工夫~
好了，下載完成后執行命令：

pip install D:\Study\spider\scrapy\Twisted-16.5.0-cp35-cp35m-win32.whl

• 1

久違的Successfully，太想念你了啊！

二、安裝lxml

首先下載lxml安裝文件，

下載完成后執行命令

pip install D:\Study\spider\scrapy\lxml-3.6.4-cp35-cp35m-win32.whl

• 1

ok，老實說先在越來越稀罕pip這個功能了~

三、最后安裝scrapy

萬里長城終于走到最后一步了，那么久一鼓作氣，來下載scrapy。

下載完成后，我們在cmd中執行命令

pip install D:\Study\spider\scrapy\Scrapy-1.2.1-py2.py3-none-any.whl

• 1

如果安裝過程中出現上圖的錯誤，千萬不要擔心，那是因為網絡原因，下載超時了，這時候呢就多試幾遍命令，反正唐僧西天取經最后拿到經書了還有一難呢。

吶，最后所有依賴都安裝成功了包括scapy。上面的紅色部分意思就是說沒有成功編譯pyDispatcher的wheel文件，但是最后python自動重新安裝了pyDispatcher，而且也出現可Successfully字眼。

那么，接下來的最后的最后，經歷了這么多就是測試scrapy是否能正常工作。在cmd中直接輸入scrapy，看到如下圖所示：

那么，恭喜你，大功告成！

轉載于:https://www.cnblogs.com/vectors07/p/7978153.html

總結

以上是生活随笔為你收集整理的【转载】python3安装scrapy之windows32位爬坑的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。