在我剛接觸爬蟲的時候就已經聽過Scrapy大名了，據說是一個很厲害的爬蟲框架，不過那個時候沉迷于Java爬蟲。現在終于要來揭開它神秘的面紗了，來一起學習一下吧

歡迎關注公眾號：老白和他的爬蟲

1.環境搭配

使用Scrapy的話，我建議使用Anaconda+pycharm的環境配置，首先Anaconda為我們繼承好了很多的第三方庫非常方便實用，pycharm是一個非常好用的python IDE，如果你不太清楚這兩者的配置的話，那么請出門右拐，去這里配置一下環境——Anaconda+pycharm配置，還有如果你是python小白的話，什么環境都沒有配，你可能更需要Anaconda，直接安裝Anaconda不用自己配環境了。

通過這一步，先使用pycharm建立一個簡單的項目，隨便你起什么名字，例如我自己起的名字是MyTest，再在這個項目下面新建一個Test1.py的文件

第一次打開pycharm，我們可以在左下角打開控制臺和終端的窗口

我們可以在終端輸入各種命令非常方便

2.簡單例子

把環境配好了之后嘗試一個簡單的例子，在你新建的Test1.py文件里copy這段代碼，還有記得在這步之前去Anaconda里面安裝Scrapy，如果你不知道怎么在Anaconda里面安裝第三方庫的話，那么，出門右拐，Anaconda+pycharm配置

import scrapy

class mingyanSpider(scrapy.Spider):

name = "quotes"

start_urls = [

'http://lab.scrapyd.cn/',

]

def parse(self, response):

for quote in response.css('div.quote'):

yield {

'內容': quote.css('span.text::text').extract_first(),

'作者': quote.xpath('span/small/text()').extract_first(),

}

next_page = response.css('li.next a::attr("href")').extract_first()

if next_page is not None:

yield scrapy.Request(next_page, self.parse)

然后我們在終端里輸入這段命令

scrapy runspider Test1.py -o mingyan.json

運行成功后看一下你的終端是不是有這樣的數據

并且你的當前文件夾下面會生成一個mingyan.json文件，雖然里面的文件是unicode編碼，但是稍加調整就可以顯示正常

好了，能成功運行這個例子你就已經邁出了第一步，主要是把環境搭好，后面好方便寫更高級的代碼

最后，關注一波吧

總結

以上是生活随笔為你收集整理的pycharm安装scrapy失败_Scrapy ——环境搭配与一个简单的例子的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。