新建項目

在需要新建項目的目錄下發(fā)指令

scrapy startproject MySpider

其中MySpider為工程的名字，會新建一個文件夾

進入工程目錄
新建一個爬蟲

scrapy genspider test "www.baidu.com"

test是爬蟲名字
網址是允許爬取的網站，不需要帶HTTP://

執(zhí)行爬蟲文件：

scrapy crawl test

test是爬蟲名字

如何在pycharm下直接點RUN運行

只需要在pycharm中的Run下Edit Configurations...中做運行配置即可

這樣就可以直接點RUN，看效果，不用去再輸入指令了

scrapy保存信息方法（也可以管道文件內寫保存）：

# json格式，默認為unicode編碼 scrapy crawl test -o test.json # csv 逗號表達式，可以用excel打開 scrapy crawl test -o test.csv #xml格式 scrapy crawl test -o test.xml

工程內的文件總結：

• items.py 主要聲明的類的鍵s
• spiders文件夾下寫爬蟲，爬取數據 yield item返回給管道
• pipelines.py 獲取到item處理，可以做保存處理等
• settings.py 可以使能管道等設置信息

轉載于:https://www.cnblogs.com/Mysterious/p/8965016.html

總結

以上是生活随笔為你收集整理的scrapy使用笔记的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。