1.Scrapy

Scrapy是一個為了爬取網站數據，提取結構性數據而編寫的應用框架。 可以應用在包括數據挖掘，信息處理或存儲歷史數據等一系列的程序中。用這個框架可以輕松爬下來如亞馬遜商品信息之類的數據。

Scrapy，Python開發的一個快速、高層次的屏幕抓取和web抓取框架，用于抓取web站點并從頁面中提取結構化的數據。Scrapy用途廣泛，可以用于數據挖掘、監測和自動化測試。

Scrapy吸引人的地方在于它是一個框架，任何人都可以根據需求方便的修改。它也提供了多種類型爬蟲的基類，如BaseSpider、sitemap爬蟲等，最新版本又提供了web2.0爬蟲的支持。

Scrap，是碎片的意思，這個Python的爬蟲框架叫Scrapy。

項目地址：https://scrapy.org/

2.PySpider

pyspider 是一個用python實現的功能強大的網絡爬蟲系統，能在瀏覽器界面上進行腳本的編寫，功能的調度和爬取結果的實時查看，后端使用常用的數據庫進行爬取結果的存儲，還能定時設置任務與任務優先級等。

主要特性如下：

1、強大的WebUI，包含：腳本編輯器、任務監控器，項目管理器和結果查看器；

2、多數據庫支持，包括：MySQL, MongoDB, Redis, SQLite, Elasticsearch; PostgreSQL with SQLAlchemy等；

3、使用RabbitMQ, Beanstalk, Redis 和Kombu作為消息隊列；

4、支持任務優先級設定、定時任務、失敗后重試等；

5、支持分布式爬蟲

項目地址：https://github.com/binux/pyspider

3.Crawley

Crawley可以高速爬取對應網站的內容，支持關系和非關系數據庫，數據可以導出為JSON、XML等。

crawley也是使用python開發出來的一款爬蟲框架，該框架致力于改變人們從互聯網中提取數據的方式，讓大家可以更高效地從互聯網中爬取對應內容。

crawley框架的主要特點有：

1>高速爬取對應網站內容

2> 可以將爬取到內容輕松地存儲到數據庫中，比如：postgres，mysql，oracle，sqlite等數據庫

3>可以將爬取到的數據導出為json，xml等格式

4>支持非關系型數據庫，比如：mongodb，couchdb等

5>支持使用命令行工具

6>可以使用你喜歡的工具提取數據，比如使用xpath或者pyquery等工具

7>支持使用cookie登陸并訪問哪些只有登陸才能夠訪問的網頁

項目地址：http://project.crawley-cloud.com/

4.Portia

Portia是一個開源可視化爬蟲工具，可讓您在不需要任何編程知識的情況下爬取網站！簡單地注釋您感興趣的頁面，Portia將創建一個蜘蛛來從類似的頁面提取數據。

portia框架是一款允許沒有任何編程基礎的用戶可視化地爬取網頁的爬蟲框架，給出你要爬取的網頁中感興趣的數據內容，通過portia框架，可以將你所需要的信息從相似的網頁中自動提取出來。

項目地址：https://github.com/scrapinghub/portia

5.Newspaper

Newspaper可以用來提取新聞、文章和內容分析。使用多線程，支持10多種語言等。

newspaper框架是一種用來提取新聞、文章以及內容分析的python爬蟲框架。更準確地說，newspaper是一個python的庫，只不過這個庫是由第三方開發的，可以歸為一種框架。

newspaper框架在的主要特點：

1>比較簡單

2>速度比較快

3>支持多線程

4>支持十多種語言

由此我們可以知道newspaper框架是輕量級框架，并且就爬取文章信息這一功能來說，使用起來很方便

項目地址：https://github.com/codelucas/newspaper

6.Beautiful Soup

Beautiful Soup 是一個可以從HTML或XML文件中提取數據的Python庫.它能夠通過你喜歡的轉換器實現慣用的文檔導航,查找,修改文檔的方式.Beautiful Soup會幫你節省數小時甚至數天的工作時間。

項目地址：https://www.crummy.com/software/BeautifulSoup/bs4/doc/

7.Grab

Grab是一個用于構建Web刮板的Python框架。借助Grab，您可以構建各種復雜的網頁抓取工具，從簡單的5行腳本到處理數百萬個網頁的復雜異步網站抓取工具。Grab提供一個API用于執行網絡請求和處理接收到的內容，例如與HTML文檔的DOM樹進行交互。

項目地址：http://docs.grablib.org/en/latest/#grab-spider-user-manual

8.Cola

Cola是一個分布式的爬蟲框架，對于用戶來說，只需編寫幾個特定的函數，而無需關注分布式運行的細節。任務會自動分配到多臺機器上，整個過程對用戶是透明的。

項目地址：https://github.com/chineking/cola

9、mechanize

優點：可以加載JS。缺點：文檔嚴重缺失。不過通過官方的example以及人肉嘗試的方法，還是勉強能用的。

10、selenium

這是一個調用瀏覽器的driver，通過這個庫你可以直接調用瀏覽器完成某些操作，比如輸入驗證碼

總結

以上是生活随笔為你收集整理的python 爬虫框架_Python常用的几个高效率的爬虫框架的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。