? ? ? ? Python除了可以用來開發Python Web之后，其實還可以用來編寫一些爬蟲小工具，可能還有人不知道什么是爬蟲的。

?

一、爬蟲的定義：

? ? ? ? 爬蟲——網絡爬蟲（又被稱為網頁蜘蛛，網絡機器人，在FOAF社區中間，更經常的稱為網頁追逐者），是一種按照一定的規則，自動的抓取萬維網信息的程序或者腳本。

?

二、學習內容：

1.Python基礎知識；

2.Python的兩個庫：urllib和urllib2；

3.Python正則表達式；

4.Python爬蟲框架Scrapy。

?

三、內容解析：

1.urllib和urllib2庫和正則表達式：

? ? ? ??urllib和urllib2兩個庫是Python中最基本的爬蟲庫，利用這兩個庫可以獲取指定網頁的內容，然后使用正則表達式對內容進行提取和解析，便可得到我們想要的內容。

? ? ? ??Python的正則表達式是一種用來匹配字符串的工具，它的設計思想：用一種描述性的語言來給字符串定義一個規則，凡是符合規則的字符串，就認為它“匹配”的，否則該字符串就不匹配。

?

2.Scrapy框架：

? ? ? ??其實上述的庫和正則表達式已經能夠完成基本的爬蟲功能，使用框架的目的是為了更快地獲取更多的信息內容，關于Scrapy的介紹如下：

? ? ? ??Scrapy是一個為了爬取網站數據，提取結構性數據而編寫的應用框架。 可以應用在包括數據挖掘，信息處理或存儲歷史數據等一系列的程序中。

轉載于:https://www.cnblogs.com/linshuhe/p/5733263.html

總結

以上是生活随笔為你收集整理的Python 爬虫1——爬虫简述的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。