抓取策略

確定目標：確定抓取哪個網(wǎng)站的哪些頁面的哪部分數(shù)據(jù)。本實例抓取百度百科python詞條頁面以及python相關詞條頁面的標題和簡介。

分析目標：分析要抓取的url的格式，限定抓取范圍。分析要抓取的數(shù)據(jù)的格式，本實例中就要分析標題和簡介這兩個數(shù)據(jù)所在的標簽的格式。分析要抓取的頁面編碼的格式，在網(wǎng)頁解析器部分，要指定網(wǎng)頁編碼，然后才能進行正確的解析。

編寫代碼：在網(wǎng)頁解析器部分，要使用到分析目標得到的結(jié)果。

執(zhí)行爬蟲：進行數(shù)據(jù)抓取。

分析目標

1、url格式

進入百度百科python詞條頁面，頁面中相關詞條的鏈接比較統(tǒng)一，大都是/view/xxx.htm。

2、數(shù)據(jù)格式

標題位于類lemmaWgt-lemmaTitle-title下的h1子標簽，簡介位于類lemma-summary下。

3、編碼格式

查看頁面編碼格式，為utf-8。

經(jīng)過以上分析，得到結(jié)果如下：

代碼編寫

項目結(jié)構(gòu)

在sublime下，新建文件夾baike-spider，作為項目根目錄。

新建spider_main.py，作為爬蟲總調(diào)度程序。

新建url_manger.py，作為url管理器。

新建html_downloader.py，作為html下載器。

新建html_parser.py，作為html解析器。

新建html_outputer.py，作為寫出數(shù)據(jù)的工具。

最終項目結(jié)構(gòu)如下圖：

spider_main.py

url_manger.py

html_downloader.py

html_parser.py

html_outputer.py

運行

在命令行下，執(zhí)行python spider_main.py。

運行結(jié)果

總結(jié)

以上是生活随笔為你收集整理的python类百度百科_Python抓取百度百科数据的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。