一、簡單實例

1、需求：爬取熊貓直播某類主播人氣排行

2、了解網站結構

分類——英雄聯盟——"觀看人數"

3、找到有用的信息

二、整理爬蟲常規思路

1、使用工具chrome——F12——element——箭頭——定位目標元素

目標元素：主播名字，人氣（觀看人數）

?

2、方法：使用正則表達式提取有用的信息

主播名字，人氣（觀看人數）

總結

• 爬蟲前奏

1）明確目的

2）找到數據對應的網頁

3）分析網頁的結構找到數據所在的標簽位置

• 步驟

1）模擬HTTP請求，向服務器發送這個請求，獲取到服務器返回給我們的HTML

2）用正則表達式提取我們要的數據（名字，人氣）

二、斷點調試

我們以如下的一種常見錯誤，來演示如何通過PyCharm斷點追蹤的方式發現程序中的錯誤：

def foo(bar=[]):bar.append('bar') return bar >>>foo() ['bar'] >>>foo() ['bar', 'bar'] >>>foo() ['bar', 'bar', 'bar']

這里存在一個常見的錯誤就是誤以為：函數在每次不提供可選形參時將參數設置為默認值，也就是本例中的[]，一個空的list。

這里我們便可以通斷點調試的方式進行追蹤，在每次函數調用（不顯示傳遞形參）時，觀察形參值的變化。
如圖所示為：

下圖是以這段為例，來演示如何發現程序中的bug：

解決方案：

def foo(bar=None):if not bar: bar = [] bar.append('baz') return bar >>>foo() ['baz'] >>>foo() ['baz']

三、HTML結構分析基本原則

1、爬蟲分析，最重要的一步，找到標簽（即左右邊界）

原則：

1）盡量選擇有唯一標識性的標簽

2）盡量選擇離目標信息最近的標簽

不同人選擇的標簽可能不同。

?

四、數據提取層級及原則

1、找到最近的定位標簽（肉眼可見）

有關聯的信息作為一組，找離這一組最近的定位標簽

如：示例中的“主播姓名”和“人數”是有關聯的，作為一組

2、判斷選擇的標簽是否是唯一的（需代碼驗證）

3、盡量選擇可閉合的定位標簽

?

可閉合，是指可將目標信息包裹起來的定位標簽。如：<... />

?

?

4、代碼實戰

1 # coding=utf-8 2 import re 3 from urllib import request 4 5 url = 'https://www.panda.tv/all' 6 r = request.urlopen(url) 7 htmls = r.read() 8 9 print(type(htmls)) # 打印type，結果是bytes類型 10 htmls = str(htmls, encoding='utf-8') # 將bytes轉成utf-8 11 print(htmls)

運行結果

Traceback (most recent call last):File "E:/pyClass/thirtheen/spider.py", line 12, in <module>print(htmls) UnicodeEncodeError: 'gbk' codec can't encode character '\xa0' in position 62321: illegal multibyte sequence

原因是使用的print()是win7系統的編碼，但是win7系統的默認編碼是GBK，解決方式，增加如下代碼

1 import io 2 import sys 3 sys.stdout=io.TextIOWrapper(sys.stdout.buffer,encoding='gb18030')

優化后代碼

# coding=utf-8 import re from urllib import request import io import sys sys.stdout=io.TextIOWrapper(sys.stdout.buffer,encoding='gb18030')class Spider():url = 'https://www.panda.tv/all'def __fetch_content(self):r = request.urlopen(Spider.url)htmls = r.read()htmls = str(htmls, encoding='utf-8') # 將bytes轉成utf-8print(htmls)return htmlsdef go(self):self.__fetch_content()spider=Spider() spider.go()

?

五、正則分析HTML

1、獲取root_html

正則表達式匹配<div class="video-info">和</div>之間的所有字符，有哪些方式？

匹配所有字符的方式

1）[\s\S]*?

2）[\w\W]*?

* 表示任意次

？表示貪婪

2、代碼實戰

?

1 # coding=utf-8 2 from urllib import request 3 import re 4 import io 5 import sys 6 sys.stdout=io.TextIOWrapper(sys.stdout.buffer,encoding='gb18030') 7 8 #以下代碼解決SSL報錯 9 import ssl 10 ssl._create_default_https_context = ssl._create_unverified_context 11 12 13 class Spider(): 14 15 #定義類變量 16 url = 'https://www.panda.tv/all' 17 root_html='<div class="video-info">([\s\S]*?)</div>' #([\s\S]*?)匹配任意字符 18 19 #獲取服務器響應內容 20 def __fetch_content(self): 21 22 r=request.urlopen(url=Spider.url) 23 htmls = r.read() 24 htmls = str(htmls, encoding='utf-8') # 將bytes轉成utf-8 25 return htmls 26 27 #分析并獲取元素 28 def __analysis(self,htmls): 29 root_html=re.findall(Spider.root_html,htmls) 30 return root_html 31 32 33 def go(self): 34 htmls=self.__fetch_content() 35 self.__analysis(htmls) 36 37 38 spider=Spider() 39 spider.go()

遇到的問題：

1）亂碼

參考python的編碼問題整理

2）SSL錯誤

加入如下代碼

import ssl ssl._create_default_https_context = ssl._create_unverified_context

?

3）類變量的引用

Spider.root_html

六、數據精煉

正則分析獲取名字和人數

1、找到名字的左右邊界、找到人數的左右邊界

2、使用正則匹配，從root_html中獲取名字和人數，并拼接成字典格式，列表接收

3、數據精煉——去掉多余的換行和空格（如果有），將value列表轉化為str

代碼示例：

1 # coding=utf-8 2 from urllib import request 3 import re 4 import io 5 import sys 6 7 sys.stdout = io.TextIOWrapper(sys.stdout.buffer, encoding='gb18030') 8 9 # 以下代碼解決SSL報錯 10 import ssl 11 12 ssl._create_default_https_context = ssl._create_unverified_context 13 14 15 class Spider(): 16 # 定義類變量 17 url = 'https://www.panda.tv/all' 18 root_html = '<div class="video-info">([\s\S]*?)</div>' # ([\s\S]*?)匹配任意字符 19 name_pattern = '<span class="video-title" title="([\s\S]*?)">' 20 number_pattern = '<span class="video-number">([\s\S]*?)</span>' 21 22 # 獲取服務器響應內容 23 def __fetch_content(self): 24 r = request.urlopen(url=Spider.url) 25 htmls = r.read() 26 htmls = str(htmls, encoding='utf-8') # 將bytes轉成utf-8 27 return htmls 28 29 # 分析并獲取元素 30 def __analysis(self, htmls): 31 anchors = [] # 使用list接收 32 root_html = re.findall(Spider.root_html, htmls) 33 for html in root_html: 34 name = re.findall(Spider.name_pattern, html) 35 number = re.findall(Spider.number_pattern, html) 36 anchor = {'name': name, 'number': number} # 組合成需要的字典格式 37 anchors.append(anchor) 38 39 return anchors 40 41 # 數據精煉——去掉多余的內容，轉成需要的格式 42 def __refine(self, anchors): 43 l = lambda anchor: {'name': anchor['name'][0], 'number': anchor['number'][0]} # 上一步得到的name和number是列表類型，需要轉成str 44 return map(l, anchors) 45 46 47 def go(self): 48 htmls = self.__fetch_content() 49 anchors = self.__analysis(htmls) 50 anchors=list(self.__refine(anchors)) 51 print(anchors) 52 53 54 spider = Spider() 55 spider.go()

九、業務處理——排序

?

轉載于:https://www.cnblogs.com/loveapple/p/9408611.html

總結

以上是生活随笔為你收集整理的十三、原生爬虫实战的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。