一、靜態(tài)網(wǎng)頁(yè)爬取概述
1,靜態(tài)網(wǎng)頁(yè)介紹
2.簡(jiǎn)單靜態(tài)網(wǎng)頁(yè)爬取
二、使用urllib3實(shí)現(xiàn)HTTP請(qǐng)求
1.使用urllib3庫(kù)實(shí)現(xiàn)
每一信息資源都有統(tǒng)一的且在網(wǎng)上唯一的地址，該地址就叫URL

使用瀏覽器為火狐和chrome瀏覽器，操作系統(tǒng)為“Windows NT 6.1; Win64; x64”

請(qǐng)求重試設(shè)置
生成完整HTTP請(qǐng)求

網(wǎng)頁(yè) User-Agent 的獲取
1.網(wǎng)頁(yè)內(nèi)右擊鼠標(biāo)點(diǎn)檢查

2.點(diǎn)Network

3.按 ctrl+R 刷新
4.點(diǎn)第一行，查看Headers，找到 User-Agent

三.使用requests庫(kù)實(shí)現(xiàn)HTTP請(qǐng)求

四、谷歌開(kāi)發(fā)者工具介紹

使用chrome開(kāi)發(fā)者工具查看網(wǎng)頁(yè)

也可以單擊chrome瀏覽器右上角快捷菜單，如圖所示，單擊“更多工具”選項(xiàng)中的“開(kāi)發(fā)者工具”選項(xiàng)，或使用快捷鍵組合Ctrl+Shift+I。
chrome開(kāi)發(fā)者工具目前包括了9個(gè)面板，界面如圖所示。
chrome開(kāi)發(fā)者工具各面板功能如下。


網(wǎng)頁(yè)源代碼屬于半結(jié)構(gòu)化數(shù)據(jù)
它屬于文本，文本是非結(jié)構(gòu)化數(shù)據(jù)
但它可以通過(guò)對(duì)樹(shù)狀結(jié)構(gòu)的索引找到對(duì)應(yīng)元素所在的位置






五、使用正則表達(dá)式解析網(wǎng)頁(yè)

例子

1.正則表達(dá)式的廣義化

2.使用正則表達(dá)式獲取網(wǎng)頁(yè)標(biāo)題信息

六、用Xpath解析網(wǎng)頁(yè)







七、用 Beautiful Soup解析網(wǎng)頁(yè)

總結(jié)

以上是生活随笔為你收集整理的简单静态网页爬取的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。