一、靜態(tài)網(wǎng)頁爬取概述
1,靜態(tài)網(wǎng)頁介紹
2.簡單靜態(tài)網(wǎng)頁爬取
二、使用urllib3實現(xiàn)HTTP請求
1.使用urllib3庫實現(xiàn)
每一信息資源都有統(tǒng)一的且在網(wǎng)上唯一的地址，該地址就叫URL

使用瀏覽器為火狐和chrome瀏覽器，操作系統(tǒng)為“Windows NT 6.1; Win64; x64”

請求重試設(shè)置
生成完整HTTP請求

網(wǎng)頁 User-Agent 的獲取
1.網(wǎng)頁內(nèi)右擊鼠標點檢查

2.點Network

3.按 ctrl+R 刷新
4.點第一行，查看Headers，找到 User-Agent

三.使用requests庫實現(xiàn)HTTP請求

四、谷歌開發(fā)者工具介紹

使用chrome開發(fā)者工具查看網(wǎng)頁

也可以單擊chrome瀏覽器右上角快捷菜單，如圖所示，單擊“更多工具”選項中的“開發(fā)者工具”選項，或使用快捷鍵組合Ctrl+Shift+I。
chrome開發(fā)者工具目前包括了9個面板，界面如圖所示。
chrome開發(fā)者工具各面板功能如下。


網(wǎng)頁源代碼屬于半結(jié)構(gòu)化數(shù)據(jù)
它屬于文本，文本是非結(jié)構(gòu)化數(shù)據(jù)
但它可以通過對樹狀結(jié)構(gòu)的索引找到對應元素所在的位置






五、使用正則表達式解析網(wǎng)頁

例子

1.正則表達式的廣義化

2.使用正則表達式獲取網(wǎng)頁標題信息

六、用Xpath解析網(wǎng)頁







七、用 Beautiful Soup解析網(wǎng)頁

總結(jié)

以上是生活随笔為你收集整理的简单静态网页爬取的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。