一、靜態網頁爬取概述
1,靜態網頁介紹
2.簡單靜態網頁爬取
二、使用urllib3實現HTTP請求
1.使用urllib3庫實現
每一信息資源都有統一的且在網上唯一的地址，該地址就叫URL

使用瀏覽器為火狐和chrome瀏覽器，操作系統為“Windows NT 6.1; Win64; x64”

請求重試設置
生成完整HTTP請求

網頁 User-Agent 的獲取
1.網頁內右擊鼠標點檢查

2.點Network

3.按 ctrl+R 刷新
4.點第一行，查看Headers，找到 User-Agent

三.使用requests庫實現HTTP請求

四、谷歌開發者工具介紹

使用chrome開發者工具查看網頁

也可以單擊chrome瀏覽器右上角快捷菜單，如圖所示，單擊“更多工具”選項中的“開發者工具”選項，或使用快捷鍵組合Ctrl+Shift+I。
chrome開發者工具目前包括了9個面板，界面如圖所示。
chrome開發者工具各面板功能如下。


網頁源代碼屬于半結構化數據
它屬于文本，文本是非結構化數據
但它可以通過對樹狀結構的索引找到對應元素所在的位置






五、使用正則表達式解析網頁

例子

1.正則表達式的廣義化

2.使用正則表達式獲取網頁標題信息

六、用Xpath解析網頁







七、用 Beautiful Soup解析網頁

總結

以上是生活随笔為你收集整理的简单静态网页爬取的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。