爬虫 spider01——基本概念
生活随笔
收集整理的這篇文章主要介紹了
爬虫 spider01——基本概念
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
1、爬蟲是什么
? ? ? ? 網絡爬蟲本質上就是一個程序 或者 腳本, 網絡爬蟲按照一定規則獲取互聯網中信息(數據), 一般來說爬蟲被分為三大模塊: 獲取數據 解析數據 保存數據?
2、爬蟲的價值
爬蟲的價值本質就是獲取數據的價值. 數據的價值越高, 爬蟲的價值越高
- 數據的價值: 一切皆為數據
- 例如: 獲取到了大量的用戶信息(基本信息, 購物信息, 瀏覽信息):
- 廣告推薦 用戶行為分析(用戶畫像)
- 例如: 獲取到了大量的商品的信息(基本信息, 價格):
- 比價網
?
3、爬蟲的分類
常見分類有兩種:
- 通用爬蟲: 指的獲取互聯網中所有的數據, 不局限于網站, 行業, 分類
- 百度 谷歌
- 垂直爬蟲: 指的獲取互聯網中某一個網站, 某一個行業, 某一個分類下的數據
- 慢慢買 筆趣閣
實際開發中: 一般書寫那種爬蟲
? 垂直爬蟲(數據分析處理)
4、爬蟲的開發流程
爬蟲的執行流程:
- 確定首頁URL
- 發送請求, 獲取數據
- 解析數據
- 保存數據
?
?
?
總結
以上是生活随笔為你收集整理的爬虫 spider01——基本概念的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： springcloud——eureka小
- 下一篇： 爬虫 spider02——详析http