wget 网页爬虫,网页抓取工具
生活随笔
收集整理的這篇文章主要介紹了
wget 网页爬虫,网页抓取工具
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
前言
如何在linux上或者是mac上簡單使用爬蟲或者是網頁下載工具呢,常規的我們肯定是要去下載一個軟件下來使用啦,可憐的這兩個系統總是找不到相應的工具,這時wget出來幫助你啦!!!wget本身是拿來下載東西的,但遠不止那么強大,是一把強大利器。
使用指南
- 快速上手(整個bootstrap網頁全被你抓取下來了~_~)
參數說明
-c:斷點續傳
-r:遞歸下載
-np:遞歸下載時不搜索上層目錄
-nd:遞歸下載時不創建一層一層的目錄,把所有文件下載當前文件夾中
-p:下載網頁所需要的所有文件(圖片,樣式,js文件等)
-H:當遞歸時是轉到外部主機下載圖片或鏈接
-k:將絕對鏈接轉換為相對鏈接,這樣就可以在本地脫機瀏覽網頁了
總結
以上是生活随笔為你收集整理的wget 网页爬虫,网页抓取工具的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: excel vba 调用webbrows
- 下一篇: 批量生成PDF417码