wget整站抓取、网站抓取功能;下载整个网站;下载网站到本地
生活随笔
收集整理的這篇文章主要介紹了
wget整站抓取、网站抓取功能;下载整个网站;下载网站到本地
小編覺得挺不錯的,現(xiàn)在分享給大家,幫大家做個參考.
wget -r?? -p -np -k -E? http://www.xxx.com 抓取整站
wget -l 1 -p -np -k ? ??? http://www.xxx.com 抓取第一級
?
-r 遞歸抓取
-k 抓取之后修正鏈接,適合本地瀏覽
?
http://blog.sina.com.cn/s/blog_669fb0c3010137bq.html
?
?
wget -m -e robots=off -k -E "http://www.abc.net/"
可以將全站下載以本地的當前工作目錄,生成可訪問、完整的鏡像。
解釋:
-m? //鏡像,就是整站抓取
-e robots=off?? //忽略robots協(xié)議,強制、流氓抓取
-k? //將絕對URL鏈接轉(zhuǎn)換為本地相對URL
-E //將所有text/html文檔以.html擴展名保存
?
https://futurestack.cn/cookbook/devops/wgetsite/
轉(zhuǎn)載于:https://www.cnblogs.com/shengulong/p/8445828.html
總結(jié)
以上是生活随笔為你收集整理的wget整站抓取、网站抓取功能;下载整个网站;下载网站到本地的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: Windows下安装SQLPlus的帮助
- 下一篇: element里面popover里面的高