爬虫 :快速爬取一个网站
生活随笔
收集整理的這篇文章主要介紹了
爬虫 :快速爬取一个网站
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
本次使用的是pycharm軟件進行爬取的
首先要導入本次爬蟲用到的包
from urllib.request import urlopen然后確定你需要爬取網站的地址,我這邊直接爬了百度的主頁
代碼如下
from urllib.request import urlopen # 確定要爬取網址的路徑 url = "http://www.baidu.com" # 訪問網址得到相應 resp = urlopen(url) # 想得到內容 # decode 就是為了解碼,以utf-8的形式解碼 # print(resp.read().decode("utf-8")) with open("mybaidu.html", mode="w", encoding="utf-8") as f:f.write(resp.read().decode("utf-8")) # 從響應中讀取到頁面源代碼 print("保存結束")祝各位早日成為爬蟲大佬!
?
總結
以上是生活随笔為你收集整理的爬虫 :快速爬取一个网站的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: linux后台断点下载到指定目录,Lin
- 下一篇: 机械工程材料课程考试复习题及参考答案