先在網頁進行搜索

得到url

https://www.sogou.com/web?query=波曉張&_asf=www.sogou.com&_ast=&w=01019900&p=40040100&ie=utf8&from=index-nologin&s_from=index&sut=9915&sst0=1645748279699&lkt=0%2C0%2C0&sugsuv=1645702898231618&sugtime=1645748279699

提取主要部分的url

https://www.sogou.com/web?query=波曉張

編寫代碼

# coding=UTF-8 import sys reload(sys) sys.setdefaultencoding('utf8') import requests if __name__ == '__main__':#UA偽裝:將對應的User-Agent封裝到一個字典中headers={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:97.0) Gecko/20100101 Firefox/97.0'}#處理url攜帶的參數:封裝到字典中url='https://www.sogou.com/web?'kw=raw_input('你想要爬取什么:')param={'query':kw}#對指定的urL發起的請求對應的url是攜帶參數的,并且請求過程中處理了參數response = requests.get(url=url,params=param,headers=headers)page_text = response.textfileName = kw+'.html'with open(fileName.decode('utf-8'),'w') as fp:fp.write(page_text)print (fileName,'保存成功!!!')

總結

以上是生活随笔為你收集整理的python爬虫学习(二) 简易网页爬取的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。