爬虫3-request的get与post简单使用
生活随笔
收集整理的這篇文章主要介紹了
爬虫3-request的get与post简单使用
小編覺(jué)得挺不錯(cuò)的,現(xiàn)在分享給大家,幫大家做個(gè)參考.
requests.get
# 安裝request pip install requests # import requests # url = "http://www.sogou.com/web?query=周杰倫" # resp = requests.get(url) # 地址欄鏈接 一定是get方式提交 # print(resp) # print(resp.text) # 拿到網(wǎng)頁(yè)源代碼 訪問(wèn)被攔截# import requests # url = "http://www.sogou.com/web?query=周杰倫" # dic = { # "User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.198 Safari/537.36" # } # resp = requests.get(url, headers=dic) # 地址欄鏈接一定是get方式提交 # # 處理一個(gè)小小的反爬 # print(resp) # print(resp.text) # 拿到網(wǎng)頁(yè)源代碼 訪問(wèn)被攔截import requests query = input("輸入一個(gè)你喜歡的明星:") url = f"http://www.sogou.com/web?query={query}" dic = {"User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.198 Safari/537.36" } resp = requests.get(url, headers=dic) # 地址欄鏈接一定是get方式提交# 處理一個(gè)小小的反爬 print(resp) print(resp.text) # 拿到網(wǎng)頁(yè)源代碼 訪問(wèn)被攔截request.get中url拼接
""" File: 04request入門_03.py Author: chde_wang Date: 2021-04-19 16:59:47 Description: """ import requests # network-XHR 第二次請(qǐng)求鏈接 url = "https://movie.douban.com/j/chart/top_list" # 重新封裝參數(shù) param = {"type": "24","interval_id": "100:90","action": "","start": 0,"limit": 20, } header = {"User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.198 Safari/537.36" } resp = requests.get(url=url, params=param,headers=header) # print(resp.request.url) print(resp.request.headers) print(resp.text) print(resp.json()) # 滾動(dòng)加載的時(shí)候查看query string數(shù)據(jù)的變化resp.close() # 關(guān)掉resp,要不然報(bào)錯(cuò),還有文件的關(guān)閉注意:在使用完resp后,需要關(guān)閉,否則多次訪問(wèn)會(huì)報(bào)錯(cuò)。
request.post
import requests url = "http://www.fanyi.baidu.com/sug" s = input("請(qǐng)輸入你要翻譯的英文單詞:") dat = {"kw":s # Form data } # 發(fā)送post請(qǐng)求 發(fā)送的數(shù)據(jù)必須放在字典中 通過(guò)data參數(shù)進(jìn)行傳遞 resp = requests.post(url, data=dat) print(resp.json()) # 將服務(wù)器返回的內(nèi)容直接轉(zhuǎn)換為json ->dict?
創(chuàng)作挑戰(zhàn)賽新人創(chuàng)作獎(jiǎng)勵(lì)來(lái)咯,堅(jiān)持創(chuàng)作打卡瓜分現(xiàn)金大獎(jiǎng)總結(jié)
以上是生活随笔為你收集整理的爬虫3-request的get与post简单使用的全部?jī)?nèi)容,希望文章能夠幫你解決所遇到的問(wèn)題。
- 上一篇: echarts自适应父div大小
- 下一篇: 卷积层和池化层的计算公式的区别