python爬取ajax动态内容肯德基门店,Python爬虫如何爬取KFC地址
隨著人們生活水平的提高,肯德基這類的快餐消費的十分火爆,成為小朋友和年輕人的最愛,我們到一個地方想要找到肯德基店面,會根據導航獲取肯德基地址,那你知道我們也可以使用python爬蟲獲取KFC地址嗎?我們可以使用python爬蟲的requests模塊模擬瀏覽器發送請求對肯德基官網的數據進行爬取,本文向大家介紹相關步驟。
爬蟲目標:使用requests模塊對肯德基官網的數據進行爬取。
requests模塊作用:requests模塊是python一款原生的基于網絡請求的模塊,我們用來模擬瀏覽器發送請求。
1、導入requests模塊#?調用requests模塊
import?requests
if?__name__?==?'__main__':
2、獲取要請求的url并發起請求
requests模塊請求功能來代替我們用戶在網頁上的鼠標點擊操作,即使不用瀏覽器也能完成訪問。#?獲取要請求的url
post_url?=?'http://www.kfc.com.cn/kfccda/ashx/GetStoreList.ashx?op=keyword'
kw?=?input('請輸入城市名:?')
data?=?{
'cname':?'',
'pid':?'',
'keyword':?kw,
'pageIndex':?'1',
'pageSize':?'10'
}
#?UA偽裝
headers?=?{
'User-Agent':?'Mozilla/5.0?(Windows?NT?10.0;?Win64;?x64)?AppleWebKit/537.36?(KHTML,?like?Gecko)
Chrome/87.0.4280.141?Safari/537.36'
}
3、獲取響應數據并儲存數據
發起了請求,服務器自然會給回應,從服務器返回的數據中可以篩選出我們所希望得到的數據。#??獲得請求返回數據并保存
dict_text?=?response.text
#雖然返回的是txt格式,但是這里保存成json格式,就可以使用自動調整格式了,更方便查看
filename?=?kw+'市kfc分布.json'
fp?=?open(filename,'w',encoding='utf-8')
fp.write(dict_text)
print('爬取成功~')
以上就是Python爬蟲如何爬取KFC地址的步驟,是不是挺簡單的,可以嘗試看看喲~更多python爬蟲推薦:python爬蟲教程。
總結
以上是生活随笔為你收集整理的python爬取ajax动态内容肯德基门店,Python爬虫如何爬取KFC地址的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: php mysql怎么实现,使用php与
- 下一篇: 漫谈:Java和Python现在都挺火,