Python爬取猪肉价格网并获取Json数据
生活随笔
收集整理的這篇文章主要介紹了
Python爬取猪肉价格网并获取Json数据
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
場景
豬肉價格網站:
http://zhujia.zhuwang.cc/
?
注:
博客:
https://blog.csdn.net/badao_liumang_qizhi
關注公眾號
霸道的程序猿
獲取編程相關電子書、教程推送與免費下載。
實現
使用谷歌瀏覽器打開F12,刷新下當前網頁,找到Network下的XHR下的Headers,將此信息復制出來。
刷新后會在左邊顯示請求Json數據的接口
?
點擊左邊的接口,右邊查看RequestURL,并在新窗口中打開
?
就可以看到關于豬肉價格的Json數據了
?
怎樣在代碼中獲取這些Json數據以方便后續的數據分析等那?
新建pig.py
import requests import jsonheaders = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.97 Safari/537.36'}def get_json(url):try:response = requests.get(url,headers=headers)if response.status_code == 200:json_text=response.json()return json_textexcept Exception:print('獲取json接口有問題!')return Nonejson_data = get_json('http://zhujia.zhuwang.cc/index/api/chartData?areaId=370000&aa=1573300145544')# 將dict格式數據轉換成json格式字符串 dump_data = json.dumps(json_data)# 將json格式字符串轉換成對應的python值 load_data = json.loads(dump_data)# 打印轉換結果 print(type(json_data)) print(type(dump_data)) print(type(load_data),load_data)其中headers就是上面在瀏覽器中復制出來的headers。
運行結果
?
總結
以上是生活随笔為你收集整理的Python爬取猪肉价格网并获取Json数据的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: C#中巧用Lambda表达式实现对象li
- 下一篇: websocket python爬虫_p