安裝依賴庫

pip3 install requests, openpyxl

爬取思路

后臺ingdan的接口地址是：/admin/order.StoreOrder/order_list.html

登陸之后我們可以獲取到header信息，利用requests.get方式獲取接口數(shù)據(jù)，并將爬取的response數(shù)據(jù)返回為json數(shù)據(jù)，利用字典的get方式獲取我們需要的信息。

將我們需要的訂單、支付時間等信息逐項讀取并返回為一個列表格式

創(chuàng)建一個空白的excel文檔

excel第一行設(shè)置為每一列的標(biāo)題

每個標(biāo)題對應(yīng)的列存入對應(yīng)的數(shù)據(jù)

import json

import re

import requests

from openpyxl import Workbook

def load_json():

""" 讀取json中的data信息 """

resp = requests.get(

'http://xxx.com/admin/order.StoreOrder/order_list.html?',

params=params,

headers=headers

).content.decode('utf-8')

datas = json.loads(resp).get('data', '不存在')

return datas

def read_data(dict_name):

"""

dict_name對應(yīng)的每個值，讀取訂單信息

order_id - 訂單ID | pay_price - 實際支付 | pay_type_name - 支付類型 | pink_name - 訂單類型

mark - 用戶備注(郵箱)| total_num - 訂單數(shù)量 | add_time - 支付時間 | _info - 商品名稱(返回一個列表)

"""

datas = load_json()

return [data[dict_name] for data in datas]

def cell_range(wb):

""" 創(chuàng)建一個空白表格 """

ws = wb.active

return ws

def save_xlsx(ws, title, sheets, column, start=2):

""" 設(shè)置首行標(biāo)題及標(biāo)題對應(yīng)的值 """

ws[column+str(start-1)] = title

for i in list(range(start, len(sheets)+start)):

ws[column+str(i)].value = sheets[i-start]

函數(shù)使用文檔

load_json()爬取接口數(shù)據(jù)并返回data的json格式數(shù)據(jù)

read_data()獲取每個數(shù)據(jù)的列表

cell_range()獲取excel的默認(rèn)表格，并返回

save_xlsx(ws, title, sheets, column, start=2)

ws: 空白的表格

title: 設(shè)置第一行對應(yīng)數(shù)據(jù)的標(biāo)題

sheets: 每個數(shù)據(jù)的列表

column: 每一列對應(yīng)的大寫字母如(A,B,C,D,E)

開始爬取并保存，需要獲取更多數(shù)據(jù)，請參考CRMEB的接口文檔

if __name__ == "__main__":

from openpyxl import Workbook

# headers信息請在頭部header中獲取

headers = {

'Cookie': '替換為你的Cookie信息',

'Host': '替換為你的host',

'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4128.3 Safari/537.36'

}

# page為分頁頁碼 limit為每一頁的訂單數(shù)量，其他篩選條件在這里添加，具體參考crmeb接口文檔

params = {'page': 1, 'limit': 20}

wb = Workbook()

ws = cell_range(wb)

# 設(shè)置訂單號

order_id = read_data('order_id')

save_xlsx(ws, title='訂單號', sheets=order_id, column='A')

# 設(shè)置訂單數(shù)量

total_num = read_data('total_num')

save_xlsx(ws, title='訂單數(shù)量', sheets=total_num, column='B')

# 設(shè)置支付時間

add_time = read_data('add_time')

save_xlsx(ws, title='支付時間', sheets=add_time, column='C')

# 設(shè)置實際支付

pay_price = read_data('pay_price')

save_xlsx(ws, title='實際支付', sheets=pay_price, column='D')

# 設(shè)置支付類型

pay_type_name = read_data('pay_type_name')

save_xlsx(ws, title='支付類型', sheets=pay_type_name, column='E')

# 設(shè)置推廣人

spread_nickname = read_data('spread_nickname')

save_xlsx(ws, title='推廣人', sheets=spread_nickname, column='F')

# 設(shè)置產(chǎn)品名稱

names = [name[0]['cart_info']['productInfo']['store_name'] for name in read_data('_info')]

save_xlsx(ws, title='產(chǎn)品名稱', sheets=names, column='G')

wb.save('data_crmeb.xlsx')

本條爬蟲比較簡陋，但對于我們自己的后臺足夠用了，只為方便大家獲取訂單數(shù)據(jù)，方便分析，請勿用于其他用途喲。

總結(jié)

以上是生活随笔為你收集整理的python爬取商城数据_Python爬取新版CRMEB小程序商城后台订单数据，保存为excel的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。