文章目錄

• 一、項目背景
• • A/B test的流程
• 二、分析過程
• • 2.1 數據預處理
  • 2.2 計算樣本量是否滿足最小樣本數
  • 2.3 實驗評估-假設檢驗
  • • 方案2的點擊率是否顯著提升
• 三、結論

一、項目背景

A/B test在評估不同項目的效果和優劣時由非常大的作用，在目前的互聯網領域得到了廣泛的應用，本分析以支付寶某次營銷活動為例，分別統計兩組營銷方案的點擊率，通過A/B測試計算比較兩種策略的投放效果。

數據來源于阿里云天池
Audience Expansion Dataset
在本次分析中，我們只使用到effect_tb.csv文件，它包含了用戶參與的營銷方案及點擊情況，數據介紹如下：

特征描述

dmp_id	營銷方案編號，1:對照組，2:營銷方案1；3:營銷方案2
user_id	支付寶用戶ID
label	用戶當天是否點擊營銷活動，0：未點擊，1:點擊

A/B test的流程

• 1 明確目的（eg.提高gmv，增加轉化率，降低用戶取消率…），確認是否有進行A/B test的必要性，確定A/B 版本；
• 2 選取指標，1，2，3級指標；如dd：人均呼叫，司機/乘客取消率，司機接單數…
• 3 確定實驗分組方式：尾號分桶&取模分桶，并進行流量分配；
• 4 計算最小樣本量；
• 5 AB灰度測試：在abtest正式上線之前進行小規模的測試，再放量至覆蓋所有用戶，根據數據進行反饋測試，以便及時發現問題并修改；
• 6 ABtest 上線；
• 7 回收數據，實驗評估：計算均值及方差，計算z-stat，計算p-value，與a比較，得出是否有顯著意義。

本次分析主要是回收數據后的假設檢驗。

二、分析過程

2.1 數據預處理

讀取數據

import pandas as pd import numpy as npeffect = pd.read_csv('effect_tb.csv',header=None,names=['dt','user_id','label','dmp_id']) effect.head() # 刪除無用列 effect = effect.drop(columns='dt') effect.head() user_id label dmp_id 0 1 0 1 1 1000004 0 1 2 1000004 0 2 3 1000006 0 1 4 1000006 0 3

查看數據信息

print(effect.info()) print('總用戶數:',effect['user_id'].unique().size) print('______________________') print('是否存在空值：') print(effect.isnull().sum()) print('______________________') print('是否存在重復值') print(effect[effect.duplicated()])

# 刪除重復值 effect.drop_duplicates(inplace=True) effect[effect.duplicated()] # 是否存在異常值 主要關注label和dmp_id有沒有異常值 print('label的值：') print(effect['label'].value_counts()) print('dmp_id的值:') print(effect['dmp_id'].value_counts()) label的值： 0 2594479 1 38496 Name: label, dtype: int64 dmp_id的值: 1 1905663 2 411107 3 316205 Name: dmp_id, dtype: int64

2.2 計算樣本量是否滿足最小樣本數

由之前的數據統計可知，樣本數遠遠大于30，可以利用中心極限定理認為用戶點擊率的均值符合正態分布，本次分析中可以使用Z檢驗，同時我們希望比較哪個方案更好，因此是單尾檢驗。

最小樣本量是根據統計功效來計算的，主要是為了規避第二類錯誤。最小樣本量也跟顯著性水平、指標歷史均值、指標提升的絕對值有關。在本次分析中，我們選擇的指標是點擊率，這是一個比率類指標，因此，最小樣本的計算公式為：

樣本量 $n=\frac{2{\sigma }^2{\left(Z_{1?\frac{\alpha }{2}}+Z_{1?\beta }\right)}^2}{{\Delta }^2}$

• ${\sigma }^2$ 是歷史數據的方差, ${\sigma }^2=p(1?p)$ ，p是歷史效果指標均值
• ${\Delta }^2$ 是我們希望提升的效果指標與指標基線差值的絕對值
• $\alpha$ 代表顯著性水平, $1?\beta$ 代表規避第二類錯誤的功效

計算過程：

• 由于缺少歷史數據，我們將對照組的點擊率均值作為指標基線值，計算得 $p=0.0126,{\sigma }^2=p(1?p)=0.0124$
• 我們希望能至少提升30%的點擊率，計算得$\Delta =0.0126?0.3=0.00378，{\Delta }^2=0.000014288$
• 給定$\alpha =0.05，1?\beta =0.80$ ，$Z_{1?\frac{\alpha }{2}}=1.959964,Z_{1?\beta }=0.8416212$
• 計算得n = 13669

python計算過程如下：

# 計算最小樣本量 p = 0.0126 #歷史均值 delta = 0.3 #希望提升的百分比 sigma = p * (1-p) #方差 alpha = 0.05 #顯著性水平 beta = 0.20 #第二類錯誤 z1 = norm.ppf(1 - alpha/2) z2 = norm.ppf(1-beta)n = 2 *sigma*((z1+z2)**2)/((p*delta)**2) print('最小樣本量為:',n) 最小樣本量為: 13668.401851316208

也可以使用網站計算：evan’s sample-size

得到的結果比較相似，證明我們的計算過程沒有問題。每個實驗組最少需要14260人，1組的數據有1905663條，2組有411107條，3組有316205條，均超過最小樣本量，可以認為本次數據有意義，可以進行假設檢驗。

2.3 實驗評估-假設檢驗

先計算每組的平均點擊率，再計算每組提升的點擊率

effect.groupby(['dmp_id'])['label'].mean()# dmp_id # 1 0.012551 # 2 0.015315 # 3 0.026192 # Name: label, dtype: float64print('方案1提升',effect[effect['dmp_id']==2]['label'].mean()-effect[effect['dmp_id']==1]['label'].mean()) print('方案2提升',effect[effect['dmp_id']==3]['label'].mean()-effect[effect['dmp_id']==1]['label'].mean()) 方案1提升 0.0027637353122772403 方案2提升 0.0136408567689845

可以發現方案1并沒有滿足我們希望提高的點擊率要求，而方案2滿足了，我們可以認為方案1達不到我們的預計效果，只對方案2的數據進行假設檢驗。

方案2的點擊率是否顯著提升

設參照組的點擊率為p0，方案2的點擊率為p2

• 原假設：p0≥p2
• 備擇假設：p0<p2

樣本大小大于>30，可以認為符合正態分布，使用z檢驗，根據備擇假設，為左側單尾檢驗。

計算z值

$Z=\frac{p_2?p_1}{\sqrt{\frac{{\sigma }_2^2}{n_2}+\frac{{\sigma }_1^2}{n_1}}}=\frac{p_2?p_1}{\sqrt{\frac{p_2?\left(1?p_2\right)}{n_2}+\frac{p_1?\left(1?p_1\right)}{n_1}}}$

計算p-value，給定$\alpha =0.05$

# 分別統計人數和點擊率 # 對照組樣本數量 n_control = effect[effect.dmp_id==1].shape[0] # 營銷活動的樣本數量 n_test1 = effect[effect.dmp_id==2].shape[0] n_test2 = effect[effect.dmp_id==3].shape[0]c_control = effect[(effect.dmp_id==1) & (effect.label==1)].shape[0] c_test1 = effect[(effect.dmp_id==2) & (effect.label==1)].shape[0] c_test2 = effect[(effect.dmp_id==3) & (effect.label==1)].shape[0]# 對照組的廣告點擊率 r_control = c_control/n_control# 營銷活動樣本數量 r_test1 = c_test1/n_test1 r_test2 = c_test2/n_test2 print('對照組的人數：',n_control,'對照組的點擊人數',c_control) print('方案2的人數：',n_test2,'方案2的點擊人數',c_test2)from statsmodels.stats.proportion import proportions_ztestz_score,p = proportions_ztest([c_control,c_test2],[n_control,n_test2])print("檢驗統計量z：",z_score,"，p值：", p) 對照組的人數： 1905663 對照組的點擊人數 23918 方案2的人數： 316205 方案2的點擊人數 8282 檢驗統計量z： -59.44168632985996 ，p值： 0.0

$p<\alpha$，拒絕原假設，基于我們選取的樣本，我們有理由拒絕原假設，策略二點擊率的提升在統計學上是顯著的。

z_score_1,p_1 = proportions_ztest([c_control,c_test1],[n_control,n_test1])print("方案1檢驗統計量z：",z_score_1,"，p值：", p_1) 方案1檢驗統計量z： -14.165873564308429 ，p值： 1.4900243485475164e-45

不能拒絕原假設，策略一的點擊率提升不顯著。

三、結論

• 總體描述：
  在支付寶的某次營銷活動中，為了檢驗兩種營銷方案的提升效果，設計了AB測試，將用戶分為對照組，方案一組，方案二組共三組，其中，
  對照組的人數： 1905663 對照組的點擊人數：23918
  方案1的人數： 411107 方案2的點擊人數：6296
  方案2的人數： 316205 方案2的點擊人數：8282

• 假設檢驗：
  獨立雙樣本檢驗（對照組與方案2組）：
  單尾檢驗（左尾），z： -59.44， p值： 0.0 （α = 0.05），p < α，拒絕原假設，方案二點擊率的提升在統計上是顯著的。

  獨立雙樣本檢驗（對照組與方案1組）：
  屬單尾檢驗（左尾），z： -14.17 ，p值： 7.45（α = 0.05），p > α，無法拒絕原假設，策略一對廣告點擊率的提升效果不顯著。

• 總結：
  在兩種方案中，可以認為方案2對點擊率有顯著提高，后續可以考慮成本、對其他轉化率的影響，再決定是否正式推廣使用。

• 本次分析中可以補充的內容：

  • 未進行AA測試，AA測試可以進一步保證用戶流量的隨機性，是用AB測試的方法檢驗兩個完全一樣的版本，可以確定實驗平臺或工具的結果是否是統計上的無差異性；
  • 在本次分析中，方案1的點擊率提升并沒有達到我們設定的MDE，因此在假設檢驗中，我們只針對對照組和方案2進行了假設檢驗，如果方案1的點擊率也滿足了我們的期望，那么應該使用卡方檢驗，因為在多個總體的情況下，兩兩之間的z檢驗和t檢驗要比較多次，可能會增加犯第一類錯誤的原因，所以需要使用單因素方差分析，卡方檢驗。可以參考：AB測試-方差分析與卡方檢驗

總結

以上是生活随笔為你收集整理的支付宝营销策略效果分析 A/Btest的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。