数据分析面试【统计学】-----假设检验知识点归纳
閱讀之前看這里👉:博主是正在進(jìn)行數(shù)據(jù)分析師求職的一員,博客記錄的是在學(xué)習(xí)和求職過程中一些總結(jié),也希望和大家一起進(jìn)步,在記錄之時(shí),未免存在很多疏漏和不全,如有問題,還請(qǐng)私聊博主指正。
博客地址:天闌之藍(lán)的博客,學(xué)習(xí)過程中不免有困難和迷茫,希望大家都能在這學(xué)習(xí)的過程中肯定自己,超越自己,最終創(chuàng)造自己。
目錄
- 1.什么是假設(shè)檢驗(yàn)
- 2.什么是顯著性水平、置信度、檢驗(yàn)統(tǒng)計(jì)量
- 3.用通俗的語(yǔ)言解釋P-值,如何計(jì)算P-值
- 4.假設(shè)檢驗(yàn)的兩種錯(cuò)誤
- 5.單雙側(cè)檢驗(yàn)
- 6.假設(shè)檢驗(yàn)方法
- 6.1z檢驗(yàn)
- 6.2t檢驗(yàn)
- 7.工作中的AB實(shí)驗(yàn)是如何開展的?
雖然在前面各文章總結(jié)中提到了假設(shè)檢驗(yàn),但是沒有單獨(dú)成文,所以對(duì)于這個(gè)面試中重點(diǎn),需要尤其提及,特此單獨(dú)寫了一篇文章記錄,很多內(nèi)容是參考公眾號(hào)小洛和阿貍的,大家需要的可以借鑒參考以及準(zhǔn)備復(fù)習(xí)。
1.什么是假設(shè)檢驗(yàn)
在統(tǒng)計(jì)學(xué)中,想要證明一個(gè)命題是正確的,只能通過證明其否命題是錯(cuò)誤的來(lái)達(dá)到目的。假設(shè)檢驗(yàn)是用統(tǒng)計(jì)數(shù)據(jù)來(lái)判斷命題真?zhèn)蔚姆绞健N覀兂3?huì)假設(shè)兩個(gè)命題:H0:備受質(zhì)疑的命題,H1:有待驗(yàn)證的問題。
2.什么是顯著性水平、置信度、檢驗(yàn)統(tǒng)計(jì)量
顯著性水平:在假設(shè)檢驗(yàn)中,犯第一類錯(cuò)誤的上限,用α表示。
置信度:用1-α表示檢驗(yàn)的置信度。
檢驗(yàn)統(tǒng)計(jì)量:即計(jì)算檢驗(yàn)的統(tǒng)計(jì)量。根據(jù)給定的顯著性水平,查表得出相應(yīng)的臨界值。再將檢驗(yàn)統(tǒng)計(jì)量的值與該顯著性水平的臨界值進(jìn)行比較,得出是否拒絕原假設(shè)的結(jié)論。
3.用通俗的語(yǔ)言解釋P-值,如何計(jì)算P-值
P-值:P-值是一個(gè)概率值,它度量樣本所提供地證據(jù)對(duì)原假設(shè)的支持程度,P-值越小說明拒絕原假設(shè)地證據(jù)越多。
如何計(jì)算P-值:
利用檢測(cè)統(tǒng)計(jì)量地值可以計(jì)算P-值,依賴下側(cè)檢驗(yàn)、上側(cè)檢驗(yàn)還是雙側(cè)檢驗(yàn)。對(duì)于下側(cè)檢驗(yàn),P-值是檢驗(yàn)統(tǒng)計(jì)量小于或等于樣本所給出的檢驗(yàn)統(tǒng)計(jì)量的值的概率。
步驟:(z檢驗(yàn))
1.用公式計(jì)算檢測(cè)統(tǒng)計(jì)量的z值
2.下側(cè)檢驗(yàn):根據(jù)標(biāo)準(zhǔn)正態(tài)分布,計(jì)算z小于或等于檢驗(yàn)統(tǒng)計(jì)量的值的概率(下側(cè)面積)
3.上側(cè)檢驗(yàn):根據(jù)標(biāo)準(zhǔn)正態(tài)分布,計(jì)算z大于或等于檢驗(yàn)統(tǒng)計(jì)量的值的概率(上側(cè)面積)
4.假設(shè)檢驗(yàn)的兩種錯(cuò)誤
第一類錯(cuò)誤是指原假設(shè)成立的情況下錯(cuò)誤地拒絕了原假設(shè);第二類錯(cuò)誤則是相反,指沒有成功地拒絕不成立地原假設(shè),如下表:
5.單雙側(cè)檢驗(yàn)
當(dāng)假設(shè)關(guān)鍵詞有不得少于/低于的時(shí)候用左側(cè)檢驗(yàn),比如燈泡的使用壽命不得少于/低于700小時(shí)時(shí);當(dāng)假設(shè)關(guān)鍵詞有不得多于/高于的時(shí)候用右側(cè)檢驗(yàn),比如次品率不得多于/高于5%時(shí)。雙側(cè)檢驗(yàn)指按分布兩端計(jì)算顯著性水平概率的檢驗(yàn),應(yīng)用于理論上不能確定兩個(gè)總體一個(gè)一定比另一個(gè)大或小的假設(shè)檢驗(yàn)。一般假設(shè)檢驗(yàn)寫作H0:μ1=μ2。
6.假設(shè)檢驗(yàn)方法
假設(shè)檢驗(yàn)方法:z檢驗(yàn),t檢驗(yàn),卡方檢驗(yàn)
6.1z檢驗(yàn)
z檢驗(yàn):當(dāng)總體標(biāo)準(zhǔn)差已知,樣本量較大時(shí)用標(biāo)準(zhǔn)正態(tài)分布的理論來(lái)推斷差異發(fā)生的概率,從而比較兩個(gè)平均數(shù)的差異是否顯著。如果檢驗(yàn)一個(gè)樣本平均數(shù)與一個(gè)已知的總體平均數(shù)的差異是否顯著,其z值計(jì)算公式為:
z=xˉ?μσxˉ=xˉ?μσ/nz=\frac{\bar x - \mu}{\sigma_{\bar x}} =\frac{\bar x - \mu}{\sigma/ \sqrt{n}}z=σxˉ?xˉ?μ?=σ/n?xˉ?μ?
如果檢驗(yàn)來(lái)自兩個(gè)的兩組樣本平均數(shù)的差異性,從而判斷它們各自代表的總體的差異是否顯著,其Z值計(jì)算公式為:
z=xˉ1?xˉ2Sxˉ1?xˉ2=xˉ1?xˉ2S12/n1+s22/n2z=\frac{\bar x_1 - \bar x_2}{S_{\bar x_1 - \bar x_2}} =\frac{\bar x_1 - \bar x_2}{\sqrt{S_1^2/n_1+s_2^2/n_2}}z=Sxˉ1??xˉ2??xˉ1??xˉ2??=S12?/n1?+s22?/n2??xˉ1??xˉ2??
Z檢驗(yàn)實(shí)例:
研究正常人與高血壓患者膽固醇含量,比較兩組血清膽固醇含量有無(wú)顯著差異。
正常人組數(shù)據(jù):n1=506(樣本量) μ1=180.6(樣本均值)
s1=34.2(標(biāo)準(zhǔn)差) 高血壓組數(shù)據(jù):n2=142 μ2=223.6 s2=45.8
H0:μ1=μ2
H1:μ1≠μ2
α=0.05,樣本量較大,且檢驗(yàn)來(lái)自兩組樣本平均數(shù)的差異性,故選擇z檢驗(yàn)統(tǒng)計(jì)量
將已知數(shù)據(jù)帶入z檢驗(yàn)公式:
z=xˉ1?xˉ2S12/n1+s22/n2=∣180.6?223.6∣34.22/506+45.82/142=10.40z=\frac{\bar x_1 - \bar x_2}{\sqrt{S_1^2/n_1+s_2^2/n_2}}=\frac{|180.6-223.6|}{\sqrt{34.2^2/506+45.8^2/142}}=10.40z=S12?/n1?+s22?/n2??xˉ1??xˉ2??=34.22/506+45.82/142?∣180.6?223.6∣?=10.40
計(jì)算假設(shè)檢驗(yàn)統(tǒng)計(jì)量 z=10.4
α=0.05,雙側(cè)故 α/2=0.025,1-α=0.975 查表,確認(rèn)臨界值為1.96
10.4(z值)>1.96(臨界值),故p<0.05,按α=0.05水準(zhǔn)拒絕H0,接受H1,可以認(rèn)為正常人和高血壓患者的血清膽固醇含量有差異。
6.2t檢驗(yàn)
t檢驗(yàn):分為單樣本的t檢驗(yàn)、配對(duì)樣本均數(shù)t檢驗(yàn)、兩獨(dú)立樣本均數(shù)t檢驗(yàn)。t檢驗(yàn)應(yīng)用于兩組計(jì)量資料小樣本比較,樣本對(duì)總體有較好代表性,對(duì)比組間有較好組間均衡性,即隨機(jī)抽樣和隨機(jī)分組。且樣本來(lái)自正態(tài)分布總體。單個(gè)樣本t檢驗(yàn)適用于樣本均數(shù)與已知總體均數(shù)μ0的比較,目的是檢驗(yàn)樣本均數(shù)所代表的總體均數(shù)μ是否與已知總體均數(shù)μ0有差別。應(yīng)用于總體標(biāo)準(zhǔn)α未知的小樣本資料,且服從正態(tài)分布。
單樣本t檢驗(yàn)實(shí)例:
某地新生兒出生體重為3.3kg,從該地難產(chǎn)兒中隨機(jī)抽取35名嬰兒,平均體重為3.42kg,標(biāo)準(zhǔn)差為0.4kg,問該地難產(chǎn)兒出生體重與新生兒體重是否不同?
H0:μ=μ0
H1:μ≠μ0
α=0.05 ,樣本均數(shù)與已知總體均數(shù)μ0的比較,所以選擇單樣本t檢驗(yàn)
n=35 μ0=3.3 μ=3.42 s=0.4,代入公式得:
自由度=n-1=34,α=0.05,雙側(cè)故 α/2=0.025,1-α=0.975,自由度34,查表得出臨界值為2.032
因?yàn)?.77(z值)<2.032(臨界值),故p>0.05,按α=0.05水平,差別無(wú)統(tǒng)計(jì)學(xué)意義,不拒絕h0,不能認(rèn)為該地難產(chǎn)兒與新生兒體重有差異。
兩獨(dú)立樣本t檢驗(yàn)(ab實(shí)驗(yàn)背后原理):適用于完全隨機(jī)設(shè)計(jì)的兩樣本均數(shù)的比較,其目的是檢驗(yàn)兩樣本所來(lái)自總體的均數(shù)是否相等。兩獨(dú)立樣本t檢驗(yàn)要求兩樣本所代表的總體服從正態(tài)分布N(μ1,σ2)N(μ1,σ^2)N(μ1,σ2)和N(μ2,σ2)N(μ2,σ^2)N(μ2,σ2),且兩總體方差σ12、σ22σ_1^2、σ_2^2σ12?、σ22?相等,即方差齊性。若兩總體方差不等需要先進(jìn)行變換。兩獨(dú)立樣本t檢驗(yàn)的檢驗(yàn)假設(shè)是兩總體均數(shù)相等,即H0:μ1=μ2,統(tǒng)計(jì)量計(jì)算公式為:
兩獨(dú)立樣本t檢驗(yàn)實(shí)例:
25例糖尿病患者隨機(jī)分成兩組,甲單純藥物治療,乙采用藥物合并飲食治療,二月后測(cè)空腹血糖如下,問兩種療法血糖值是否相同? 數(shù)據(jù):n1=12,s1=182.5, n2=13,s2=141
H0:μ1=μ2 H1:μ1≠μ2
α=0.05, 選用兩獨(dú)立樣本t檢驗(yàn)方法
將數(shù)據(jù)帶入公式,計(jì)算得t=2.639
自由度=n1+n2-2=23 α=0.05,雙側(cè)故 α/2=0.025,1-α=0.975,查表得臨界值為 t=2.069
因?yàn)?.639(t值)>2.069(臨界值) ,故 p<0.05 , 在0.05水準(zhǔn)下,拒絕H0,接受H1,存在顯著性差異,故認(rèn)為兩種療法效果不同。
7.工作中的AB實(shí)驗(yàn)是如何開展的?
過去在對(duì)首頁(yè)產(chǎn)品進(jìn)行排序時(shí),往往是運(yùn)營(yíng)人員結(jié)合自己工作經(jīng)驗(yàn)進(jìn)行人工排序,現(xiàn)在算法小哥更新了產(chǎn)品排序的邏輯,希望通過AB實(shí)驗(yàn)證明自己的算法優(yōu)于運(yùn)營(yíng)人工推薦,提高轉(zhuǎn)化效果。
算法小哥和開發(fā)溝通好上線AB實(shí)驗(yàn),用轉(zhuǎn)化率(CR)來(lái)評(píng)估不同排序方式的效果,并設(shè)定顯著性水平α=0.05。在這場(chǎng)AB實(shí)驗(yàn)中,用到的兩個(gè)假設(shè)分別是:
H0:運(yùn)營(yíng)的人工排序效果好(備受質(zhì)疑、希望被推翻的命題)
H1:算法的推薦算法效果好(有待驗(yàn)證,希望被證實(shí)的命題)
在AB平臺(tái)觀察今天的實(shí)驗(yàn)效果,數(shù)據(jù)結(jié)果顯示P=0.003,可以理解成數(shù)據(jù)統(tǒng)計(jì)結(jié)果對(duì)H0的支持力度只有0.003,小于顯著性水平0.05,這時(shí)候H1命題成立,相比運(yùn)營(yíng)的手工排序,算法工程師的推薦算法取得了更好的效果。
那在這個(gè)實(shí)驗(yàn)里,有什么要注意的點(diǎn)嗎?
——嗯,AB實(shí)驗(yàn)有很多需要注意的問題。
(1)AB組是否真的只有一個(gè)變量
這場(chǎng)AB實(shí)驗(yàn)的變量是產(chǎn)品排序的邏輯,但大家都想開展AB實(shí)驗(yàn),在首頁(yè)上同期開展的AB實(shí)驗(yàn)有幾十個(gè),UI想測(cè)試篩選框的顏色、產(chǎn)品想測(cè)試標(biāo)簽的文案……。這種背景下,我們AB實(shí)驗(yàn)里被劃分為A群體和B群體的用戶往往同時(shí)參與了N多實(shí)驗(yàn),不能絕對(duì)保證變量的唯一性。一般而言認(rèn)為流量足夠大,其AB實(shí)驗(yàn)和我們觀測(cè)的AB實(shí)驗(yàn)沒有直接交集,可以忽略其影響。
(2)新策略是否真的上線了
因?yàn)檠邪l(fā)每天都有很多AB實(shí)驗(yàn),而且AB實(shí)驗(yàn)平臺(tái)出錯(cuò)也是常有的事情。所以我們要在別人告訴我們AB實(shí)驗(yàn)上線了以后,自己驗(yàn)證實(shí)驗(yàn)策略是否真的上線了。
(3)在實(shí)驗(yàn)前確定評(píng)估指標(biāo)
我們的實(shí)驗(yàn)評(píng)估指標(biāo)是CR轉(zhuǎn)化率。這一點(diǎn)在實(shí)驗(yàn)上線前就要溝通好。
(4)多觀察幾天數(shù)據(jù)
很多AB實(shí)驗(yàn)上線后前幾天數(shù)據(jù)表現(xiàn)是不穩(wěn)定的,最好持續(xù)觀察半個(gè)月再給出結(jié)論。
(5)存檔AB測(cè)試的結(jié)果
對(duì)于數(shù)據(jù)分析師來(lái)說,每一個(gè)項(xiàng)目、每一個(gè)分析都需要做復(fù)盤和存檔。比如AB實(shí)驗(yàn)項(xiàng)目,可以用一個(gè)標(biāo)準(zhǔn)化的模板來(lái)記錄測(cè)試內(nèi)容,為什么測(cè)試,測(cè)試對(duì)接人,測(cè)試效果等等,在年終的時(shí)候可以更好的匯報(bào)和復(fù)盤。
參考引用:
1.公眾號(hào)趙小洛洛洛:統(tǒng)計(jì)學(xué)知識(shí)系列:一篇搞懂假設(shè)檢驗(yàn)
2.公眾號(hào)阿貍和小兔:從假設(shè)檢驗(yàn)到AB實(shí)驗(yàn)——面試前你要準(zhǔn)備什么?
—————————————————————————————————————————————————
博主碼字不易,大家關(guān)注點(diǎn)個(gè)贊轉(zhuǎn)發(fā)再走唄 ,您的三連是激發(fā)我創(chuàng)作的源動(dòng)力^ - ^
總結(jié)
以上是生活随笔為你收集整理的数据分析面试【统计学】-----假设检验知识点归纳的全部?jī)?nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: C语言 投票选举问题
- 下一篇: 激光认证,激光安全等级认证,激光安全认证