做實(shi)驗需要(yao)掌(zhang)握哪(na)些統計學(xue)知(zhi)識？

統計學(xue)是(shi)數據分析(xi)的(de)基石(shi)。學(xue)了(le)統(tong)計學(xue)，妳(ni)會發現很(hen)多時候的(de)分析並不靠(kao)譜。比(bi)如(ru)很(hen)多人(ren)都(dou)喜歡用平(ping)均數去(qu)分析壹(yi)個事(shi)物的(de)結果(guo)，但(dan)是(shi)這往(wang)往是(shi)粗糙(cao)的(de)，不準(zhun)確的(de)。如果(guo)學(xue)了(le)統(tong)計學(xue)，那(na)麽我們(men)就(jiu)能以更(geng)多(duo)更科(ke)學(xue)的(de)角(jiao)度看(kan)待數(shu)據。 

大部(bu)分(fen)的(de)數據分析(xi)，都(dou)會用到統計方面的(de)以下(xia)知識，可(ke)以重(zhong)點(dian)學(xue)習(xi)：

• 基(ji)本(ben)的(de)統計量(liang)：均值、中(zhong)位數、眾數、方差、標準差、百分位(wei)數(shu)等

• 概(gai)率(lv)分布：幾(ji)何分(fen)布、二項(xiang)分布、泊松分(fen)布(bu)、正態(tai)分(fen)布等

• 總(zong)體和樣(yang)本(ben)：了(le)解(jie)基(ji)本(ben)概(gai)念(nian)，抽(chou)樣(yang)的(de)概念

• 置信(xin)區(qu)間與假設(she)檢驗：如(ru)何進(jin)行(xing)驗(yan)證分析

• 相(xiang)關(guan)性與回(hui)歸(gui)分析：壹(yi)般(ban)數據分析(xi)的(de)基本(ben)模(mo)型

通過(guo)基(ji)本(ben)的(de)統計量(liang)，妳(ni)可(ke)以進(jin)行(xing)更多元(yuan)化的(de)可(ke)視化，以實(shi)現更加(jia)精細(xi)化的(de)數據分析(xi)。這個時候也(ye)需(xu)要(yao)妳(ni)去了(le)解(jie)更(geng)多(duo)的(de)Excel函數來實(shi)現基本(ben)的(de)計算(suan)，或(huo)者(zhe)python、R裏(li)面壹(yi)些(xie)對應的(de)可(ke)視化方法。

有了(le)總(zong)體和樣(yang)本(ben)的(de)概念，妳(ni)就(jiu)知(zhi)道(dao)在(zai)面對大規模(mo)數據的(de)時候，怎樣(yang)去(qu)進行抽樣(yang)分(fen)析。

妳(ni)也(ye)可(ke)以應(ying)用(yong)假設(she)檢驗的(de)方法，對壹(yi)些(xie)感性的(de)假設(she)做(zuo)出更加(jia)精確(que)地檢驗。

利(li)用回(hui)歸(gui)分(fen)析(xi)的(de)方法，妳(ni)可(ke)以對未(wei)來的(de)壹(yi)些(xie)數據、缺失(shi)的(de)數據做基(ji)本(ben)的(de)預測。

了(le)解(jie)統(tong)計學(xue)的(de)原理(li)之後(hou)，妳(ni)不壹(yi)定(ding)能夠通(tong)過(guo)工(gong)具(ju)實(shi)現，那麽(me)妳(ni)需要去(qu)對應的(de)找網上(shang)找(zhao)相(xiang)關(guan)的(de)實(shi)現方法，也(ye)可(ke)以看(kan)書。先(xian)推薦壹(yi)本(ben)非(fei)常簡(jian)單(dan)的(de)：吳喜之-《統(tong)計學(xue)·從數據到結論(lun)》。 

另(ling)外(wai)，如(ru)何(he)精力(li)允許，請(qing)掌(zhang)握壹(yi)些(xie)主(zhu)流(liu)算(suan)法的(de)原理(li)，比如(ru)線性回歸(gui)、邏(luo)輯(ji)回歸(gui)、決策(ce)樹(shu)、神(shen)經網(wang)絡、關(guan)聯(lian)分析(xi)、聚類、協(xie)同過(guo)濾、隨(sui)機森林(lin)。再深(shen)入(ru)壹(yi)點(dian)，還可(ke)以掌(zhang)握文本(ben)分(fen)析(xi)、深(shen)度學(xue)習(xi)、圖(tu)像(xiang)識別等(deng)相(xiang)關(guan)的(de)算法。關(guan)於(yu)這(zhe)些(xie)算(suan)法，不僅(jin)需要(yao)了(le)解(jie)其原(yuan)理(li)，妳(ni)最好可(ke)以流(liu)暢(chang)地闡(chan)述出來，還需(xu)要妳(ni)知曉其在(zai)各(ge)行業(ye)的(de)壹(yi)些(xie)應用場景。如(ru)果(guo)現(xian)階段(duan)不是(shi)工作剛需(xu)，可(ke)不作為(wei)重(zhong)點。

本(ben)文算是(shi)壹(yi)個知(zhi)識點匯總(zong)，不做(zuo)細(xi)致展開(kai)，讓大家了(le)解(jie)統(tong)計學(xue)有哪(na)幾(ji)大(da)塊(kuai)，每(mei)壹(yi)類分別用(yong)於(yu)什(shen)麽(me)樣(yang)的(de)分析場景。後(hou)面幾(ji)篇會以實(shi)際案(an)例的(de)方式，細(xi)致講(jiang)講(jiang)描述(shu)性統計、概(gai)率(lv)分布等(deng)。

知識(shi)點匯總(zong)：

1.集(ji)中(zhong)趨(qu)勢(shi)

2.變異性

3.歸壹(yi)化

4.正態(tai)分(fen)布

5.抽樣(yang)分(fen)布

6.估(gu)計

7.假(jia)設(she)檢驗

8.T檢驗

1.眾數(shu)

出現頻(pin)率(lv)最高的(de)數；

2.中位數(shu)

把(ba)樣(yang)本(ben)值(zhi)排(pai)序，分布(bu)在(zai)最中間的(de)值；

樣(yang)本(ben)總(zong)數為(wei)奇數時，中(zhong)位數為(wei)第(n+1)/2個值(zhi)；

樣(yang)本(ben)總(zong)數為(wei)偶(ou)數時，中(zhong)位數是(shi)第n/2個，第(n/2)+1個值(zhi)的(de)平(ping)均數；

3.平(ping)均數

所(suo)有數(shu)的(de)總(zong)和除(chu)以樣(yang)本(ben)數(shu)量(liang)；

現在大家(jia)接(jie)觸最多的(de)概念應該(gai)是(shi)平(ping)均數，但(dan)有時候，平(ping)均數會因為(wei)某(mou)些(xie)極(ji)值的(de)出現收(shou)到很(hen)大影(ying)響。舉個小(xiao)例子，妳(ni)們(men)班有20人(ren)，大家收(shou)入(ru)差不多(duo)，19人(ren)都(dou)是(shi)5000左右(you)，但是(shi)有1個同(tong)學(xue)創(chuang)業成功了(le)，年(nian)入(ru)1個億，這(zhe)時候統計妳(ni)們(men)班同學(xue)收(shou)入(ru)的(de)“平(ping)均數"就(jiu)是(shi)500萬(wan)了(le)，這(zhe)也(ye)很(hen)好的(de)解釋了(le)，每(mei)年(nian)各(ge)地的(de)平(ping)均收(shou)入(ru)數據出爐，小(xiao)夥(huo)伴(ban)們(men)直呼給(gei)祖(zu)國(guo)拖後(hou)腿(tui)了(le)，那(na)是(shi)因為(wei)大(da)家收(shou)入(ru)被平(ping)均了(le)，此(ci)時，“中(zhong)位數"更(geng)能合(he)理(li)的(de)反映(ying)真實(shi)的(de)情況(kuang)；

1.四(si)分(fen)位(wei)數

上(shang)面說(shuo)到了(le)“中(zhong)位(wei)數(shu)"，把(ba)樣(yang)本(ben)分(fen)成了(le)2部(bu)分(fen)，再找(zhao)個這(zhe)2部(bu)分(fen)各(ge)自的(de)“中位數"，也(ye)就(jiu)把(ba)樣(yang)本(ben)分(fen)為(wei)了(le)4個部(bu)分(fen)，其中(zhong)1/4處(chu)的(de)值記為(wei)Q1，2/4處(chu)的(de)值記為(wei)Q2，3/4處(chu)的(de)值記為(wei)Q3

2.四(si)分(fen)位(wei)距 IQR=Q3-Q1

3.異常值

小(xiao)於(yu)Q1-1.5(IQR)或(huo)者(zhe)大(da)於(yu)Q3+1.5(IQR);

對於(yu)異常值，我(wo)們(men)在數據處理(li)的(de)環節就(jiu)要(yao)剔除(chu)；

4.方差

5.平(ping)方偏差

方差的(de)算術平(ping)方根

6.貝塞(sai)爾矯(jiao)正：修(xiu)正樣(yang)本(ben)方差

實(shi)際在計算(suan)方差時，分(fen)母要用(yong)n-1，而不是(shi)樣(yang)本(ben)數(shu)量(liang)n。原因在(zai)於(yu)，比(bi)如(ru)在(zai)高斯分(fen)布中(zhong)，我(wo)們(men)抽取壹(yi)部(bu)分(fen)的(de)樣(yang)本(ben)，用(yong)樣(yang)本(ben)的(de)方差表(biao)示滿足(zu)高斯分(fen)布的(de)大樣(yang)本(ben)數(shu)據集(ji)的(de)方差。由於(yu)樣(yang)本(ben)主(zhu)要是(shi)落在(zai)x=u中心值(zhi)附(fu)近(jin)，那(na)麽(me)樣(yang)本(ben)如(ru)果(guo)用(yong)如下(xia)公式算(suan)方差，那麽預(yu)測(ce)方差壹(yi)定(ding)小於(yu)大(da)數(shu)據集(ji)的(de)方差（因為(wei)高(gao)斯分(fen)布的(de)邊沿抽取的(de)數據也(ye)很(hen)少）。為(wei)了(le)能彌補這(zhe)方面的(de)缺陷，那麽(me)我們(men)把(ba)公式(shi)的(de)n改為(wei)n-1，以此(ci)來提高(gao)方差的(de)數值，這種方法叫貝塞(sai)爾矯(jiao)正系數(shu)。

1.標準分(fen)數(shu)

壹(yi)個給(gei)定分數 距離 平(ping)均數 多(duo)少個標(biao)準差？

標準分(fen)數(shu)是(shi)壹(yi)種可(ke)以看(kan)出某(mou)分(fen)數(shu)在分(fen)布中相(xiang)對位置的(de)方法。

標準(zhun)分數(shu)能夠真實(shi)的(de)反映(ying)壹(yi)個分(fen)數距離平(ping)均數的(de)相(xiang)對標準距離。

1.定(ding)義：隨機變量(liang)X服從壹(yi)個數(shu)學(xue)期(qi)望(wang)為(wei)μ，方差為(wei)σ⊃2;的(de)正態(tai)分(fen)布，記為(wei)N(μ,σ⊃2;)

隨(sui)機取壹(yi)個樣(yang)本(ben)，有68.3%的(de)概率(lv)位於(yu)距離均值μ有1個標(biao)準差σ內；

有95.4%的(de)概率(lv)位於(yu)距離均值μ有2個標(biao)準差σ內；

有99.7%的(de)概率(lv)位於(yu)距離均值μ有3個標(biao)準差σ內；

1.中(zhong)心極(ji)限定理(li)

設(she)從均值為(wei)μ，方差為(wei)σ⊃2;的(de)任意壹(yi)個總(zong)體中抽取(qu)樣(yang)本(ben)量(liang)為(wei)n的(de)樣(yang)本(ben)，當(dang)n充(chong)分(fen)大(da)時，樣(yang)本(ben)均值的(de)抽樣(yang)分(fen)布近(jin)似(si)服(fu)從均值為(wei)μ、方差為(wei)σ⊃2;/n的(de)正態(tai)分(fen)布

2.抽樣(yang)分(fen)布

設(she)總(zong)體共(gong)有N個元(yuan)素，從中隨機抽取(qu)壹(yi)個容(rong)量(liang)為(wei)n的(de)樣(yang)本(ben)，在(zai)重(zhong)置(zhi)抽(chou)樣(yang)時，共(gong)有N·n種抽(chou)法，即可(ke)以組成N·n不同(tong)的(de)樣(yang)本(ben)，在(zai)不重(zhong)復抽(chou)樣(yang)時，共(gong)有N·n個可(ke)能的(de)樣(yang)本(ben)。每(mei)壹(yi)個樣(yang)本(ben)都(dou)可(ke)以計算(suan)出壹(yi)個均值，這(zhe)些所有可(ke)能的(de)抽樣(yang)均值形成的(de)分布就(jiu)是(shi)樣(yang)本(ben)均值的(de)分布。但現(xian)實(shi)中不可(ke)能將(jiang)所有的(de)樣(yang)本(ben)都(dou)抽取出來，因此(ci)，樣(yang)本(ben)均值的(de)概率(lv)分布實(shi)際上(shang)是(shi)壹(yi)種理(li)論分(fen)布。數(shu)理(li)統計學(xue)的(de)相(xiang)關(guan)定(ding)理(li)已經證明：在重置(zhi)抽(chou)樣(yang)時，樣(yang)本(ben)均值的(de)方差為(wei)總(zong)體方差的(de)1/n。

舉個例子：

48盆(pen)MM豆(dou)，計算(suan)出每盆(pen)有幾(ji)個藍色(se)的(de)MM豆(dou)，48個數(shu)據構成了(le)總(zong)體樣(yang)本(ben)。然(ran)後(hou)隨(sui)機選(xuan)擇五盆，計算(suan)五盆中(zhong)含有藍色(se)MM豆(dou)的(de)平(ping)均數，然(ran)後(hou)反(fan)復(fu)進(jin)行了(le)50次(ci)。這(zhe)就(jiu)是(shi)n為(wei)5的(de)樣(yang)本(ben)均值抽(chou)樣(yang)。

1. 誤差界(jie)限

2. 置信(xin)度

We are some % sure the true population parameter falls within a specific range

我(wo)們(men)有百(bai)分(fen)之(zhi)多(duo)少(shao)確信(xin)總(zong)體中的(de)值落在壹(yi)個特(te)定範(fan)圍內；

壹(yi)般(ban)情況(kuang)下(xia)，取95%的(de)置信(xin)度就(jiu)可(ke)以；

3. 置(zhi)信(xin)區(qu)間

七、假(jia)設(she)檢驗

1.問題：什(shen)麽是(shi)顯著(zhu)性水平(ping)？

顯(xian)著(zhu)性水平(ping)是(shi)估(gu)計總(zong)體參數落(luo)在某(mou)壹(yi)區(qu)間內，可(ke)能犯錯(cuo)誤(wu)的(de)概率(lv)，也(ye)就(jiu)是(shi)Type I Error

A Type II Error is when you fail to reject the null when it is actually false.

2. 如何選(xuan)擇備選(xuan)檢驗和零假設(she)？

壹(yi)個研(yan)究(jiu)者想(xiang)證明自己的(de)研(yan)究(jiu)結論(lun)是(shi)正確(que)的(de)，備擇(ze)假設(she)的(de)方向(xiang)就(jiu)要(yao)與(yu)想(xiang)要證明其正確(que)性的(de)方向(xiang)壹(yi)致(zhi)；

同時將(jiang)研(yan)究(jiu)者想(xiang)收(shou)集(ji)證據證明其不正確(que)的(de)假設(she)作為(wei)原(yuan)假設(she)H0

1. 主(zhu)要用於(yu)樣(yang)本(ben)含量(liang)較(jiao)小(xiao)（例如n<30），總(zong)體標準差σ未(wei)知的(de)正態(tai)分(fen)布。

流(liu)程(cheng)如(ru)下(xia)：

是(shi)用t分(fen)布理(li)論來推論(lun)差異發生的(de)概率(lv)，從而比較(jiao)兩(liang)個平(ping)均數的(de)差異是(shi)否(fou)顯著(zhu)；

壹(yi)般(ban)檢驗水準(zhun)α取0.05即可(ke)；

計算(suan)檢驗統(tong)計量(liang)的(de)方法根據樣(yang)本(ben)形式(shi)不同(tong);

2. 獨立(li)樣(yang)本(ben)T檢驗：

現(xian)在要(yao)分(fen)析(xi)男(nan)生和女生的(de)身(shen)高是(shi)否(fou)相(xiang)同兩者(zhe)的(de)主(zhu)要區(qu)別在(zai)於(yu)數(shu)據的(de)來源和要(yao)分析的(de)問題。

問題：為(wei)什(shen)麽T檢驗查(zha)表(biao)時候要n-1?

樣(yang)本(ben)均值替代總(zong)體均值損(sun)失(shi)了(le)壹(yi)個自(zi)由度

3. 配(pei)對樣(yang)本(ben)t檢驗

分(fen)析人(ren)的(de)早晨(chen)和晚上(shang)的(de)身(shen)高是(shi)否(fou)不同(tong)，於(yu)是(shi)找來壹(yi)撥(bo)人(ren)測他們(men)早上(shang)和晚上(shang)的(de)身(shen)高，這(zhe)裏(li)每個人(ren)就(jiu)有兩(liang)個值(zhi)，這裏(li)出現了(le)配(pei)對

樣(yang)本(ben)誤(wu)差（Standard Error）

4. Pooled variance 合(he)並方差

當樣(yang)本(ben)平(ping)均數不壹(yi)樣(yang)，但(dan)實(shi)際上(shang)認(ren)為(wei)他(ta)們(men)的(de)方差是(shi)壹(yi)樣(yang)的(de)時候，需要合(he)並方差

不要(yao)被公(gong)式(shi)嚇(xia)到，他的(de)本(ben)質(zhi)是(shi)兩個樣(yang)本(ben)方差加(jia)權平(ping)均

5. Cohen’s d

效應量(liang)(effect size):提示組間真正的(de)差異占(zhan)統計學(xue)差異的(de)比例，值越大(da)，組間差異越可(ke)靠。