摘要：
Waze（位智）是一款基于GPS的導(dǎo)航移動軟件應(yīng)用APP，于2013年被Google收購。本文作者為Waze的增進(jìn)營銷負(fù)責(zé)人。在Waze事情的7年內(nèi)，她介入過林林總總的產(chǎn)物或功效開... 
Waze（位智）是一款基于GPS的導(dǎo)航移動軟件應(yīng)用APP，于2013年被Google收購。本文作者為Waze的增進(jìn)營銷負(fù)責(zé)人。在Waze事情的7年內(nèi)，她介入過林林總總的產(chǎn)物或功效開發(fā)：從全球已有跨越1.3億用戶的Waze App，到Waze上線不久的拼車軟件。在今天的文章里，她將為我們分享若何通過A/B Testing來實(shí)現(xiàn)Waze的增進(jìn)。
在市場營銷的差別領(lǐng)域里事情，我見證了營銷若何影響了用戶介入度，這也激發(fā)了我更深入地研究營銷的績效和增進(jìn)：我學(xué)會了若何通過數(shù)據(jù)挖掘發(fā)現(xiàn)商業(yè)看法，若何設(shè)計(jì)響應(yīng)的實(shí)驗(yàn)，以及若何剖析和注釋實(shí)驗(yàn)的效果。作為績效營銷團(tuán)隊(duì)(Performance Marketing) 的一員，我們團(tuán)隊(duì)旨在通過Waze已有的營銷渠道和工具來提高整個(gè)Waze產(chǎn)物漏斗中的用戶介入度。我們會直接接觸到用戶，最終指導(dǎo)用戶完成消費(fèi)。
除此以外，我們團(tuán)隊(duì)會設(shè)計(jì)實(shí)驗(yàn)來進(jìn)一步驗(yàn)證營銷流動的效果，實(shí)驗(yàn)的主要形式是“假設(shè)磨練(Hypothesis testing)”，例如A/B測試。頻頻舉行了數(shù)百個(gè)實(shí)驗(yàn)之后，我發(fā)現(xiàn)了一系列最佳實(shí)驗(yàn)，以及實(shí)行實(shí)驗(yàn)的具體步驟。今天就在這里與人人分享我的A/B測試履歷。
第一步：探索數(shù)據(jù)關(guān)系，制訂KPI
首先，你的任何A/B測試，其關(guān)注的KPI都應(yīng)該與公司的KPI保持一致，從而確保你的測試實(shí)驗(yàn)關(guān)注在公司的重點(diǎn)營業(yè)上。
通過探索性數(shù)據(jù)剖析（Exploratory Data Analysis）探尋數(shù)據(jù)中隱藏的關(guān)系
明確KPI，需要連系專業(yè)領(lǐng)域知識和EDA(探索性數(shù)據(jù)剖析)的發(fā)現(xiàn)。我們需要對公司營業(yè)有深入領(lǐng)會，從而確定營業(yè)的焦點(diǎn)驅(qū)動力是什么。我們能通過EDA挖掘影響焦點(diǎn)驅(qū)動力的因素，除此以外，EDA還能輔助我們識別產(chǎn)物漏斗中具有最大增進(jìn)潛力的相關(guān)部門。
若是你沒有EDA的相關(guān)履歷，以下是基本步驟建議：
檢查數(shù)據(jù)：對于每個(gè)數(shù)據(jù)集，首先領(lǐng)會數(shù)據(jù)的結(jié)構(gòu)和內(nèi)容。
清算數(shù)據(jù)：刪除多余列，處置Null值。若有需要，可以添加列。
使用Group by和Aggregation函數(shù)盤算形貌性統(tǒng)計(jì)量，以探索值得關(guān)注的差別組數(shù)據(jù)差異。
舉行可視化數(shù)據(jù)探索，發(fā)現(xiàn)潛在的差別組間的關(guān)系。
明確與重點(diǎn)營業(yè)和商業(yè)目的相關(guān)的可操作指標(biāo)(Actionable Metrics)
你選擇的指標(biāo)應(yīng)與產(chǎn)物黏性(介入度)相關(guān)，而且應(yīng)該是歷久留存量的有力指標(biāo)。總之，KPI應(yīng)該是可丈量、可執(zhí)行的指標(biāo)。換言之，你應(yīng)該能通過某些行動提升這個(gè)指標(biāo)數(shù)值，并輔助公司到達(dá)商業(yè)目的。除此之外，對于這個(gè)指標(biāo)，你還需要足量的過往數(shù)據(jù)，或者能輕松搜集其相關(guān)數(shù)據(jù)。同時(shí)，你也應(yīng)該制止跨度時(shí)間長的數(shù)據(jù)迭代。例如：使用逐日或每周的活躍用戶數(shù)據(jù)，而不是每月活躍用戶。由于使用每月活躍用戶(MAU)數(shù)據(jù)，你需要守候更新一個(gè)月，才氣對數(shù)據(jù)舉行剖析和操作。
專注用更少指標(biāo)發(fā)生更大影響
對于KPI，你應(yīng)該遵照“少即是多”的原則。讓公司關(guān)注更少的指標(biāo)，旨在整個(gè)公司發(fā)生更大的影響。
在設(shè)計(jì)A/B測試時(shí)，你同樣也應(yīng)該遵照這個(gè)方式。試圖同時(shí)優(yōu)化更多指標(biāo)，實(shí)驗(yàn)就會加倍龐大：可能導(dǎo)致實(shí)驗(yàn)需要更長的測試時(shí)間，更多的設(shè)計(jì)和開發(fā)資源——也就是更多的錢。
當(dāng)你發(fā)現(xiàn)了數(shù)據(jù)中的隱藏關(guān)系，你可以對其舉行深入剖析，從而更準(zhǔn)確地設(shè)計(jì)你的KPI，并在未來的實(shí)驗(yàn)設(shè)計(jì)和營銷效果評估中使用它們。
第二步：確定實(shí)驗(yàn)的局限和目的
一旦你對數(shù)據(jù)的關(guān)系有了更全面的領(lǐng)會，明確了相關(guān)KPI，你就可最先制訂實(shí)驗(yàn)的局限了。而任何實(shí)驗(yàn)的設(shè)計(jì)都應(yīng)該從解答以下四個(gè)問題最先：
1. 這個(gè)實(shí)驗(yàn)有意義嗎？
這是重中之重的問題，由于沒有人想浪費(fèi)時(shí)間、款項(xiàng)和資源在一個(gè)效果無足輕重，不能影響營業(yè)、產(chǎn)物或營銷計(jì)謀的實(shí)驗(yàn)上。在真正最先實(shí)驗(yàn)之前，確保你與公司決議層的目的一致。
2. 實(shí)驗(yàn)的相關(guān)KPI可丈量嗎？若是可以，若何丈量？
永遠(yuǎn)不要一拍腦門就最先一個(gè)實(shí)驗(yàn)。許多人會說：“我們來試試這個(gè)實(shí)驗(yàn)，看看會有什么效果?！边@些人往往會意識到，他們想影響的指標(biāo)現(xiàn)實(shí)上是無法丈量的。這也是我們應(yīng)該制止的。在最先實(shí)驗(yàn)之前，明確你想影響的數(shù)值或KPI，再確保它們是可以丈量的，能應(yīng)用于實(shí)驗(yàn)的。
3. 實(shí)驗(yàn)的影響可檢測嗎？
想要評估你的實(shí)驗(yàn)影響是否有意義，你需要足夠大的樣本量。而合適的樣本量巨細(xì)取決于許多因素，包羅置信水平(confidence level)，統(tǒng)計(jì)功效(statistical power)，和效應(yīng)值(effect size)等。在設(shè)計(jì)實(shí)驗(yàn)的第三步，我們會深入研究這些問題。但總而言之，探測產(chǎn)物漏斗更深處的效應(yīng)，會需要更大的樣本量。若是檢測的效應(yīng)在漏斗頂部，例如點(diǎn)擊率、打開消息率等，其需要的樣本量會相對較小。同樣的，檢測更小的效應(yīng)需要更大的樣本量。
若是情形允許，你可以從過往的類似實(shí)驗(yàn)中學(xué)習(xí)，通過轉(zhuǎn)換率確定實(shí)驗(yàn)基準(zhǔn)，從而大略估量你的實(shí)驗(yàn)執(zhí)行所需的用戶量。
4. 若是實(shí)驗(yàn)樂成，能發(fā)生現(xiàn)實(shí)影響嗎？
我們應(yīng)該從商業(yè)角度思量，若是實(shí)驗(yàn)樂成，所發(fā)生的影響是否有商業(yè)意義。換言之，縱然你的實(shí)驗(yàn)統(tǒng)計(jì)意義上提升了指標(biāo)或KPI，但若是它只能影響少量用戶，那這個(gè)實(shí)驗(yàn)可能并不值得推行。
確保了你的實(shí)驗(yàn)?zāi)軐σ陨纤膫€(gè)問題回覆“Yes”，就可以繼續(xù)讀下去——正式最先你的實(shí)驗(yàn)設(shè)計(jì)了。
第三步：界說、設(shè)計(jì)并實(shí)行你的實(shí)驗(yàn)
在驗(yàn)證了實(shí)驗(yàn)的必要性并設(shè)定好樂成指標(biāo)后，你就可以最先舉行實(shí)驗(yàn)的設(shè)計(jì)了。在Waze多年的履歷，我總結(jié)出一套實(shí)驗(yàn)紀(jì)錄的一套流程，主要由三部門組成：界說，設(shè)計(jì)和實(shí)行。
界說
這一部門主要提供實(shí)驗(yàn)的靠山信息。它需要概述實(shí)驗(yàn)的需求，決議的制訂方式以及專業(yè)術(shù)語。在這部門，你需要用到在第一步中舉行的剖析效果以及第二步中界說的基本原理，為實(shí)驗(yàn)提供靠山信息和框架。
具體來說，在這一部門中我們需要回覆以下問題：
這個(gè)實(shí)驗(yàn)是關(guān)于什么的？
此實(shí)驗(yàn)的商業(yè)目的是什么?
此實(shí)驗(yàn)的實(shí)驗(yàn)效果將會怎樣影響商業(yè)決議？特別是在與該實(shí)驗(yàn)相關(guān)的部門中的決議轉(zhuǎn)變——例如營銷部門或者產(chǎn)物部門等等。
若何界說該實(shí)驗(yàn)中所使用的指標(biāo)和術(shù)語？
非常主要的一點(diǎn)是確保所有與此實(shí)驗(yàn)相關(guān)的事情人員，利益相關(guān)者和通俗讀者都對試驗(yàn)中所使用的專業(yè)術(shù)語有相同的界說。若是實(shí)驗(yàn)的要害環(huán)節(jié)沒有獲得準(zhǔn)確的界說，那么這很可能會影響到試驗(yàn)中的各個(gè)部門，使得最后得出完全差別的結(jié)論。例如，若是你實(shí)驗(yàn)的目的是將非努力用戶轉(zhuǎn)化為努力用戶，則必須在實(shí)驗(yàn)設(shè)計(jì)中完整界說非努力用戶的界說或努力用戶與非努力用戶的界定尺度。由于其他讀者很可能對你的目的受眾或整個(gè)實(shí)驗(yàn)效果和樂成與否存在完全差別的思索角度或明白誤差。
實(shí)驗(yàn)設(shè)計(jì)
抖音養(yǎng)號技巧,優(yōu)秀帶貨主播的自我修養(yǎng)
這部門是整個(gè)實(shí)驗(yàn)設(shè)計(jì)的焦點(diǎn)內(nèi)容。它包羅目的人群的界說，事宜幾率巨細(xì)，抽樣方案，假設(shè)界說和所需的最小樣本量。這部門需要確保包羅以下內(nèi)容：
目的人群
詳細(xì)界說該實(shí)驗(yàn)的目的人群。
事宜幾率巨細(xì)
這部門應(yīng)該憑據(jù)實(shí)驗(yàn)的目的人群和實(shí)驗(yàn)KPI舉行界說。如第一步所述，你需要集中測試該實(shí)驗(yàn)中的可能變量。
抽樣方案
這部門主要界說你對目的人群舉行抽樣的方式。我還建議在這部門中枚舉出任何有可能泛起的抽樣誤差，這樣可以確保你和實(shí)驗(yàn)的利益相關(guān)者領(lǐng)會這些抽樣誤差可能對實(shí)驗(yàn)效果造成的潛在影響。
零假設(shè)與替換假設(shè)
這部門是實(shí)驗(yàn)界說的“心臟”，需要簡練清晰地形貌你的零假設(shè)和替換假設(shè)。其中零假設(shè)應(yīng)該是你的默認(rèn)操作或現(xiàn)有狀態(tài)。替換假設(shè)則是你正在測試的新理論或轉(zhuǎn)變。你在實(shí)驗(yàn)中的目的是檢測是否有足夠的證據(jù)支持來推翻零假設(shè)并更改為替換假設(shè)。
統(tǒng)計(jì)誤差在實(shí)驗(yàn)中代表了假設(shè)磨練中的要害部門。具體來說，我們可以看到兩種差別的統(tǒng)計(jì)誤差，分別是第一類錯(cuò)誤和第二類錯(cuò)誤。說明兩種錯(cuò)誤之間的區(qū)別時(shí)，一種常見的例子是將第一類錯(cuò)誤視為將無辜者治罪的幾率，而第二類錯(cuò)誤是將有罪者定為無罪的幾率。
在實(shí)驗(yàn)中，你希望削減無法拒絕零假設(shè)的幾率，從而增添找到實(shí)驗(yàn)效果的機(jī)遇（若是效果真實(shí)存在）。以上述例子為例，你可以想成零假設(shè)為一小我私家是無辜的，而替換假設(shè)為這小我私家有罪。若是該人確實(shí)是無辜的（零假設(shè)建立），那么則希望削減對該人治罪的可能性（零假設(shè)不建立）。
主要性級別和功耗統(tǒng)計(jì)
一樣平常會通過顯著性水平來界說你對第一類錯(cuò)誤的接受水平，通常會設(shè)置為0.05或5%（95%置信區(qū)間）。也就是5%的可能性錯(cuò)誤的將無辜者治罪。我們通過功耗統(tǒng)計(jì)來戰(zhàn)勝第二類錯(cuò)誤。一個(gè)實(shí)驗(yàn)的功耗統(tǒng)計(jì)是指該實(shí)驗(yàn)檢測出差別實(shí)驗(yàn)組之間區(qū)別的能力（若是此區(qū)別是真實(shí)存在的）。大部門情形下功效被設(shè)定為80%。
效應(yīng)值
領(lǐng)會效應(yīng)的巨細(xì)是非常主要的，或者在既定的群體中怎樣的效果是可以預(yù)期的。以是你需要一個(gè)效應(yīng)值。在實(shí)驗(yàn)中你想要看到更大的轉(zhuǎn)變，那么效應(yīng)值也就越大，最小樣本量也就越小。相反，若是你想看到更小的轉(zhuǎn)變，那么效應(yīng)值也相對越小，我們所需的最小樣本量則越大。換而言之，若是你希望發(fā)現(xiàn)較大的差異，那么可以在測試中削減樣本數(shù)目。反之，若是你希望找到細(xì)微差異，那么就需要在實(shí)驗(yàn)中增添更多的樣本數(shù)目。
最小樣本量
在界說完顯著性水平，功效和效應(yīng)值后，你可以通過運(yùn)行功效剖析來確定實(shí)驗(yàn)所需的最少樣本數(shù)，以此來檢測你所測試的轉(zhuǎn)變是否有意義。
這種測試通常會使用p值來檢測，這是假定零假設(shè)建立時(shí)考察效果所獲得的概率。在顯著性測試中使用p值時(shí)，必須明確指定顯著性水平。若是p值小于顯著性水平，則示意顯著性檢測的效果為“統(tǒng)計(jì)上顯著”。這意味著零假設(shè)（沒有差異性）被拒絕。
p <= alpha: 拒絕零假設(shè)
p > alpha: 無法拒絕零假設(shè)
實(shí)行與考察
現(xiàn)在你已經(jīng)準(zhǔn)備好執(zhí)行你的實(shí)驗(yàn)了！
不要忘記在實(shí)驗(yàn)的每個(gè)環(huán)節(jié)舉行質(zhì)量檢查，以確保數(shù)據(jù)正常和每個(gè)環(huán)節(jié)中的操作相符你的預(yù)期。另外，也需要確保在整個(gè)實(shí)驗(yàn)過程中嚴(yán)酷監(jiān)控。最主要的是，確保在實(shí)驗(yàn)最先執(zhí)行后的幾小時(shí)內(nèi)親切考察，以盡快發(fā)現(xiàn)任何潛在問題。
第四步：剖析并匯報(bào)實(shí)驗(yàn)效果
在完成A/B測試后，你需要剖析并清晰地講述實(shí)驗(yàn)效果，不用為實(shí)驗(yàn)中的負(fù)面或非負(fù)面效果而感應(yīng)含羞。通常情形下你需要測試多種假設(shè)后才氣找到最有影響力的假設(shè)。然則，清晰地講述具有可操縱性的實(shí)驗(yàn)效果可以輔助你和所有利益相關(guān)者連續(xù)地為你的KPI帶來正面影響。
剖析實(shí)驗(yàn)效果的第一步是從驗(yàn)證最先，以確保你的測試正常運(yùn)行。具體來說，你需要確認(rèn)以下幾點(diǎn)：
差別實(shí)驗(yàn)組的巨細(xì)相同：即每個(gè)組的測試分配為50％-50％。若是你決議以差別方式劃分實(shí)驗(yàn)組，則需要確保每個(gè)組的巨細(xì)都與分配給它的百分比相對應(yīng)。
實(shí)驗(yàn)組是隨機(jī)抽取和分配的：確保檢查實(shí)驗(yàn)組中的子群組，以確保沒有潛在的誤差影響你的實(shí)驗(yàn)效果。例如，你可以按性別或國家/區(qū)域?qū)?shí)驗(yàn)組舉行分組，以確保兩個(gè)組的規(guī)模相對相似。
在確認(rèn)實(shí)驗(yàn)的有效性后，你需要憑據(jù)之前為實(shí)驗(yàn)界說的指標(biāo)和KPI剖析每個(gè)組的顯示。若是其中一組的顯示看起來似乎比另一組更好，然則你必須查看效果是否具顯著，以便能夠確定效果是隨機(jī)事宜照樣可再現(xiàn)的效果（會對效果發(fā)生現(xiàn)實(shí)影響）。
怎樣判斷實(shí)驗(yàn)效果是否顯著呢？若是你的變量之間的關(guān)系不只是有時(shí)發(fā)生，那么就代表它是顯著的！顯著性是以P值（即概率值）權(quán)衡的，它將反映你的效果是否與統(tǒng)計(jì)假設(shè)磨練中考察到的效果一樣極端。P值會假設(shè)你的零假設(shè)在一最先就是準(zhǔn)確的。
要記著的是，P值取決于測試組的樣本量。P值巨細(xì)從0％到100％，但通常寫為十進(jìn)制。例如，5％的P值為0.05。低P值是優(yōu)越的顯示；它們解釋效果不是有時(shí)發(fā)生的。你可以將高P值視為反駁零假設(shè)的弱證據(jù)，而將低P值視為反駁零假設(shè)的強(qiáng)證據(jù)：
高P值：你的實(shí)驗(yàn)數(shù)據(jù)證實(shí)了零假設(shè)的真實(shí)性（零假設(shè)建立）
低P值：你的實(shí)驗(yàn)數(shù)據(jù)無法證實(shí)零假設(shè)的真實(shí)性（零假設(shè)不建立）
我已經(jīng)聽過許多次人們試圖注釋“效果幾乎是顯著的”之類的說辭，以充實(shí)他們的講述。讓我們清晰一點(diǎn)：
實(shí)驗(yàn)中沒有“幾乎是有意義的”這一回事。你的測試效果只能是顯著的或不顯著的。
除了確定測試效果是否具顯著外，你還需要界說效果的巨細(xì)，或零假設(shè)和替換假設(shè)之間差異的巨細(xì)。要確定這一點(diǎn)，你需要舉行磨練統(tǒng)計(jì)量?；诹慵僭O(shè)中假設(shè)的概率模子，差別的假設(shè)磨練使用差別的磨練統(tǒng)計(jì)量。一些常用的測試包羅：
Z test (Z statistic): Z磨練測試效果低于或高于總體的多少個(gè)尺度差。Z分?jǐn)?shù)也稱為尺度分?jǐn)?shù)。
T test (T statistic): T磨練會顯示兩組之間的差異有多大；換句話說，它讓你知道這些差異（以均值/平均值權(quán)衡）是否可能是有時(shí)發(fā)生的。
ANOVA (F-statistic): 與T磨練類似，ANOVA可以告訴你差別組之間的差異有多嚴(yán)重。t磨練用來對照兩組樣本，而ANOVA磨練可以舉行兩組以上的磨練。
Chi-square tests (Chi-square statistic): 可以輔助你找到涉及零假設(shè)和替換假設(shè)的變量之間的關(guān)系類型。
在舉行剖析時(shí)，你需要選擇最適合你的實(shí)驗(yàn)的磨練統(tǒng)計(jì)量，并盤算T和P值以評估實(shí)驗(yàn)顯示。Statsmodels庫中包含了一些壯大的功效，可輔助你舉行上述的磨練統(tǒng)計(jì)量。
