你的假期已余額不足

這些天你都干嘛了？

宅在家里吃吃喝喝？

去旅游景點看人？

走親訪友接受靈魂拷問？

其實，你的假期可以不那么無聊

這是一個靜下心來開啟深度閱讀的好機會

?

大數據（ID：hzdashuju）在長假期間

將推送6篇入門級科普，包括：

未來世界?|?健康生活?|?電動汽車

無人駕駛?|?AI凜冬?|?A/B測試

?

在豬年的最開頭

來一波高能充電！

今天是我們一起充電的第6天

?

?

導讀：數據分析的本質思想就是考據，對事情進行科學考據分析。

?

對待每一個觀點，是要經過互相考據，才能成立，而不是自我想象。這種科學的認知機制，同樣可以引用到做產品上來，促進產品的務實化。

?

最好的學習方法就是找到方案和原理，然后在具體行動過程中考證。大膽地假設，小心地求證。

?

作者：彭耀

如需轉載請聯系大數據（ID：hzdashuju）

?

?

01 建立A/B測試

?

我們再來看一個故事。

?

二戰時英國空軍為了降低飛機的損失，決定給飛機的機身進行裝甲加固。由于當時條件所限，只能用裝甲加固飛機上的少數部位。他們對執行完轟炸任務返航的飛機進行仔細的觀察、分析、統計。發現大多數的彈孔，都集中在飛機的機翼上；只有少數彈孔位于駕駛艙。從數據上說，加固機翼的性價比最高。

?

但實際情況缺恰恰相反，駕駛艙才是最應加固的地方，因為駕駛艙被擊中的飛機幾乎都沒能飛回來。“發聲”的數據是最好獲取的，但如果沒把這些沉默的數據考慮進來，那么這種數據分析是不靠譜的。所以除了數據的結果，還得嘗試解讀這些數據。而解讀數據就完全依賴人了。

?

人們在做出判斷的時候，經常只會看見一個局部的點，而錯失了真相。大部分的產品認知，和這個故事所闡釋的幾乎一樣，就是人們看到了一點，就做出了一個新的判斷，而事實并不是這樣。

?

所以數據是一個系統工程，人們在采取行動之前，需要先進行測試。數據分析的方法，也是同樣的原理，數據分析實踐的四個關鍵步驟：

?

指標——>假設——>試驗——>行動

?

這和做學問的基本原理是一致的。通過打造A/B測試平臺，來驗證觀念。

?

A/B測試是為Web或App界面或流程制作兩個（A/B）或多個（A/B/n）版本，在同一時間維度，分別讓組成成分相同（相似）的訪客群組隨機的訪問這些版本，收集各群組的用戶體驗數據和業務數據，最后分析評估出最好版本正式采用。

?

▲用戶A/B測試

?

A/B測試的好處，主要如下：

?

消除客戶體驗（UX）設計中不同意見的紛爭，根據實際效果確定最佳方案；

通過對比試驗，找到問題的真正原因，提高產品設計和運營水平；

建立數據驅動、持續不斷優化的閉環過程；

通過A/B測試，降低新產品或新特性的發布風險，為產品創新提供保障。

?

A/B測試的一般步驟如下：

?

步驟1：找出優化指標

?

要重點關注第一關鍵指標，要確定優化指標是留存率、轉化率、病毒性分享率，還是營收類指標等。這個指標的選擇尤其關鍵，不同指標的選擇會導致不同的行動。

?

步驟2：提出假設

?

這種假設，是來自運營，來自增長團隊的靈感。可能會是一次具體的推廣、一次價格的調整、一個操作的優化、一個界面按鈕的位置調整、一個圖片的修改、一個文案的推出、一個新功能的推出等。

?

步驟3：創建試驗

?

找出目標受眾，確定試驗內容與試驗目標，并且確切地了解到試驗的目標能夠幫助到他們，對他們是有價值的。

?

以MVP或者在線功能等方式分析試驗的結果。

?

步驟4：具體行動

?

當結果清晰以后，就知道試驗是不是成功的，如果成功就可以在更大的群體中使用。如果不成功，就繼續假設，繼續試驗。

?

?

02 A/B測試的兩個案例

?

我們來看一些具體的示例，看他們是如何建立自己的A/B測試。

?

1. Airbnb數據分析決策實踐的故事

?

2007年，住在美國舊金山的兩位設計師——Brian Chesky與Joe Gebbia正在為他們付不起房租而困擾。為了賺點外塊，他們計劃將閣樓出租出去。傳統的做法是在網站發帖子，但因為感覺在網站發帖子太冷冰冰了，所以就自己動手建了一個網站。

?

當時城里正好舉辦一個設計展，周邊的旅館都被訂滿了。他們便很快搭建好了一個簡易的網站，開起了“家庭旅店”的生意。網站上包含地板上擺放的三張空氣床墊的照片，以及供應家庭自制早餐服務的承諾。很快他們獲得了3個租客，每位支付了80美金。

?

一周后，他們開始陸續收到世界各地人們的電子郵件，詢問何時能在世界其他熱門旅游目的地享受這樣的服務，包括布宜諾斯艾利斯、倫敦、日本。于是他們將這一做法復制到其他大型集會，并允許人們通過信用卡在線支付。

?

在2008年民主黨全國集會期間，奧巴馬在科羅拉多州的丹佛發表十萬人演說。當時全市只有三萬余個旅館房間，于是Airbnb適時地選擇再度在公眾面前高調曝光，一度獲得了極高的流量和關注，促使Airbnb快速發展。

?

但是，發展的過程中并沒有那么順利。在2012年一次產品大會上，產品主管喬·扎德向大家講述了Airbnb的曲折歷程，尤其介紹了公司的專業攝影服務。在發展過程中，Airbnb就是根據數據分析實踐的四個環節來試驗的，尤其以攝影服務為代表。

?

主要包括如下四個步驟：

?

• 步驟1：找出優化指標

?

Airbnb 想優化的指標是房屋租賃天數。因為只有房屋租賃出去了，對于房東來說，才是最關鍵的事情。所以就要解決房屋預訂量問題。那到底要怎么做呢？不知道。

?

2010年，Airbnb通過數據分析，看到紐約的房源量一直不斷增長，但是訂單量卻沒有增長。按正常應該是同比增長，為了找到原因，Airbnb創始人飛到紐約，去找房東一家家溝通，以便找到問題的關鍵所在。

?

經過交流之后發現，原來房東都是直接用手機來拍攝房子，而且不同人拍的效果也不同，有的比較好的漂亮房子拍出來的效果卻很一般，整體的房源照片都不是太好。

?

于是他推斷，這有可能是導致用戶不選擇入住的重要原因。因為現在用戶對于居住的要求越來越高，照片如果效果不好，用戶的居住意愿就會降低。

?

• 步驟2：提出假設

?

根據實際觀察，發現熱門租住房屋的照片看起來更專業，常見的投訴是房子的照片和實際上不一樣，人們在看了照片之后就放棄了。

?

于是，就有了一個初步的假設，是不是圖片越好看，房子租得越好？更深入的一種假設，即“附有專業攝影照片的房源要更搶手”。這一假設出自Airbnb創始團隊的直覺，他們感覺專業攝影服務將有助于業務的開展。

?

不過，他們并沒有立即將想法付諸實踐，而是由主動來分析，以MVP的方式來驗證假設。

?

• 步驟3：實驗

?

最終方案是由Airbnb一家家去拍成漂亮圖片，并標準化尺寸，逐步批量上傳到網站上去。MVP最初的測試表明，附有專業攝影照片的房源所獲訂單數是市場平均值的2~3倍。這驗證了創始團隊最初的假設。

?

• 步驟4：行動

?

到了2011年下半年，Airbnb雇用了20名專業攝影師，以幫助平臺上的房主拍攝房屋照片。幾乎就在同一時間段，Airbnb的訂單量呈現出了我們常說的“曲棍球棒曲線”式的增長。

?

▲20人的攝影團隊加之房主的空閑房屋，訂單訪問量大增

?

結果是，一個月左右，訂單量翻了2倍。就這樣以紐約為范本，往各地復制，整個網站的訂單量都獲得了大幅提升。Airbnb培養了一支專業的攝影隊伍，為房源提供了專業漂亮的圖片，自此以后Airbnb獲得了快速發展。

?

▲Airbnb旅行中，像當地人一樣生活

?

七年之后，Airbnb享譽全球，其夜間租住的房間預定量甚至一舉超過了酒店巨頭希爾頓。

?

Airbnb的數據驅動文化，是提出假設，從假設開始演繹，獲得方案，并通過數據來驗證，以此來為決策提供依據。每一個決策都應該通過數據來驗證。

?

2. Pinterest的數據分析實踐

?

Pinterest是美國的一個圖片分享類社交網站，Pinterest（Pin+Interest）意為把自己感興趣的東西用圖釘釘在釘板（PinBoard）上，用戶可以按主題添加和管理自己的圖片收藏，并與好友分享，頁面底端自動加載無須翻頁，可讓用戶不斷發現新圖片。

?

Pinterest就是家庭婦女和歐美主婦的天堂，它是一家以興趣為基礎的社交網絡，通過圖片墻Pinboard發布圖片。Pinterest以圖片瀑布流展示圖片。2011被評為“美國最受歡迎的十大社交網絡”，并以月增長45%的速度趕超Google+，成為了2011年美國社交網絡中的一匹黑馬。

? ??

▲Pinterest手機端

?

作為一家數據驅動的公司，Pinterest非常依賴試驗來指導產品和功能迭代。Pinterest建立了一個支撐日均1000+次試驗的A/B測試平臺。隨時都有大約1000個試驗在進行，并且試驗的數量每天都在增加。

?

因為試驗數量和相應記錄數據的持續增加，為了讓試驗更加簡單方便，于是向工程師提供一個可靠易用的A/B測試平臺。?

?

測試平臺可以達到如下目標：

?

通過初始設置創建試驗，建立假說，記錄驗證該假說的方法。

將試驗披露給 Pinners ，增加新群組和禁用組，通過篩選器來優化用戶。

結束試驗時，將代碼提交給所有的 Pinners ，或者回滾代碼并記錄試驗結果（根據試驗結果決定提交新代碼或回滾）。

?

這個平臺非常方便業務和分析團隊快速做測試，幫助他們檢查規劃與假設，查看關鍵結果，以及觸發邏輯，結果驗證等。

?

關于作者：彭耀，象形科技聯合創始人兼CTO，典型的產品型和技術型管理者。資深的大數據專家、人工智能專家和產品專家，有近20年的開發和產品經驗。

本文摘編自《升維：爭奪產品認知高地的戰爭》，經出版方授權發布。

?

延伸閱讀《升維：爭奪產品認知高地的戰爭》

點擊上圖了解及購買

轉載請聯系微信：togo-maruko

?

推薦語：產品型管理者和創業者必讀書，從認知格局、體系和方法論三個層面為升維產品認知提供科學指導。從100余位世界高級產品型創始人和管理者的產品認知中總結出1幅全景認知畫布、5大認知升維工具，9大類40項高維認知，200個精彩產品案例。

?

?

我們正在繪制一份大數據粉絲畫像——

2019大數據粉絲有獎調查問卷上線了

歡迎長按二維碼填寫

我們每周一將從參與者中

隨機抽取3名幸運小伙伴

每位將獲贈近期出版的技術類圖書1本

?

猜你想看

?

• 干貨：4個小技巧助你搞定缺失、混亂的數據（附實例代碼）

• NumPy入門攻略：手把手帶你玩轉這款強大的數據分析和計算工具

• 谷歌最新開源前端框架了解一下？前端小白都能看懂的8本書

• 入門科普：一文看懂機器學習3種類型的概念、根本差別及應用

?

?

Q:?你都在哪些項目中應用過A/B測試？

歡迎留言與大家分享

覺得不錯，請把這篇文章分享給你的朋友

轉載 / 投稿請聯系：baiyu@hzbook.com

更多精彩，請在后臺點擊“歷史文章”查看

點擊閱讀原文，了解更多

總結

以上是生活随笔為你收集整理的做决定前别拍脑袋：两个成功案例看懂A/B测试的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。