本文基于神策數據推出的《數據驅動下的產品決策》在線課程數據分析師演講進行整理。

---

張小龍曾經說：“產品是研究人性，不是研究邏輯。”

那么產品是否沒有權責邊界？改進是否沒有對錯優劣？并非如此，需求決定了產品優化的方向，而量化需求的指標同樣可以用來量化產品改進。

驅動利器：數據驅動下的產品決策（上）表明，數據驅動產品改進主要貫穿于三個階段：探尋、測試和驗證。數據驅動下的產品決策（中）通過一個現象級案例的故事，舉例介紹了如何探尋到產品改進切入點，并進行改進。本篇作為收尾之作，延續中篇案例，介紹測試和驗證的數據分析方法。?

數據驅動產品的第二階段是測試環節，由于邏輯與第三階段相同，本文不再贅述。第三階段是驗證環節，主要作用是對改版后的新功能是否有效進行評估。

驗證落地頁改版效果

圖1 落地頁改進驗證策略

產品改進需要依照改進目的和新功能的具體內容，找到合理的驗證指標，如下：

• 落地頁結構是否發生變化，如果結構發生變化，可能會直接影響數據，驗證失去意義；

• 跳出率有沒有降低；

• 用戶結構有沒有變化。

首先通過檢測得知，落地頁結構沒有發生變化，仍然是答主頁和問題頁占了絕大多數，隨后發現七日內跳出率相差了 35%，一次性用戶也有了 25% 的減少，數據表明落地頁改版效果非常明顯。

驗證首頁改版效果

圖2 首頁改進策略

首頁改進有兩個目的：

• 提升問題的消費量，尤其是主推的免費內容消費量；

• 改變用戶的消費習慣，分流用戶從首頁入口消費，讓首頁起到作用。

首頁改進有三個驗證指標：

• 免費/付費問題的日均消費量和消費占比；

• 問題消費主要頁面的分布變化；

• 首頁到消費問題的轉化率變化，瀏覽首頁的人有多少消費了問題。

根據日均消費量的統計圖，改版后日均消費量 3800 相比改版前的 1000，有了非常大幅度的提升，當然付費問題也不可避免受到了約五分之一的沖擊。這里需要產品經理根據當前業務需求進行評估，如果這樣的結果是可以接受的，那么改版就是成功的。

圖3 首頁 7 日問題消費主要來源頁面評估

根據上圖對 7 日問題消費的主要來源頁面的分析，發現改版前消費主要來源于直接點擊，占比 45%，而改版后個性化推薦用戶占比提升至 33%，這意味著從落地頁進入產品的用戶有很多都愿意點擊個性化推薦模塊，對免費內容進行消費；首頁提升占比至 27%，說明首頁消費也得到了提升；從絕對數據來看，所有數據都有所提升。

圖4 改版前后用戶在首頁點進問題卡片并消費的轉化率

首頁點進問題卡片并消費的轉化率相對改版前有明顯的上升，這是由于首頁承載了更多的免費內容，且大部分都分布在第一屏或第二屏，因此用戶的轉化意愿大大增強。

如果追求更細致的驗證，可以通過數據對比免費功能的體驗是否對付費形成大幅度沖擊，這才是最根本的目標，因為免費內容的提供也是為了更高的留存，最終將他們轉化為付費用戶。

答主答題量是否提升

圖5 答主答題量驗證策略

對答主答題量的改進主要有三個目的：

• 提升答題人數；

• 減少答主被提問的馬太效應；

• 減小答主問題被消費的馬太效應；

簡單介紹前兩個驗證指標：

• 答主日均答題人數；

• 被提問答主的分布。

圖6 答題人數與用戶分布對比

根據上圖，7 日日均答主答題人數從 200 增加到了 400，提高了 100%，被提問的答主的分布也有所改變，改版前大 V 與普通用戶被提問的比例達到了 9：1，改版后相對更加合理，變成了 7：3，馬太效應有了顯著的減弱。

對新功能的評估

圖7 新功能評估策略

本文中篇共改版了四個新功能：

• 關注引導；

• 重新規劃推薦位；

• 增加 UGC 的討論功能；

• 增加 UGC 的新手提問功能。

對新功能評估，需要關注四個評估指標：

• 功能的使用率和使用深度；

• 功能相關的轉化率；

• 使用功能的人群分布，分別是答主、提問者、新用戶還是老用戶，分別對產品有不同的意義；

• 新功能對用戶粘性和付費轉化有什么作用。

如果新功能比較多，需要對新功能建立一個評估的指標體系，將新功能的效果分為使用得分和功能價值得分。

使用得分與使用頻率和使用深度兩個方面直接相關，通過兩個方面的評估得出總使用得分。

價值得分有粘性價值、交易價值、內容價值三個方面，粘性價值與用戶留存相關，交易價值與用戶付費轉化有關，內容價值與促進用戶生產內容有關。通過對三個方面的分別評估得出功能價值得分。示例圖如下，我們可以看到功能價值總分最高的是關注引導功能，每一個新功能對優化產品的貢獻方向不同，而推薦功能在三個方面均不突出。

圖8 新功能價值得分示意圖

將使用得分和價值得分結合，可以制成更直觀的象限圖：

圖9 新功能使用得分和價值得分象限圖

縱軸是價值得分，橫軸是使用得分，推薦和首頁新手提問功能使用得分高，但是價值得分低，通過象限圖，業務人員可以確定以后的優化目標是增加這兩項功能的價值表現。對于關注功能來說，價值得分很高，使用得分偏低，所以今后優化方向可以定為擴大使用面；討論功能在兩方面都差強人意，所以可能需要考慮這個功能的必要性。

從中篇和下篇的大型現象級產品示例 WEB 版的數據分析過程中，相信你也可以將對數據驅動產品決策的方法認知轉化為更加具象的思維。APP 版產品的數據分析指標可能相對有所差異，如用戶結構不同，行為方式不同，用戶主要觸達首頁，這些會導致完全不一樣的評估方案。但是擁有數據驅動的思維，就可以找到自己真正的評估方式。

如果您想下載本期驅動利器干貨PPT，請點擊下方“閱讀原文”，填寫申請表單。

總結

以上是生活随笔為你收集整理的产品优化成果过关？监控数据说了算的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。