?

?

以下內(nèi)容根據(jù)神策數(shù)據(jù)架構(gòu)師房東雨在神策 2018 數(shù)據(jù)驅(qū)動大會現(xiàn)場，題為《推薦的場景與實踐》演講內(nèi)容整理所得。

本文主要內(nèi)容包括：

• 推薦的概念與主要場景

• 推薦的流程

• 推薦的方法

推薦在很早之前就已經(jīng)開始應(yīng)用，場景非常廣泛。近些年推薦也在發(fā)展，我的分享主要圍繞常用和前沿的推薦方法，以及不同推薦方法之間的優(yōu)缺點等內(nèi)容。

一、推薦的概念與主要場景

推薦本質(zhì)是讓人們在海量信息找到他們需要的方法，它是信息爆炸時代下的產(chǎn)物。推薦與搜索不同，搜索是用戶帶著意愿，推薦則與之相反：我（用戶）不知道要什么，此時你推薦的內(nèi)容出現(xiàn)的話，我（用戶）會眼前一亮。

推薦有三個作用，包括降低信息過載、發(fā)掘長尾、提高轉(zhuǎn)化率。推薦分為個性化推薦和非個性化推薦。值得強調(diào)的是，個性化推薦只是推薦一種，是千人千面，精準(zhǔn)到個人一面；非個性化推薦包括熱門推薦、編輯精選、相似推薦等。只有當(dāng)個性化推薦與個性化配合，才能達到比較好的效果。

這是知乎的兩個主要的推薦場景，內(nèi)容類主要是以這兩個類型為主流。圖 1 是用戶登錄后看到的內(nèi)容，這些內(nèi)容和用戶查看的歷史內(nèi)容相類似。圖 2 中的“相關(guān)問題”，這些內(nèi)容和用戶在讀的文章內(nèi)容是有關(guān)聯(lián)的，這屬于非個性化推薦。

圖 1 知乎登錄首頁，來自于知乎

圖 2 知乎相關(guān)問題，來自于知乎

場景一：Feed

圖 3 Feed 推薦

這類是以信息流（ Feed 流）的形式進行推薦。今日頭條是最典型的代表，內(nèi)容足夠多也足夠優(yōu)質(zhì)，推薦很好地提升了用戶的使用時長。它的特點是，Feed 流會占據(jù) APP 的主要空間，當(dāng)用戶瀏覽到最底端的時候，下面會持續(xù)出現(xiàn) Feed，當(dāng)用戶進來后可以持續(xù)消費內(nèi)容。

場景二：猜你喜歡

圖 4 猜你喜歡

這是“猜你喜歡”場景，它和 Feed 推薦最核心的區(qū)別在于：“猜你喜歡”一般是占用頁面的一部分，希望實現(xiàn)的是用戶行為的延伸操作。

場景三：相關(guān)推薦

圖 5 相關(guān)推薦

以上是“相關(guān)推薦”。比如用戶瀏覽一個手機后，下面推薦了“相關(guān)手機”，閱讀一篇文章后，下面推薦了“相關(guān)文章”，看了一部電影后，下面有“相關(guān)電影”，推薦內(nèi)容和我們關(guān)注的內(nèi)容相關(guān)。

二、推薦的流程

推薦目的之一是要建立人與物以及物物之間的關(guān)系，推薦的流程分為幾步。

第一步：確定業(yè)務(wù)場景

要根據(jù)你的產(chǎn)品形態(tài)、現(xiàn)有數(shù)據(jù)、業(yè)務(wù)目標(biāo)、產(chǎn)品運營方向來確定你做推薦所需要的數(shù)據(jù)源。這些數(shù)據(jù)源包括：

1、要推薦物品或內(nèi)容的元數(shù)據(jù)，例如 ID、關(guān)鍵字、描述等；

2、系統(tǒng)用戶的基本信息，例如 ID、性別、年齡等；

用戶需要唯一識別的 ID，推薦系統(tǒng)有一個難點是 Web 端的統(tǒng)一用戶識別，因為在手機端我們可以相對容易的來確定用戶 ID，但在 Web 端，由于存在瀏覽器等各種差異，會導(dǎo)致用戶 ID 差異。在此基礎(chǔ)上，如果有性別、年齡等信息，那么用戶畫像會更加清晰，更方便做個性化推薦。

3、用戶對物品或者信息的偏好，包括顯式的用戶反饋、隱式的用戶反饋、負反饋。顯式的用戶反饋例如用戶對物品的評分，或者對物品的評論；隱式的用戶反饋，例如用戶購買了某物品，用戶查看了某物品的信息等。負反饋，例如用戶點擊不喜歡, 或展現(xiàn)了物品信息但是用戶沒有點擊。

負反饋是大家容易忽略的，在機器學(xué)習(xí)系統(tǒng)里面如果只有正例，沒有負例是不能工作的。那我們?nèi)绾尾杉摾?#xff1f;比如用戶點擊了一個叫“我不喜歡”的按鈕,這是用戶的負反饋。這種負反饋的缺點往往是量級不夠大，所以為了保證負反饋的足夠量級，神策通常采集負反饋的方式之一是，當(dāng)我展示十個物品時，用戶點了第三個，可能因為不太喜歡第一、第二個物品，因而沒有點擊，那么前兩個物品就是用戶的負反饋，第三個商品就是用戶的正反饋。

4、訪問時的上下文信息，例如時間、請求頁面的其他信息等。

比如，用戶在公交車上與躺床上看的視頻可能是不一樣的，導(dǎo)致差異的因素可能是時間，也可能是網(wǎng)絡(luò)環(huán)境等；家里的電視，雖然是同一個 ID，但是爸爸、媽媽、孩子觀看的內(nèi)容差異很大，如何在這種情況下做推薦？我們會嘗試引入時間維度，因為小朋友看電視的時間比較固定，媽媽看連續(xù)劇的時間也相對固定，引入時間維度在一定程度上能緩解這件事情，這個嘗試是很重要的。

第二步：建立評價體系

建立推薦系統(tǒng)之前，要想好如何進行評估。評價體系的方法包括離線評估和在線評估兩種方式。

離線評估包括人工評估、AUC、DCG。人工評估很好理解，比如我們評估一個用戶很喜歡動畫片，并進行一些推薦，我們可以直接去觀察所推薦的內(nèi)容中用戶播放動畫片的比例是否比較大；同時 AUC、DCG 也是常用的模型離線評價指標(biāo)，但是這些數(shù)據(jù)指標(biāo)可能會存在比較大的偏差，所以我們一般不會拿此指標(biāo)來直接評價效果，而只是將它作為參照指標(biāo)。在線評估的標(biāo)準(zhǔn)，包括 CTR、平均閱讀時長、轉(zhuǎn)化率、留存等。

要進行科學(xué)的評估，可以重點注意以下幾個問題:

第一，通過 A/B Test 進行評估；大家應(yīng)該非常了解 A/B Test，我要強調(diào)的是，分組的用戶應(yīng)該是正交的，如果分組是安卓渠道和 iOS 渠道，那這兩組用戶本身的行為就會存在偏差，因為兩個渠道是有各自的特點的，這樣做并不是科學(xué)的方式。

第二，使用對比指標(biāo)而不是絕對值指標(biāo)；如果你關(guān)注 CTR 指標(biāo)，追求的目標(biāo)并非將目標(biāo)達到 5% 就 OK，我們關(guān)注的指標(biāo)應(yīng)該是相對值，也就是對比基線策略提升了多少。因為絕對值會被產(chǎn)品形態(tài)和具體業(yè)務(wù)場景影響，比如產(chǎn)品首頁上只有這一個按鈕肯定點擊率很高。也就是說，在所有因子不變的情況下，只修改策略和方法后的對比指標(biāo)才有意義。

第三，不管是機器學(xué)習(xí)還是推薦系統(tǒng)，追求的都是整體效果提升，而無法具體到優(yōu)化每個個體的效果。推薦系統(tǒng)能優(yōu)化的也是整體效果，是無法優(yōu)化到個人，對個人優(yōu)化時，我們一般只會處理那些 Bad Case。

第三步：選擇 Feature 與 Label

這個過程包括特征選取、數(shù)據(jù)清洗、特征工程、正例與負例。

第四步：模型訓(xùn)練和工程化

這個過程包括數(shù)據(jù)流建立、訓(xùn)練和優(yōu)化模型、推薦服務(wù)。

第五步：實驗與迭代

綜上所述，推薦系統(tǒng)是一個流程：海量 Item——候選集合——排序列表——推薦結(jié)果。

圖 6 推薦系統(tǒng)流程

在推薦系統(tǒng)中，海量物品組成的可推薦池子中，對所有的數(shù)據(jù)進行一定的處理，才能保證在百毫秒內(nèi)召回需要推薦的物品，并對物品進行排序，按照排序列表進行推薦，這個還需要配合非常多的工程上的方法。

三、推薦的方法

我們看一個優(yōu)惠券推送的場景，這跟推薦場景非常一致。你可以通過用戶分群來做，不過這樣你可能會陷入無窮盡的規(guī)則添加中，直到失控。不過這種方式類似老中醫(yī)診脈，依賴前人經(jīng)驗，有點不太靠譜。

圖 7 基于畫像、標(biāo)簽的推薦（圖片來源于網(wǎng)絡(luò)）

如圖所示，左邊所謂的基于人口統(tǒng)計學(xué)推薦，右邊是基于內(nèi)容標(biāo)簽的推薦。

（一）內(nèi)容標(biāo)簽

1、分類與來源

基于標(biāo)簽的推薦，要了解優(yōu)質(zhì)內(nèi)容的標(biāo)簽，以及內(nèi)容標(biāo)簽的分類，你需要花費大量的精力來整理標(biāo)簽的體系。同時你也需要了解標(biāo)簽的來源，包括運營產(chǎn)生標(biāo)簽、用戶產(chǎn)生標(biāo)簽、機器自動產(chǎn)生標(biāo)簽。這三種標(biāo)簽方法優(yōu)缺點都很明顯。

• 運營產(chǎn)生標(biāo)簽的優(yōu)點：質(zhì)量較好、符合產(chǎn)品調(diào)性；缺點：存在運營人員自己的偏見、人力成本高、效率低。

• 用戶產(chǎn)生標(biāo)簽的優(yōu)點：數(shù)量大、節(jié)省成本、能產(chǎn)生意想不到的內(nèi)容；缺點：需要產(chǎn)品形態(tài)支持、質(zhì)量較差、需要進行審核。

• 機器自動產(chǎn)生標(biāo)簽的優(yōu)點：可自動運行；缺點：技術(shù)難度大、效果不可控。

如果將三種標(biāo)簽方式結(jié)合后產(chǎn)生標(biāo)簽的方法有時會更有價值。我們看下面這張圖，生成的第一個內(nèi)容標(biāo)簽是“偷拍成功”，第二個是“學(xué)霸養(yǎng)成中”，第三個詞是“完美側(cè)顏”，這三個標(biāo)簽都是經(jīng)過運營、用戶、機器三者的結(jié)合后打的標(biāo)簽，這個標(biāo)簽經(jīng)過了圖像識別，然后由客戶選擇了運營之前寫好的標(biāo)簽，這樣能產(chǎn)生更有意思的結(jié)果，但是這個確實比較難，需要你們的產(chǎn)品能夠支持這種模式。

圖 8 圖片與標(biāo)簽場景

2、內(nèi)容標(biāo)簽推薦的優(yōu)缺點

標(biāo)簽推薦的優(yōu)點是簡單易行，可以理解。缺點包括以下幾個方面：

第一，受標(biāo)簽質(zhì)量影響大。如果標(biāo)簽質(zhì)量太差，標(biāo)簽粒度很粗，那就沒有什么價值。

第二，受標(biāo)簽產(chǎn)生者個人偏差大。標(biāo)簽產(chǎn)生者受自身知識體系所限，所設(shè)標(biāo)簽和用戶真實應(yīng)用場景不一致。

第三，采用基于規(guī)則方法時規(guī)則量化不準(zhǔn)確。比如優(yōu)惠券為什么設(shè)為 1000 元，而不是 1500 元？這個數(shù)據(jù)是拍腦袋決定的。

第四，缺乏探索性和擴展性。你只能選擇被標(biāo)簽化的內(nèi)容，比如一部動畫片中有很多舞蹈，包括街舞、宅舞等。如果沒有“宅舞”這個標(biāo)簽，這類內(nèi)容你只能將其分到其他標(biāo)簽中，比如“廣場舞”標(biāo)簽中，因此內(nèi)容標(biāo)簽推薦受限于完整的分類體系。

（二）協(xié)同過濾

協(xié)同過濾是非常有效的推薦方法，最早應(yīng)用協(xié)同過濾系統(tǒng)的設(shè)計是解決 Xerox 公司在 Palo Alto 的研究中心資訊過載的問題。協(xié)同過濾簡單來說是利用某興趣相投、擁有共同經(jīng)驗之群體的喜好來推薦用戶感興趣的信息，考慮的是“共現(xiàn)”，基礎(chǔ)是物以類聚、人以群分的思想。

協(xié)同過濾在推薦效果上有明顯的提升，他的優(yōu)點在于：

第一，利用其他人的智慧，能學(xué)習(xí)出難以表述的概念（如個人品味，文章的質(zhì)量等）。利用了群體智慧來幫助構(gòu)建推薦系統(tǒng)，比如用戶看完 A 視頻后，去看了 B 視頻，用戶這種潛意識的行為會幫你建立 AB 視頻的聯(lián)系。

所以例如品位是一個很難量化且無法標(biāo)簽化的東西，但通過協(xié)同過濾這種共現(xiàn)的方法，是可以學(xué)習(xí)到品味這種概念。

第二，不需要預(yù)先建立標(biāo)簽體系，你不需要花人力來做大量標(biāo)簽的標(biāo)注。

第三，可以根據(jù)數(shù)據(jù)和反饋自動訓(xùn)練。這個模型是在不斷變化的，它會使用最新的數(shù)據(jù)來去訓(xùn)練模型，而不需要你的運營人員反復(fù)看“我的標(biāo)簽體系是不是要變了，是不是要重新打標(biāo)簽了”。

第四，更好的規(guī)則變化，有更大的探索性擴展性。因為所有的值都是機器學(xué)習(xí)出來的，而不是去拍腦袋“拍”的，會更加客觀，并且具有更大的探索和擴展性，很多你不知道的概念會被機器學(xué)習(xí)到。

同時，缺點也很明顯，一是冷啟動的問題，因為協(xié)同過濾應(yīng)用的是人和物的關(guān)系，如果物是一個新的人或者是一個新的物品，就很難解決；二是稀疏性問題: 系統(tǒng)歷史數(shù)據(jù)過少，系統(tǒng)無法進行訓(xùn)練，難以進行精確的模式查找匹配推薦；三是不具備可解釋性。

（三）推薦系統(tǒng)中的深度學(xué)習(xí)

對比協(xié)同過濾，深度學(xué)習(xí)召回模型更有優(yōu)勢：

第一，更全面的行為表達。在模型中結(jié)合點擊、收藏、搜索等多種行為，能更全面地表示用戶行為偏好，而在協(xié)同過濾中是不能這么做的。

第二，可添加畫像特征，可加入性別、地域等用戶畫像相關(guān)的特征。如果你有額外的一些標(biāo)簽或發(fā)生的信息，這個模型是可以兼容的，它可以把所有信息糅雜在同一模型里面去做，而在協(xié)同過濾模型里面是完全無法引入的。

第三，考慮用戶的行為順序。比如用戶通常的行為順序是，先買一個手機，然后再去買一個手機殼；買了一個汽車后可能會買個汽車坐墊。如果推薦順序是：用戶買了個手機殼后被推薦了一款手機，這樣的邏輯明顯是錯誤的。

協(xié)同過濾是不具備序列關(guān)系的學(xué)習(xí)能力的，它將所有的行為都看成一個完全平等的關(guān)系，而深度學(xué)習(xí)是可以學(xué)習(xí)順序，在整體模型的表達的能力和調(diào)優(yōu)方面都非常前沿。

圖 9? 神策數(shù)據(jù)某電視推薦場景

這個是神策在一個客戶上做推薦的結(jié)果。一個用戶剛看完《小豬佩奇》第二季第一集，如果基于協(xié)同過濾可以推出《小豬佩奇》其他集，但是如果基于深度學(xué)習(xí)召回模型是可以連續(xù)推出《小豬佩奇》第二季第二集、第三集等。

第四，組合復(fù)雜特征。神經(jīng)網(wǎng)絡(luò)可以進行更復(fù)雜的特征組合，挖掘更深層次的關(guān)聯(lián)關(guān)系。

（四）排序方法

在排序方面，這些年有很大的發(fā)展。隨著數(shù)據(jù)量增多以及業(yè)務(wù)模式的復(fù)雜性，我們可以選擇更復(fù)雜的模型來解決問題。當(dāng)然這需要推薦的點擊數(shù)據(jù)要和展現(xiàn)數(shù)據(jù)實現(xiàn)比較好的整合，這也是要重視展現(xiàn)數(shù)據(jù)的主要原因。

圖 10 神策數(shù)據(jù)推薦排序場景

這里是我們在做排序數(shù)據(jù)的時候，Level 列的數(shù)字是 01010，意思就是有沒有點擊，所有點擊的展現(xiàn)全都寫在一張表里，如此才可以訓(xùn)練排序模型。

四、綜述

綜上所述，推薦是一個系統(tǒng)，不是一個簡簡單單的模型，推薦包含了大量的數(shù)據(jù)收集和業(yè)務(wù)理解的工作，同時還需要對應(yīng)的全套工程架構(gòu)的支持。最后有幾句話想和大家分享下：

第一句是“數(shù)據(jù)和特征決定了機器學(xué)習(xí)的上限，而模型和算法只是逼近這個上限而已”。如果你的數(shù)據(jù)根基沒有做好，那所有的工作都是徒勞的。

第二句是“世界上最遙遠的距離，是我們的算法一樣, 但訓(xùn)練數(shù)據(jù)不同”。每家公司的模型搭建都大同小異，但是模型落地在業(yè)務(wù)的時候，真正差距在于你的數(shù)據(jù)是不是對的，是不是干凈，是不是及時的，這才是決定整個推薦系統(tǒng)最終效果的重要因素。如果你不能從數(shù)據(jù)治理開始，空中樓閣般的搭了一套算法框架的話，你會發(fā)現(xiàn)你的產(chǎn)品落地還是很遠。

總之，推薦的關(guān)鍵是數(shù)據(jù)，數(shù)據(jù)是一切算法的根基, 是一切迭代的依據(jù)。

更多互聯(lián)網(wǎng)干貨和案例，可關(guān)注【神策數(shù)據(jù)】公眾號了解~

?

總結(jié)

以上是生活随笔為你收集整理的神策数据房东雨：精准推荐的场景和实践的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。