日韩av黄I国产麻豆传媒I国产91av视频在线观看I日韩一区二区三区在线看I美女国产在线I麻豆视频国产在线观看I成人黄色短片

歡迎訪問(wèn) 生活随笔!

生活随笔

當(dāng)前位置: 首頁(yè) > 编程资源 > 编程问答 >内容正文

编程问答

神策数据 VP 张涛:个性化推荐从入门到精通(附推荐产品经理修炼秘籍)

發(fā)布時(shí)間:2025/3/19 编程问答 38 豆豆
生活随笔 收集整理的這篇文章主要介紹了 神策数据 VP 张涛:个性化推荐从入门到精通(附推荐产品经理修炼秘籍) 小編覺(jué)得挺不錯(cuò)的,現(xiàn)在分享給大家,幫大家做個(gè)參考.


本文內(nèi)容來(lái)自于近期神策數(shù)據(jù)舉辦的《智能推薦——應(yīng)用場(chǎng)景與技術(shù)難點(diǎn)剖析》閉門會(huì)上的分享內(nèi)容整理,分享者為神策數(shù)據(jù)副總裁張濤,曾就職于騰訊、映客和豌豆莢等知名互聯(lián)網(wǎng)公司。

大家好,我是張濤,在加入神策數(shù)據(jù)之前的 10 年中,我一直在 C 端產(chǎn)品中從事產(chǎn)品設(shè)計(jì)和運(yùn)營(yíng)管理相關(guān)的工作,做的產(chǎn)品包括工具類、電商類、內(nèi)容類等,在這個(gè)過(guò)程中,關(guān)于搜索推薦操盤過(guò)很多實(shí)踐的項(xiàng)目,有從 0 開(kāi)始做的,也有在中后期介入做優(yōu)化迭代的。因此,今天關(guān)于推薦的分享可能不那么偏技術(shù)視角,這有一個(gè)好處,是幫助產(chǎn)品和運(yùn)營(yíng)人員更加了解推薦,也讓技術(shù)更了解業(yè)務(wù)產(chǎn)品視角下的推薦。

今天的分享將為大家解答以下幾個(gè)問(wèn)題。你的公司是否適合采用個(gè)性化推薦?如果需要個(gè)性化推薦,該如何做好?產(chǎn)品運(yùn)營(yíng)在參與到一個(gè)推薦系統(tǒng)的構(gòu)建當(dāng)中,有哪些常見(jiàn)的坑?有哪些可以避開(kāi)這些坑的一些簡(jiǎn)單方法?以及如何修煉成一個(gè)優(yōu)秀的推薦產(chǎn)品經(jīng)理?

一、 “四個(gè)關(guān)鍵”為你揭開(kāi)推薦系統(tǒng)的神秘面紗

個(gè)人認(rèn)為,推薦系統(tǒng)是根據(jù)用戶以及不同的場(chǎng)景差異,對(duì)信息進(jìn)行合理的排序、過(guò)濾,解決信息過(guò)載問(wèn)題的一套機(jī)制。這個(gè)定義中包含四個(gè)關(guān)鍵點(diǎn),如下:

1.“根據(jù)用戶以及不同的場(chǎng)景差異”

對(duì)于很多剛開(kāi)始做推薦的人可能會(huì)忽略這一點(diǎn),大部分人在思考推薦時(shí)想的更多的可能是基于用戶來(lái)做,但其實(shí)我從眾多實(shí)踐中發(fā)現(xiàn),很多時(shí)候推薦產(chǎn)生價(jià)值不僅僅只是說(shuō)以用戶進(jìn)行區(qū)分,相關(guān)場(chǎng)景的差異會(huì)對(duì)于最后推薦效果產(chǎn)生巨大的影響。

2.“推薦的本質(zhì)是對(duì)信息進(jìn)行合理的排序、過(guò)濾”

很多人認(rèn)為推薦是一個(gè)魔盒,非常神奇,其實(shí)究其本質(zhì)是企業(yè)有成千上萬(wàn)甚至上億的 item,不管這些 item 是文章、視頻,還是電商里面的商品,然后現(xiàn)在有某個(gè)人在一個(gè)具體的場(chǎng)景里面,企業(yè)需要把這些 item 給他看,那應(yīng)該把哪個(gè)放在第一個(gè)?這就是推薦系統(tǒng)背后的運(yùn)作原理。

3. “推薦系統(tǒng)要解決信息過(guò)載的問(wèn)題”

舉個(gè)例子,如果你的企業(yè)只做爆款商品,整個(gè)公司只賣兩個(gè)商品,這樣用戶一看就明白了,顯然也不需要推薦,所以做推薦的一個(gè)前提條件是你公司本身提供的業(yè)務(wù)里面的信息太多了,對(duì)于一個(gè)正常的自然人來(lái)說(shuō),他處理不了那么多信息的時(shí)候,企業(yè)才需要去幫助用戶解決信息過(guò)載的問(wèn)題,從而為用戶設(shè)計(jì)這樣一套機(jī)制。

4.“一套機(jī)制”

這點(diǎn)很好理解,推薦系統(tǒng)是由不同的算法、規(guī)則等構(gòu)成的一套機(jī)制。這四點(diǎn)是我從產(chǎn)品視角為你解讀了什么是推薦系統(tǒng),以及他的一些簡(jiǎn)單作用。

二、推薦系統(tǒng)、廣告系統(tǒng)、搜索系統(tǒng)三者有何不同?

事實(shí)上,解決我在前面提到的一系列問(wèn)題,推薦系統(tǒng)并不是唯一的方法。比如,前面所提到的排序、過(guò)濾,做技術(shù)的同學(xué)應(yīng)該很容易聯(lián)想到,搜索和廣告系統(tǒng)也涉及排序、過(guò)濾,且搜索也一定程度上解決了信息過(guò)載。那么,這三個(gè)系統(tǒng),它到底有什么區(qū)別呢?我從 5 個(gè)方面對(duì)其進(jìn)行了對(duì)比,下面將一一講述:

1.用戶獲取信息的方式。

廣告與推薦系統(tǒng),用戶都是被動(dòng)的,但搜索不一樣,用戶是主動(dòng)搜索的,他需要輸入一些關(guān)鍵詞,會(huì)加入一些自己的意見(jiàn)和重點(diǎn)。

2.點(diǎn)擊率要求。

這三個(gè)系統(tǒng)對(duì)點(diǎn)擊率都有要求,僅在要求上有些區(qū)別,這就不詳述了。

3.驚喜度要求。

對(duì)于廣告和搜索系統(tǒng)來(lái)說(shuō),不需要太多的驚喜度。比如,如果我搜一個(gè)關(guān)鍵詞,搜索到我想要的資料時(shí),并不會(huì)覺(jué)得很驚喜,甚至認(rèn)為是理所當(dāng)然,但是在推薦系統(tǒng)里,用戶往往對(duì)驚喜度是有要求的。

具體來(lái)說(shuō),用戶對(duì)于一個(gè)推薦系統(tǒng)的期望是希望產(chǎn)品能夠給他們一些驚喜,如用戶 A 雖然不知道產(chǎn)品用了什么數(shù)據(jù)、什么方法,但如果突然推薦了一首可能他已經(jīng)快遺忘的自己卻很喜歡的歌時(shí),他就會(huì)因感到產(chǎn)品“好懂我”而驚喜。

4.個(gè)性化要求。

在廣告和搜索系統(tǒng),個(gè)性化的需求是可有可無(wú)的,不管有沒(méi)有系統(tǒng)也能正常運(yùn)作。但是,對(duì)于推薦系統(tǒng)來(lái)說(shuō),個(gè)性化要求非常高,甚至越高越好。因?yàn)閭€(gè)性化推薦針對(duì)的是差異化的單個(gè)場(chǎng)景,一定會(huì)有個(gè)性化的要求。

5.用戶反饋。

廣告和搜索系統(tǒng)存在比較隱性的反饋,即對(duì)于搜索結(jié)果好不好?一般很少有搜索引擎廠商會(huì)直接問(wèn)用戶,你喜不喜歡搜索結(jié)果,更多是廠商去判定廣告效果和搜索效果,一般是通過(guò) CTR,或通過(guò)整個(gè)產(chǎn)品的某些長(zhǎng)期留存表現(xiàn)來(lái)判定。但是,對(duì)于推薦系統(tǒng)來(lái)說(shuō),很多推薦產(chǎn)品會(huì)直接地問(wèn)用戶的喜好,存在很明顯的顯性主觀表達(dá)。

因此,同樣是解決類似的一系列問(wèn)題。 但是這三個(gè)不同的系統(tǒng)存在極大的差異(如下圖),這些區(qū)別直接決定了企業(yè)去判斷某個(gè)業(yè)務(wù)適不適合使用個(gè)性化推薦,以及該如何做好個(gè)性化推薦。

三、什么樣的產(chǎn)品或業(yè)務(wù)適合采用個(gè)性化推薦?

個(gè)人認(rèn)為,具有媒體性的產(chǎn)品(Media Product)適合使用個(gè)性化推薦,這里指的不是只有與媒體相關(guān)的才能使用推薦,公司業(yè)務(wù)為電商的就不行,其實(shí)它只是一個(gè)概念,包含四個(gè)點(diǎn),但不一定要同時(shí)滿足,下面我將一一解說(shuō)。

1.口味很重要(Taste)

產(chǎn)品中的 Taste 本身很重要。舉個(gè)例子,網(wǎng)上曾有一個(gè)很火的梗,在淘寶搜索連衣裙,排在第二位的連衣裙價(jià)格,代表了在整個(gè)淘寶體系里判定你個(gè)人的客單價(jià)范圍。我們當(dāng)時(shí)試了一下,發(fā)現(xiàn)一個(gè)特別有趣的現(xiàn)象,就是一般女生搜索出來(lái)的價(jià)格都會(huì)很低,大概一兩百元,而我和一些男同事搜索出來(lái)會(huì)高很多,如我搜索的基本上是一千八左右的連衣裙,仔細(xì)想一想也有原因,像女生天天逛淘寶,大大小小什么商品都買,但我上淘寶基本上都是要買相機(jī)、電腦,這些價(jià)格都在幾千或上萬(wàn)元。很容易發(fā)現(xiàn),我們所有人對(duì)于買的東西的方向和口味是有差異的。

事實(shí)上除了存在差異還存在要求,很多人不希望被一個(gè)平臺(tái)判定其口味是某個(gè)方向。比如一個(gè)具備推薦系統(tǒng)的網(wǎng)站總給你推薦一些下三濫、低俗的東西,他會(huì)想“天哪!我是這樣一個(gè)人嗎?”因此,大家對(duì)于一個(gè)平臺(tái)的口味和自己的口味都是有要求的。

2.單位成本不重要(Cost)

“單位成本不重要”我們可以通過(guò)這個(gè)例子來(lái)理解,比如以前我們每天看報(bào)紙,因?yàn)閳?bào)紙的單價(jià)較便宜,對(duì)應(yīng)到現(xiàn)在的產(chǎn)品,比如我聽(tīng)一首歌、看一篇文章、買一個(gè)常規(guī)的商品,你的消費(fèi)行為的 cost 消耗都不高,且不那么重要。

3.有瀑布效應(yīng)(Information Cascade)

瀑布效應(yīng)指的是,一旦在社區(qū)或平臺(tái)里產(chǎn)生了一個(gè)趨勢(shì),那么整個(gè)平臺(tái)的其他人都會(huì)跟隨這個(gè)趨勢(shì),比如,微博上轉(zhuǎn)發(fā)超過(guò)三四千的動(dòng)態(tài),可能會(huì)慢慢地被轉(zhuǎn)發(fā)的更多,整個(gè)社區(qū)會(huì)形成這樣的一些趨勢(shì)和傾向,瀑布效應(yīng)在平臺(tái)和社區(qū)較容易形成。

4.多樣性(Diversity)

這一點(diǎn)指的是你的平臺(tái)的內(nèi)容本身是具有多樣性的,這是推薦的基礎(chǔ)。如果整個(gè)平臺(tái)的內(nèi)容在各種維度、屬性上都一致,那么很難做推薦。

基本上,只要滿足以上 1-2 個(gè)點(diǎn),我們就可以說(shuō)它是一個(gè)偏媒體型的產(chǎn)品。這方面一個(gè)很經(jīng)典的例子,我們可以看下圖,在圖中的王守崑是原來(lái)負(fù)責(zé)豆瓣最早的推薦系統(tǒng)的架構(gòu)師,這是他在很早之前分享中的一頁(yè) PPT,我覺(jué)得這是講一個(gè)產(chǎn)品適不適合上推薦最直觀的一個(gè)例子。

當(dāng)時(shí)他們?cè)谧龆拱晖扑]的時(shí)候,首先思考到底應(yīng)該優(yōu)先在什么頻道上推薦,為此設(shè)置了一個(gè)判斷的標(biāo)準(zhǔn),開(kāi)始列一些指標(biāo),如下:

豆瓣會(huì)根據(jù)各個(gè)頻道的用戶數(shù)、條目數(shù)(豆瓣收錄的圖書、電影、音樂(lè)多少)計(jì)算稀疏性,比如圖書的條目數(shù)是 300 萬(wàn),同時(shí)記錄圖書用戶群體人均會(huì)在豆瓣收藏幾本書(點(diǎn)看過(guò)的視為收藏),豆瓣用人均的看過(guò)的次數(shù)除以總的條目數(shù)算出的值叫做稀疏性。如果一個(gè)產(chǎn)品稀疏性太低,那么繼續(xù)使用現(xiàn)行的推薦系統(tǒng)的相關(guān)算法就會(huì)出現(xiàn)問(wèn)題,因?yàn)檎麄€(gè)待推薦的內(nèi)容面臨很大的群體,如果每一個(gè)人喜歡的東西太少時(shí),他就會(huì)散落在整個(gè)大群體的各個(gè)方面,你很難找到人和人之間具體的關(guān)系,因?yàn)槊總€(gè)人在整個(gè)系統(tǒng)里面的表達(dá)興趣太少了。因此,稀疏性低的產(chǎn)品做推薦,要么是工程難度比較高,那么效果可能不太好,一般說(shuō)稀疏性高一點(diǎn)的產(chǎn)品更容易找到人與人之間契合的東西,當(dāng)然稀疏性也不能過(guò)高,如果稀疏性達(dá)到百分之八九十,那所有的用戶可能就過(guò)于相似,所以豆瓣比較強(qiáng)調(diào)稀疏性。

關(guān)于多樣性,有一個(gè)有趣的點(diǎn)需要注意。比如圖書的多樣性高,大家可能理解圖書僅根據(jù)一個(gè)偵探小說(shuō)就能分出幾十個(gè)類型;電影的多樣性低,好像和常規(guī)的理解不一樣,事實(shí)上因?yàn)殡娪艾F(xiàn)在是高度工業(yè)化和商業(yè)化的產(chǎn)品,他們的類型聚集度是相當(dāng)高的。所以這給了大家一個(gè)啟示,在判斷自身產(chǎn)品時(shí),不要完全憑直覺(jué),而要真的拿自己公司的實(shí)際數(shù)據(jù)說(shuō)話。

時(shí)效性很好理解,我就不解釋了。反饋是指在某個(gè)品類中,企業(yè)做出一個(gè)推薦行為,用戶什么時(shí)候能給企業(yè)一個(gè)反饋,也就是用戶表達(dá)自己喜好的反饋時(shí)間周期是快還是慢。比如圖書就會(huì)很慢,讀完可能需要十天半個(gè)月,拖延癥的人可能還要讀半年左右;文章就會(huì)很快,只要點(diǎn)我的文章就可以定義為偏好,把這篇文章滾動(dòng)到底就是喜歡;音樂(lè)也是,聽(tīng)完就是喜歡,很快跳過(guò)就是不喜歡。

最后,豆瓣會(huì)綜合前面所有的這些維度屬性來(lái)判斷推薦效果。在圖中他們認(rèn)為推薦效果最好的是單曲,原因是單曲的稀疏性特別高,雖然多樣性相對(duì)來(lái)說(shuō)低級(jí)別,但是因?yàn)橄∈栊愿?#xff0c;加上反饋周期特別快,綜合起來(lái)效果最好。事實(shí)上,這也是為什么大家在互聯(lián)網(wǎng)的花花世界中,還能記得豆瓣 FM 這個(gè)產(chǎn)品。不過(guò),豆瓣在其他方面的推薦效果也不錯(cuò),比如圖書。

以上,就是豆瓣當(dāng)時(shí)內(nèi)部的一個(gè)評(píng)估過(guò)程,揭示了企業(yè)想要做一個(gè)推薦產(chǎn)品的時(shí),到底該如何去衡量這個(gè)業(yè)務(wù)適不適合做,效果將怎樣,需要定一個(gè)衡量的標(biāo)準(zhǔn)。

四、以商業(yè)為目的,推薦要做成什么樣?

推薦的商業(yè)目的一般分為以下幾種:

1.用計(jì)算機(jī)經(jīng)驗(yàn)取代運(yùn)營(yíng)經(jīng)驗(yàn)(節(jié)省成本、提高效率)

這一點(diǎn)非常重要,很多人提到推薦系統(tǒng)會(huì)認(rèn)為是由公司的技術(shù)部門負(fù)責(zé),像變魔法一樣,就把某個(gè)事情從人工運(yùn)營(yíng)變成了機(jī)器運(yùn)營(yíng),然后運(yùn)營(yíng)的同學(xué)就好像沒(méi)活干了,但事實(shí)不是如此,其實(shí)本質(zhì)上來(lái)說(shuō)它是取代運(yùn)營(yíng)經(jīng)驗(yàn),但是有個(gè)前提條件是你們公司本來(lái)有運(yùn)營(yíng)經(jīng)驗(yàn),我很少見(jiàn)到公司使用推薦系統(tǒng)是完全拋開(kāi)運(yùn)營(yíng)團(tuán)隊(duì),單靠技術(shù)團(tuán)隊(duì)自己的力量,把推薦系統(tǒng)運(yùn)作得很好。

事實(shí)上,我們可以這樣理解這一點(diǎn):運(yùn)營(yíng)積累了一些經(jīng)驗(yàn),但是只能通過(guò)運(yùn)營(yíng)人工的進(jìn)行一次次干預(yù),這樣往往只能對(duì)整個(gè)區(qū)域進(jìn)行干預(yù),沒(méi)有辦法把經(jīng)驗(yàn)落地到每一個(gè)具體的用戶身上,干預(yù)每一個(gè)用戶的體驗(yàn)還是很難。因此,推薦系統(tǒng)就可以幫助解決提升每個(gè)用戶的體驗(yàn)問(wèn)題。

2.充分利用流量(提高變現(xiàn)能力)

事實(shí)上,很多企業(yè)的產(chǎn)品設(shè)計(jì)以及各種運(yùn)營(yíng)方案,可能只能解決眾多流量的其中 60% 的需求,另外 40% 的需求被忽略了,或者是不得不忽略,因?yàn)槠髽I(yè)沒(méi)有辦法給每一個(gè)用戶或者每一群用戶單獨(dú)配一個(gè)運(yùn)營(yíng)。此時(shí),推薦系統(tǒng)就可以起到類似分流量的精細(xì)化運(yùn)營(yíng)的作用。

3.促進(jìn)信息流動(dòng)(留住小眾用戶)

這個(gè)價(jià)值點(diǎn)可能很多企業(yè)沒(méi)有注意到,因?yàn)榇蠖鄶?shù)想使用個(gè)性化推薦的公司,都在考慮公司如何賺錢?或用戶如何能得到更好的體驗(yàn)?但是,很多產(chǎn)品的推薦系統(tǒng)還有一個(gè)很重要的作用是促進(jìn)信息流動(dòng),從而留住小眾用戶。在很多形態(tài)的產(chǎn)品中,不管是社區(qū)型的產(chǎn)品,還是電商型的產(chǎn)品,它都會(huì)存在一些商品,如果產(chǎn)品的機(jī)制運(yùn)營(yíng)的不錯(cuò),這些商品會(huì)在短時(shí)間之內(nèi)成為整個(gè)社區(qū)的話題和爆款。

但是可能社區(qū)本身的積淀或產(chǎn)品的話題程度,不可能讓它持續(xù)地成為話題,但是一定要制造話題,因?yàn)槠湟豢梢哉蔑@整個(gè)社區(qū)多樣性,其二小眾的群體也覺(jué)得自己能在大平臺(tái)得到展現(xiàn),會(huì)更容易留下來(lái),但如果整個(gè)社區(qū)缺乏這種能力,展示在推薦位置的永遠(yuǎn)是熱門的大眾內(nèi)容,那么長(zhǎng)尾的小眾社區(qū)、小眾用戶、小眾商品就會(huì)涌入其他平臺(tái),企業(yè)便很難養(yǎng)起來(lái)那一部分的風(fēng)。

回到當(dāng)下來(lái)看,像抖音這樣的產(chǎn)品,為什么能夠讓那么多人參與進(jìn)去?核心在于聚集了多樣化的用戶,比如經(jīng)常在抖音上看到一些播放量、點(diǎn)贊量都是幾十萬(wàn)的用戶,你點(diǎn)進(jìn)去他的主頁(yè)來(lái)看歷史的視頻播放,你會(huì)發(fā)現(xiàn)這個(gè)用戶可能只有那一個(gè)視頻幾十萬(wàn),其他的視頻只有幾百、幾千的播放量。但這就是推薦系統(tǒng)的魅力,用戶不需要一直是一個(gè)大 V,只要偶爾一個(gè)內(nèi)容能夠成為爆款,那么平臺(tái)就能夠把這類用戶篩選出來(lái),讓他吸引更多的人參與進(jìn)來(lái),而避免說(shuō)被少數(shù)的大 V、頭部流量把整個(gè)平臺(tái)給遏制住,這是一個(gè)比較有意思的商業(yè)目的。

五、產(chǎn)品、運(yùn)營(yíng)必知的推薦系統(tǒng)算法

這里是針對(duì)常見(jiàn)的一些做推薦的基礎(chǔ)思想和算法進(jìn)行簡(jiǎn)單的掃盲(之后神策數(shù)據(jù)公眾號(hào)會(huì)有一篇文章“推薦系統(tǒng)的實(shí)踐與思考”會(huì)對(duì)最新的一些推薦系統(tǒng)的架構(gòu)構(gòu)建進(jìn)行專門的介紹),以下三種是比較常見(jiàn)的:

協(xié)調(diào)過(guò)濾(CF)、隱語(yǔ)義模型(LFM)、優(yōu)勢(shì)排行(Edgerank),我們最常見(jiàn)到的是CF、其中 Edgerank 主要用于類似 Facebook 做社交的企業(yè)。

1.協(xié)調(diào)過(guò)濾(CF)

事實(shí)上,大部分的推薦系統(tǒng)的本質(zhì)是“物以類聚,人以群分”,思路大概可分為兩個(gè)方面:其一,研究物品,即研究被推薦系統(tǒng)推薦的 item 進(jìn)行推薦,被稱為基于物品的推薦(Item-based);其二,研究人,即根據(jù)人的喜好進(jìn)行推薦,被稱為基于用戶的推薦(User-based)。

基于物品的協(xié)同過(guò)濾是什么意思呢?舉個(gè)例子,某個(gè)電商企業(yè)的商品 i 和 j 被同一類人喜歡,因此可以將其歸為一類,當(dāng)用戶 u 喜歡 i 但是沒(méi)有看過(guò) j,就可以把 j 推薦給 u。

基于用戶的協(xié)同過(guò)濾又是什么意思呢?前面提到的物品的協(xié)同過(guò)濾是先把物品歸為一類,然后再推薦相同類的,而基于用戶的協(xié)調(diào)過(guò)濾是我們先分析用戶。舉個(gè)例子,我們把用戶 A 和 B 歸為一類,然后,就可以把 B 喜歡的商品,A 還沒(méi)看過(guò)的 i 也推薦給 A。

2.隱語(yǔ)義模型(LFM)

隱語(yǔ)義模型相對(duì)協(xié)同過(guò)濾會(huì)復(fù)雜一些,但是本質(zhì)上也較相似,這根據(jù)用戶的行為和物品的特征,用機(jī)器學(xué)習(xí)的方法先把物品進(jìn)行分類,然后再計(jì)算用戶 A 對(duì)每一個(gè)類別的興趣程度。舉個(gè)例子,某個(gè)企業(yè)通過(guò)機(jī)器學(xué)習(xí)把物品分成了十個(gè)類,然后該企業(yè)計(jì)算用戶 A 對(duì)每個(gè)類別的興趣程度,可以劃分為 1、0.8、0.7、0.5、0.3 等。之后,企業(yè)繼續(xù)計(jì)算一個(gè)物品 i 對(duì)于每個(gè)類別的權(quán)重,也就是物品 i 到底該被劃分到哪個(gè)類別,最后,企業(yè)根據(jù)這兩個(gè)信息和權(quán)重計(jì)算出用戶對(duì)物品 i 的喜愛(ài)程度。相比協(xié)同過(guò)濾,LFM 分的更精細(xì),事實(shí)上,現(xiàn)實(shí)中不管是人的屬性還是物品的屬性都千差萬(wàn)別,很難通過(guò)單純的把物品或人分為一類就能滿足推薦的需求。

3.優(yōu)勢(shì)排行(Edgerank)

Edgerank 是 Facebook 完全基于自身信息流分發(fā)構(gòu)建的一個(gè)算法。這能幫助大家理解有時(shí)候推薦算法不是簡(jiǎn)單采用市面上恒定的算法,而要根據(jù)公司實(shí)際的需求調(diào)整。Edgerank 會(huì)算三個(gè)指標(biāo):親密度(Affinity Score)、邊的權(quán)重(Edge Weight)、新鮮程度(Time Decay)。

親密度(Affinity Score)。比如用戶 A 發(fā)了一些文字信息、視頻、圖片等,用戶 B 從一些第三方應(yīng)用分享的這些文字、視頻、圖片來(lái)到用戶 A 的信息流,Facebook 就會(huì)首先算用戶 B 與用戶 A 的親密程度(同學(xué)?情侶?曾經(jīng)互動(dòng)過(guò)?),通過(guò)系統(tǒng)來(lái)計(jì)算出 AS 的親密度分?jǐn)?shù),當(dāng)判定為存在親密度,就會(huì)再計(jì)算邊的權(quán)重。

邊的權(quán)重(Edge Weight)。這指的是用戶 B 通過(guò)什么樣子的邊連接到你,是圖片?文字?還是通過(guò)分享自己喜歡的文章,像這種不同的連接類型,叫做邊。 邊的權(quán)重的不同會(huì)幫助更好的推薦。舉個(gè)例子,如果發(fā)現(xiàn) Facebook 的用戶更喜歡看照片,照片的邊的權(quán)重就會(huì)更高;如果用戶總發(fā)一些沒(méi)有營(yíng)養(yǎng)的雞湯文,這些文章邊的權(quán)重就會(huì)下降。

新鮮程度(Time Decay)指的是內(nèi)容本身的發(fā)布時(shí)間的早晚,越近發(fā)布的權(quán)重會(huì)越高。

Facebook 會(huì)綜合這三個(gè)指標(biāo)給用戶做推薦,但是對(duì)大多數(shù)企業(yè)來(lái)說(shuō)無(wú)法直接套用,因?yàn)檫@是根據(jù) Facebook 自身信息流的分發(fā)需求提煉出的影響因子。

之所以為大家介紹這三種模型,是想讓大家簡(jiǎn)單了解現(xiàn)在做推薦的常規(guī)手段,但事實(shí)上現(xiàn)在的工程實(shí)踐遠(yuǎn)比上面的這些基礎(chǔ)模型復(fù)雜,我們?cè)賮?lái)看一下推薦系統(tǒng)的架構(gòu)圖,這不是純技術(shù)角度的架構(gòu)圖,比較偏產(chǎn)品視角。事實(shí)上,做推薦系統(tǒng)往往是一個(gè)過(guò)程,通過(guò)多種算法得到一個(gè)初步結(jié)果,然后再對(duì)初步結(jié)果進(jìn)行過(guò)濾、排序,再生成一些推薦原因,最后展示推薦結(jié)果。在整個(gè)過(guò)程里面,產(chǎn)品運(yùn)營(yíng)參與的環(huán)節(jié)也比較多,這就是我的一個(gè)理解。

六、個(gè)性化推薦產(chǎn)品經(jīng)理的修煉秘籍

做推薦系統(tǒng)往往不是一蹴而就的,中間會(huì)有很多失敗的因素。我認(rèn)為常見(jiàn)的失敗原因主要分為三個(gè)方向:數(shù)據(jù)質(zhì)量、太過(guò)魯莽、不理解用戶。

很多公司讓我?guī)兔ε袛嗍欠襁m合做推薦時(shí),往往發(fā)現(xiàn)公司在數(shù)據(jù)層面上沒(méi)有什么積累。比如有些企業(yè)完全沒(méi)有統(tǒng)一的地方存儲(chǔ)用戶信息,可能分散在不同系統(tǒng)、不同部門。這導(dǎo)致做推薦建模時(shí),完全不知道數(shù)據(jù)在哪找。還有些企業(yè)用戶的行為信息保存太少,基本上只有一些關(guān)鍵交易信息保留,但整個(gè)交易的前置環(huán)節(jié),比如用戶在首頁(yè)搜索哪些關(guān)鍵詞?在一個(gè)頁(yè)面詳情頁(yè)上反復(fù)瀏覽了幾次?是否添加購(gòu)物車?是否使用優(yōu)惠券?類似這些信息全部沒(méi)有保存。雖然推薦系統(tǒng)中的某些關(guān)鍵行為非常重要,但是大部分的推薦系統(tǒng)中的關(guān)鍵行為極少。

對(duì)于推薦系統(tǒng)來(lái)說(shuō),數(shù)據(jù)越多越好。很多公司,你會(huì)發(fā)現(xiàn)其用戶行為數(shù)據(jù)收集的相當(dāng)少。除此之外,當(dāng)我?guī)退麄儼褦?shù)據(jù)找全了想合到一起來(lái)使用,卻發(fā)現(xiàn)合不到一起。比如,公司的瀏覽數(shù)據(jù)沒(méi)有記錄 UID,直接只記錄了網(wǎng)站上的 cookie,因此只能用 cookie 來(lái)判定用戶訂單,但訂單后臺(tái)直接記錄了用戶的 UID 或訂單號(hào),多個(gè)數(shù)據(jù)源之間沒(méi)有統(tǒng)一的 ID 識(shí)別機(jī)制,企業(yè)無(wú)法把用戶的行為數(shù)據(jù)、業(yè)務(wù)數(shù)據(jù)連通。 這些主要是數(shù)據(jù)質(zhì)量導(dǎo)致推薦系統(tǒng)失敗的原因,缺少一個(gè)好的數(shù)據(jù)基礎(chǔ)打地基。

過(guò)于魯莽和不理解用戶也是企業(yè)會(huì)常犯的錯(cuò)誤,這些會(huì)在下面的秘籍中體現(xiàn)。

秘籍 1 :明確推薦場(chǎng)景

當(dāng)大家做推薦系統(tǒng)時(shí),一定要想明白推薦的場(chǎng)景是什么?頭條因個(gè)性化推薦而爆火,很多人一想到推薦可能就是信息流,這就是過(guò)于魯莽的判定,但其實(shí)推薦場(chǎng)景有很多,比如信息流、猜你喜歡、關(guān)聯(lián)推薦以及針對(duì)不同的用戶推薦不同的產(chǎn)品界面等。

舉個(gè)例子,現(xiàn)在同樣的一個(gè)產(chǎn)品,可能 Web 端、移動(dòng)端都有入口,甚至還存在車載設(shè)備的入口等。那么,同樣的產(chǎn)品功能,在這三個(gè)場(chǎng)景下給用戶推薦肯定應(yīng)該有所不同,而且往往是當(dāng)產(chǎn)品、運(yùn)營(yíng)認(rèn)知到了這種區(qū)別之后,反饋到算法部門,讓他們進(jìn)行調(diào)整最終得到某些效果進(jìn)行對(duì)比,不難發(fā)現(xiàn)對(duì)于這點(diǎn),認(rèn)知的經(jīng)驗(yàn)效果遠(yuǎn)比調(diào)節(jié)算法的細(xì)節(jié)來(lái)得更加有用。

另一個(gè)典型的例子是用戶在售前、售中、售后的不同場(chǎng)景,針對(duì)其整個(gè)作用的方向不一樣。

比如,企業(yè)做商品推薦,在售前應(yīng)該推薦什么商品,能把用戶的興趣激發(fā)出來(lái)?售中有什么策略能促進(jìn)用戶盡快下單?售后又該怎么做?如果用戶剛剛買了一個(gè)電視機(jī),又被推薦買另外一個(gè)電視機(jī),就是一個(gè)典型的糟糕的推薦場(chǎng)景。事實(shí)上,用戶處在不同周期,推薦算法要解決的問(wèn)題是不一樣的,推薦邏輯也隨之不同,所以推薦算法要根據(jù)用戶在你產(chǎn)品的生命周期進(jìn)行不同的設(shè)計(jì)。

秘籍 2:明確目標(biāo)

這一點(diǎn)指的是推薦系統(tǒng)能解決的問(wèn)題,個(gè)人認(rèn)為,可以分為從眾、興趣、發(fā)現(xiàn)三個(gè)方向。

  • 解決從眾的需求

很多人認(rèn)為“從眾”是貶義詞,事實(shí)上,我們大部分人從生理和心理上都有從眾的需求,因?yàn)閺谋娛侨俗非蟀踩械囊粋€(gè)體現(xiàn),所以推薦系統(tǒng)首先解決從眾需求。比如,讓產(chǎn)品的推薦能告訴用戶在這個(gè)社區(qū)里面現(xiàn)在最流行什么,來(lái)幫助其跟隨潮流,從而獲得歸屬感和安全感,這個(gè)需求通常是穩(wěn)定的,而且非常重要。

  • 解決興趣的需求

簡(jiǎn)單來(lái)說(shuō),這個(gè)平臺(tái)上有很多內(nèi)容,但時(shí)間、精力有限,用戶只想看與自己興趣相關(guān)的。

  • 解決發(fā)現(xiàn)的需求

如果產(chǎn)品上的內(nèi)容我看的差不多了,有沒(méi)有點(diǎn)新鮮的內(nèi)容,這就是發(fā)現(xiàn)的需求。比如,我是一個(gè)愛(ài)好做模型的人,但該網(wǎng)站上關(guān)于模型的內(nèi)容已經(jīng)看的差不多了,網(wǎng)站給我推薦了一些我可能感興趣,但不是模型相關(guān)的內(nèi)容來(lái)解決我發(fā)現(xiàn)的需求。

以上就是推薦系統(tǒng)解決的三方面需求目標(biāo),不同的目標(biāo)與之相關(guān)的要求也不一樣。

對(duì)于從眾的需求來(lái)說(shuō),企業(yè)希望用戶的滿意度非常高。當(dāng)你推薦的流行內(nèi)容如果被用戶發(fā)現(xiàn)不是最近流行的,用戶的滿意度就會(huì)很低。然而,對(duì)于發(fā)現(xiàn)的需求來(lái)說(shuō),企業(yè)對(duì)滿意度要求就沒(méi)有那么高,用戶自己的預(yù)期也不會(huì)那么高,所以有時(shí)候?qū)τ诎l(fā)現(xiàn)的需求,企業(yè)為用戶推薦錯(cuò)一個(gè)或者推薦一個(gè)沒(méi)那么滿意的東西,用戶很可能會(huì)認(rèn)為機(jī)器猜錯(cuò)了很正常,不會(huì)介意。就推薦準(zhǔn)確率而言,從眾一般準(zhǔn)確率較低,因?yàn)橛脩舨粫?huì)對(duì)所有流行的內(nèi)容都會(huì)仔細(xì)查看,但是,興趣的準(zhǔn)確率就要求很高。對(duì)于覆蓋率,從眾因?yàn)槭怯险麄€(gè)社區(qū)的潮流需求,覆蓋率肯定是低的。而興趣因?yàn)獒槍?duì)不同的人來(lái)覆蓋不同的興趣,覆蓋的會(huì)越來(lái)越多。發(fā)現(xiàn)往往能使產(chǎn)品中很多可能冷門的庫(kù)存內(nèi)容重新得到展示。以此類推,多樣性、新穎性、驚喜度也是類似。

因此,如果你的企業(yè)使用推薦系統(tǒng),從這個(gè)三個(gè)方向,最后的考核指標(biāo)完全不一樣。舉個(gè)例子,我們經(jīng)常聽(tīng)到產(chǎn)品現(xiàn)在的目標(biāo)是提高用戶收聽(tīng)時(shí)長(zhǎng),但逐漸會(huì)發(fā)現(xiàn)產(chǎn)品處于不同階段,推薦的目標(biāo)是完全不一樣的,就個(gè)人經(jīng)驗(yàn)總結(jié),一個(gè)正常產(chǎn)品的發(fā)展軌跡往往如下圖。

推薦系統(tǒng)一般最開(kāi)始都是為了解決從眾的需求,也就是如何把社區(qū)中流行、熱門的內(nèi)容盡可能地通過(guò)推薦系統(tǒng)篩選出來(lái),讓更多的人來(lái)看。然后慢慢地用戶增加,產(chǎn)品內(nèi)容越來(lái)越豐富,便需要做更精細(xì)化的運(yùn)營(yíng),這個(gè)階段更注重推薦系統(tǒng)解決單個(gè)群體或單個(gè)用戶的興趣需求。最后,產(chǎn)品在后期逐漸穩(wěn)定時(shí)便要著手于發(fā)現(xiàn)。

舉個(gè)例子,機(jī)核網(wǎng)是神策數(shù)據(jù)的一個(gè)客戶,一個(gè)專注游戲文化的媒體網(wǎng)站,我是其忠實(shí)用戶,第一次接觸時(shí),我被網(wǎng)站上的深度文章所吸引,我花了大概半年多的時(shí)間,把歷史文章、電臺(tái)、視頻內(nèi)容都看了一遍,這個(gè)時(shí)候作為一個(gè)老用戶,已經(jīng)把我興趣范圍之內(nèi)的東西探索的差不多了,產(chǎn)品提供的價(jià)值受到了限制,這個(gè)時(shí)候企業(yè)便需要使用推薦系統(tǒng)去解決和發(fā)現(xiàn)一些需求,如何讓這一批老用戶能夠在產(chǎn)品中找到一些新東西,激發(fā)新的需求變得非常重要。所以,往往做推薦系統(tǒng)會(huì)分為幾個(gè)階段。

秘籍 3:大膽拍腦袋

在工作中,很多時(shí)候不可避免的需要拍腦袋。下圖是 Facebook 的首席產(chǎn)品官 Chris Cox 說(shuō)的一句話。

大概意思是,在最開(kāi)始,News feedranking 是 Facebook 最核心的時(shí)間流,他們像扳開(kāi)關(guān)一樣,有時(shí)認(rèn)為圖片的權(quán)重不夠高,就把圖片權(quán)重調(diào)高一點(diǎn),然后把故事權(quán)重調(diào)低一點(diǎn)。比如可能一個(gè)圖片值五分,如果一個(gè)用戶加入某個(gè)小組只值一分。事實(shí)上,給這些行為打 5 分與 1 分沒(méi)有特別科學(xué)的說(shuō)法,但是,剛開(kāi)始一定要大膽的拍腦袋,而不是大家都停在一個(gè)點(diǎn),什么都不做。

有時(shí)候做推薦系統(tǒng),關(guān)于某些關(guān)鍵行為的權(quán)重該如何設(shè)置的問(wèn)題,如果產(chǎn)品運(yùn)營(yíng)完全不參與,把這個(gè)問(wèn)題推給技術(shù),技術(shù)有時(shí)候?qū)I(yè)務(wù)的理解沒(méi)有那么深,他可能傾向于用一個(gè)很復(fù)雜的算法來(lái)算權(quán)重。

當(dāng)然,最好的方式更多還是需要產(chǎn)品給技術(shù)更多的輸入。如果產(chǎn)品告訴技術(shù),在產(chǎn)品里面用戶很喜歡圖片,可以先把圖片權(quán)重調(diào)高一點(diǎn),把故事權(quán)重調(diào)低一點(diǎn),技術(shù)按照這個(gè)規(guī)則先嘗試一下,事實(shí)上,在推薦系統(tǒng)整個(gè)開(kāi)發(fā)迭代過(guò)程中經(jīng)常會(huì)反復(fù)的調(diào)高調(diào)低權(quán)重,并且在這個(gè)實(shí)踐應(yīng)用過(guò)程中也會(huì)發(fā)現(xiàn)其中的優(yōu)劣勢(shì)。

再舉個(gè)例子,之前我在 A 站早期帶 A 站的時(shí)候,因?yàn)楫?dāng)時(shí)還較小,養(yǎng)不起一個(gè)算法團(tuán)隊(duì),所以我們買了市面上的一些黑盒推薦服務(wù),企業(yè)只需要提供數(shù)據(jù),服務(wù)商就可以把推薦結(jié)果給你,最終發(fā)現(xiàn)效果特別差,而且你想做相關(guān)的調(diào)整把某個(gè)受歡迎的頻道權(quán)重調(diào)高一點(diǎn),但因?yàn)槭羌兒诤型扑],企業(yè)自身根本無(wú)法直接調(diào)整,或企業(yè)給服務(wù)商提需求,可能需要等幾個(gè)月才能拿到結(jié)果,那么推薦的最終效果就很難保證。所以即使市面上有很多黑盒推薦,接入成本也比較低,但企業(yè)會(huì)發(fā)現(xiàn)推薦系統(tǒng)不是一個(gè)接入一次就完成的事情,推薦系統(tǒng)需要在這個(gè)過(guò)程中不斷地去調(diào)整,不斷地根據(jù)業(yè)務(wù)去反饋。

因此,企業(yè)在拍腦袋的時(shí)候,需要產(chǎn)品和運(yùn)營(yíng)定義到底哪些「用戶行為」更重要、或者意味著什么,這是靠機(jī)器無(wú)法做的。比如,用戶看一篇文章滾動(dòng)到底部,機(jī)器并不會(huì)認(rèn)為這有什么價(jià)值,但我們會(huì)認(rèn)為該用戶對(duì)這篇文章真的感興趣。也就是一個(gè)無(wú)用的信息,加入了人工的判斷認(rèn)知之后,就可能變成在整個(gè)推薦系統(tǒng)里很關(guān)鍵的信號(hào)。這個(gè)系統(tǒng)里還有很多這種類似的行為需要人為的給這些行為打上一個(gè)標(biāo)記,判定為喜歡或不喜歡的信號(hào),這種信號(hào)極其重要,不是大家想象的推薦是根據(jù)一些很明確的行為定義的,很多用戶的喜歡和不喜歡判斷都不是用戶主動(dòng)表達(dá)出來(lái)的,都是依靠產(chǎn)品、運(yùn)營(yíng)、技術(shù)一起研究業(yè)務(wù)、用戶流程推斷出來(lái)的。

那么行為如何彰顯喜歡程度或者討厭程度呢?舉個(gè)例子,對(duì)于電商產(chǎn)品,通常會(huì)認(rèn)為一個(gè)用戶對(duì)于商品的興趣表達(dá)公式是:購(gòu)買遠(yuǎn)大于收藏,收藏大于瀏覽。在做推薦系統(tǒng)時(shí),這些權(quán)重就需要考慮進(jìn)去。

秘籍 4:反復(fù)檢閱推薦結(jié)果

企業(yè)不是只要推薦系統(tǒng)上線就可以了,還需要反復(fù)檢閱推薦結(jié)果。一般檢閱分兩種:離線和在線。

第一個(gè)是在線的檢閱。在線檢閱的核心是企業(yè)要理解用戶的行為模式,產(chǎn)品要像用戶一樣去用自身的產(chǎn)品以及推薦模塊,設(shè)身處地感受一下現(xiàn)在推薦的內(nèi)容是否是自己想要的,如果推薦的內(nèi)容不是想看的,就需要和運(yùn)營(yíng)、技術(shù)溝通,為什么這次推薦的是一個(gè)我不想看的內(nèi)容,就是你要把推薦放到一個(gè)實(shí)際的場(chǎng)景里,真正地自己去體會(huì)去理解用戶的行為。

第二個(gè)是離線的檢閱。過(guò)去做產(chǎn)品時(shí),我們有時(shí)候會(huì)仔細(xì)分析給用戶推薦的歷史結(jié)果中是否存在一些很明顯的 Bad case,這也是企業(yè)改善推薦質(zhì)量很常見(jiàn)的一種方式。

豆瓣電臺(tái)過(guò)去做中文英文曲庫(kù)分割就是一個(gè)典型例子,當(dāng)時(shí)豆瓣的收聽(tīng)率一直無(wú)法上升,最后豆瓣員工進(jìn)入用戶狀態(tài),換位思考發(fā)現(xiàn)有些人喜歡聽(tīng)中文歌,完全不喜歡英文歌,而還有些人喜歡聽(tīng)英文歌,卻反感中文歌。從推薦角度思考,只需要做一個(gè)簡(jiǎn)單的事,把中文跟英文的曲風(fēng)直接區(qū)隔開(kāi),區(qū)隔開(kāi)后豆瓣的推薦準(zhǔn)確率瞬間提升。

另外一個(gè)例子是,有一次我們做商品推薦遇到了瓶頸,我們采取了一個(gè)方法,在每次推薦批次的商品中加入幾個(gè) 10 元包郵或 20 元包郵的商品,最后整個(gè)點(diǎn)擊率、轉(zhuǎn)化率都提升了,這并不是科學(xué)的方法,但當(dāng)企業(yè)做一些在線的體驗(yàn)優(yōu)化或是離線的?Bad case?校驗(yàn)時(shí),你會(huì)發(fā)現(xiàn)一些粗暴的解決方法,但是這些對(duì)于整體的效果提升很有效。

秘籍 5:多學(xué)習(xí)一些算法知識(shí)

非技術(shù)出身的產(chǎn)品、運(yùn)營(yíng),如果真的想把推薦業(yè)務(wù)做好,建議學(xué)一些算法知識(shí),至少簡(jiǎn)單知道每一個(gè)算法的基本優(yōu)劣勢(shì),這樣才能為你的優(yōu)化方向提供目標(biāo)和思路,溝通更順暢,更容易碰撞出火花。

比如,當(dāng)做協(xié)同過(guò)濾的推薦系統(tǒng)時(shí),當(dāng)企業(yè)有 6000 萬(wàn)的歷史用戶,平均每個(gè)人喜歡十個(gè)商品,但是只能推薦 1000 萬(wàn)個(gè)商品。對(duì)于沒(méi)有做過(guò)推薦系統(tǒng)的大部分人,對(duì)其背后的的工程難度是無(wú)法想象的,但是你需要配合工程師去理解,如果你不理解工程難度在哪,就提不出比較好的建議。

比如產(chǎn)品、運(yùn)營(yíng)需要知道,過(guò)熱、過(guò)冷、太 low 是一些很常見(jiàn)的?Bad case。過(guò)熱指的是推薦的永遠(yuǎn)是很重要的內(nèi)容;過(guò)冷就是總推薦一些最冷門的內(nèi)容,導(dǎo)致用戶點(diǎn)擊率低;太 low,也是很常見(jiàn)的,內(nèi)容質(zhì)量低,用戶不喜歡。這也是我認(rèn)為有時(shí)候產(chǎn)品運(yùn)營(yíng)參與推進(jìn)業(yè)務(wù)可以幫助技術(shù)解決的一個(gè)特別好的點(diǎn)。在我做產(chǎn)品時(shí),一旦發(fā)現(xiàn)有?Bad case,就直接干掉,在這過(guò)程中不僅優(yōu)化了整個(gè)推薦的質(zhì)量,還通過(guò)不斷地干掉這個(gè)動(dòng)作本身發(fā)現(xiàn)一些問(wèn)題和規(guī)律。

再分享一個(gè)經(jīng)典問(wèn)題——如何做冷啟動(dòng)?現(xiàn)在已經(jīng)集中在幾個(gè)大概的方向:1.主動(dòng)收集,讓用戶去選一些感興趣的一些方向,如豆瓣注冊(cè)后讓你選擇感興趣的類目;2.被動(dòng)收集,如在淘寶網(wǎng)頁(yè)收集用戶的一些點(diǎn)擊、瀏覽等行為數(shù)據(jù)。

七、推薦系統(tǒng)的未來(lái)走向

下面簡(jiǎn)單聊聊我對(duì)推薦系統(tǒng)的未來(lái)走向的想法。事實(shí)上,現(xiàn)在的一些企業(yè)的推薦系統(tǒng),大部分算法都是混合發(fā)揮作用的,也就是復(fù)合算法。企業(yè)還可以在復(fù)合算法基礎(chǔ)上加入競(jìng)爭(zhēng)機(jī)制,如在同樣一個(gè)推薦場(chǎng)景,多個(gè)窗口同時(shí)運(yùn)作,這些窗口之間存在相互競(jìng)爭(zhēng),最后判定在同一個(gè)場(chǎng)景下,到底哪個(gè)算法、推薦機(jī)制更有效果。又或者企業(yè)直接使用機(jī)器學(xué)習(xí),機(jī)器學(xué)習(xí)會(huì)自主做一些 utem、 item 的建模,甚至是算法之間的競(jìng)爭(zhēng)關(guān)系。

事實(shí)上,相比我在 2008 年剛?cè)胄械臅r(shí),現(xiàn)在的推薦系統(tǒng)已經(jīng)非常復(fù)雜,我認(rèn)為之后這些會(huì)更復(fù)雜、越來(lái)越抽象,如今任何一個(gè)公司想自己從 0 開(kāi)始做推薦系統(tǒng)都會(huì)非常困難。但是不管基于我過(guò)去的產(chǎn)品經(jīng)驗(yàn),還是現(xiàn)在在神策數(shù)據(jù)的經(jīng)驗(yàn),總結(jié)發(fā)現(xiàn)其實(shí)構(gòu)建推薦系統(tǒng)的價(jià)值觀、企業(yè)對(duì)于自己公司業(yè)務(wù)的理解,在整個(gè)推薦的搭建過(guò)程當(dāng)中起著至關(guān)重要的作用。

以上就是我的全部分享,希望對(duì)你有幫助!

不容錯(cuò)過(guò)的精彩內(nèi)容


  • 深入淺出理解神經(jīng)網(wǎng)絡(luò)召回模型的優(yōu)勢(shì)

  • 媽媽幫×神策智能推薦,打造人性化智趣母嬰服務(wù)

  • 個(gè)性化推薦之召回的方法

  • 重磅!一文解讀神策智能推薦

收藏??公眾號(hào),及時(shí)獲取精彩內(nèi)容

↙↙↙點(diǎn)擊“閱讀原文”,立即 免費(fèi)體驗(yàn) 產(chǎn)品

戳此,告訴我,你在看?

總結(jié)

以上是生活随笔為你收集整理的神策数据 VP 张涛:个性化推荐从入门到精通(附推荐产品经理修炼秘籍)的全部?jī)?nèi)容,希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò),歡迎將生活随笔推薦給好友。

在线视频18在线视频4k | 国产亚洲成av人片在线观看桃 | 国产h片在线观看 | 九九久久国产 | 久久在线播放 | 婷婷国产一区二区三区 | 天天爱天天 | 欧美精品久久久久久久久免 | 狠狠躁日日躁狂躁夜夜躁 | 日韩三级不卡 | 国产va饥渴难耐女保洁员在线观看 | 99精品国产在热久久下载 | 婷婷在线看 | 久久精品黄 | 夜夜婷婷 | 亚洲国产精品久久 | 国产精彩在线视频 | 国产精品不卡在线观看 | 国内小视频 | 视频三区在线 | 国产区av在线 | 亚洲色图激情文学 | 国产在线资源 | 超碰成人免费电影 | 成人av网站在线播放 | 久草网在线观看 | 超碰在线个人 | 亚洲精品一区二区在线观看 | 在线视频区 | 视色网站 | 2020天天干夜夜爽 | 97国产精品 | 6699私人影院 | 91色国产| 亚洲婷婷在线视频 | 日韩三级在线 | 午夜美女wwww| 四虎成人精品 | 国产剧情一区二区在线观看 | 久久精品香蕉视频 | www蜜桃视频 | 黄色在线免费观看网址 | 狠狠ri| 久久久精品国产一区二区电影四季 | 激情片av| 久久久久亚洲精品成人网小说 | 天天综合在线观看 | 欧美一级电影在线观看 | 成片免费 | 五月婷婷色 | 六月丁香在线视频 | 久久精品中文字幕少妇 | 91av视频免费在线观看 | 久久综合之合合综合久久 | 五月婷婷综合久久 | 欧美成人播放 | 成人91在线 | 欧美成人在线网站 | 午夜国产福利在线观看 | 亚洲精品久久久蜜臀下载官网 | 久久五月婷婷丁香社区 | 天天操天天射天天 | 999久久久| 人成免费网站 | 日韩网站在线观看 | 久久久久影视 | 午夜精品一二三区 | 超碰97公开 | 欧美成人aa | 粉嫩高清一区二区三区 | 日韩免费看视频 | 激情五月婷婷网 | 国产成人精品一区二区三区免费 | 激情网婷婷| 国产一级免费在线 | 天天弄天天干 | 午夜精品久久久久久 | 男女啪啪免费网站 | 成年人免费在线播放 | 久久av中文字幕片 | 国产精品久久久999 国产91九色视频 | 欧美日韩精品免费观看 | 日韩在线观看电影 | 亚洲综合五月 | 成片免费观看视频999 | 久久成人国产精品入口 | 国产伦精品一区二区三区高清 | 亚洲精品在线一区二区三区 | 色噜噜噜| 深爱激情久久 | 国产一级久久 | 麻豆成人精品 | 五月开心激情 | 九九有精品| 黄色在线网站噜噜噜 | 91精品在线免费视频 | 久草在线综合 | 亚洲高清视频在线 | 久草精品视频在线看网站免费 | 婷婷激情综合五月天 | 中文字幕影片免费在线观看 | 人交video另类hd | 99在线热播 | 中文字幕色在线视频 | 色综合久久久网 | 美女视频永久黄网站免费观看国产 | 免费在线观看成人小视频 | 久久成人一区二区 | 91精品国产高清自在线观看 | 久久高清免费观看 | 99在线高清视频在线播放 | 欧美一级性生活片 | 国产日产高清dvd碟片 | 色婷婷综合在线 | 欧美久久久影院 | 四虎在线视频 | 日日干日日 | 国产精品一区二区白浆 | 亚洲国产偷 | 亚洲精品91天天久久人人 | 久久99视频精品 | 久久系列 | 国产玖玖精品视频 | 日韩久久久 | 2000xxx影视 | 手机av看片| 99热这里只有精品国产首页 | 欧美午夜理伦三级在线观看 | 成 人 黄 色视频免费播放 | 日韩中文字幕免费视频 | 狠狠操在线 | 97超碰在线久草超碰在线观看 | 久久成人高清 | 一区二区丝袜 | 91在线视频免费 | 日日碰狠狠躁久久躁综合网 | 欧美网址在线观看 | 国产美女精品人人做人人爽 | 亚洲激情婷婷 | 日本系列中文字幕 | 日韩在线视频不卡 | av中文在线观看 | 亚洲黄色三级 | 亚洲欧美婷婷六月色综合 | 国产一区二区三区久久久 | 国产综合福利在线 | 成人app在线播放 | 日韩在线视频播放 | 亚洲综合在线观看视频 | 一色屋精品视频在线观看 | 91精品国产92久久久久 | 99精品影视 | 久久精品精品电影网 | 亚洲激情视频在线观看 | 国产成人一区二区三区影院在线 | 在线观看黄 | 欧美日韩在线观看不卡 | 黄色片亚洲 | 成人一级| 久久精品精品电影网 | 毛片基地黄久久久久久天堂 | 国产在线观看你懂得 | 日韩精品一区二区三区第95 | 日韩性xxxx | 欧美日韩亚洲第一 | 天天摸夜夜添 | 国产精品99久久久久久久久 | 97av在线视频免费播放 | 久久综合九色综合欧美狠狠 | 玖玖国产精品视频 | 啪啪动态视频 | 中日韩免费视频 | 高清视频一区 | 激情电影影院 | 欧美日韩3p | 色综合久久中文字幕综合网 | 特黄免费av | 久久伊人爱 | 午夜精品电影一区二区在线 | 成人精品一区二区三区中文字幕 | 91伊人久久大香线蕉蜜芽人口 | 色婷婷五| 国产午夜在线观看视频 | 国产a级精品| www天天操 | 国产日韩精品一区二区在线观看播放 | 国产黄色片在线免费观看 | 狠狠色丁香婷婷综合久小说久 | 在线看欧美 | 日本精品视频在线观看 | av在线观 | 激情深爱五月 | a黄色片在线观看 | 青青河边草免费观看完整版高清 | 亚洲综合在线观看视频 | 中文字幕色综合网 | 国产一区二区三区视频在线 | 国产一区二区视频在线播放 | 色噜噜日韩精品欧美一区二区 | 蜜桃视频在线视频 | 综合色综合| 亚洲在线视频播放 | 色综合天天在线 | 精品久久久久久一区二区里番 | 久久天天拍 | av爱干| 超碰免费97 | 天天拍夜夜拍 | www.狠狠插.com | 久久涩视频| 亚洲激情视频在线 | 丁香五月亚洲综合在线 | 成 人 黄 色 视频 免费观看 | 国产视频1| 欧美一区二区三区免费看 | 国产精品资源网 | 国产成人久久 | 色综合久久久久综合体桃花网 | 亚洲欧洲一级 | 深爱激情五月婷婷 | 久久久久久久综合色一本 | 99精品免费视频 | 玖玖在线播放 | 久久久国产视频 | 久久久免费观看完整版 | 久久久久 免费视频 | 91免费版在线观看 | 中文字幕免费在线 | 国产高清日韩欧美 | 91在线视频在线观看 | 久久国产福利 | 日韩精品视频免费 | 99婷婷狠狠成为人免费视频 | 日韩高清一区在线 | 精品一区二区三区四区在线 | 国产福利精品视频 | 国产精品亚洲片在线播放 | 亚洲视频中文 | 国产美腿白丝袜足在线av | 91亚洲夫妻| 色黄久久久久久 | 毛片网在线播放 | 香蕉网在线播放 | 日韩在线观看三区 | 97超碰精品 | 在线观看视频福利 | 日韩免费看 | 国产成人av电影 | 日韩欧美xxxx| 五月婷婷色播 | 午夜视频亚洲 | 91完整版观看 | 天天干,天天操,天天射 | 青青网视频 | 国产区在线看 | 99热这里只有精品免费 | 天天射天天干天天 | 一区二区三区影院 | 国产色女 | 日韩一区二区在线免费观看 | 欧美成人tv | 黄网站免费大全入口 | av短片在线观看 | 日韩在线观看电影 | 最新不卡av| 91色欧美| 国产精品不卡在线 | 制服丝袜一区二区 | 精品国模一区二区三区 | 美女视频黄是免费的 | 成人av影视观看 | 中文字幕视频播放 | 五月天网页 | av五月婷婷| 91亚洲精品久久久久图片蜜桃 | 91麻豆精品国产91久久久久久 | 81国产精品久久久久久久久久 | 久久人操 | 婷婷亚洲激情 | 成人午夜影视 | 免费av试看 | 欧洲高潮三级做爰 | 欧美狠狠色 | 91一区二区三区久久久久国产乱 | 激情综合狠狠 | 久久观看| 一区二区三区观看 | 国产一级片免费视频 | 久久久亚洲影院 | 久久精品3 | 九草在线观看 | 精品国产aⅴ麻豆 | 91精品久久久久久久久久入口 | 免费在线播放视频 | 成人在线观看免费视频 | 精品一区在线看 | 六月丁香久久 | 亚洲精品久久激情国产片 | 婷婷视频在线 | 色一级片 | 欧美黄色免费 | 91黄色影视 | 91av视频免费在线观看 | 成人免费观看在线视频 | 国产二区精品 | 久久99亚洲精品久久久久 | 久久久精品免费观看 | 国产三级午夜理伦三级 | 国产午夜精品av一区二区 | 国产精品igao视频网网址 | 欧美日产在线观看 | 一本之道乱码区 | 国产欧美最新羞羞视频在线观看 | 久久伊人八月婷婷综合激情 | 久久国产视频网站 | 国产精品日韩欧美 | 91视频首页 | 免费瑟瑟网站 | .精品久久久麻豆国产精品 亚洲va欧美 | av大片网站 | av在线之家电影网站 | 国产精品成人a免费观看 | 国产精品成人aaaaa网站 | 久久社区视频 | 国产精品亚洲综合久久 | 国产精品久久久免费看 | 丁香五月亚洲综合在线 | 中文字幕乱偷在线 | 视频在线播放国产 | 日韩一级电影在线观看 | 亚洲乱码一区 | 黄色三级网站 | 免费看在线看www777 | 2024国产精品视频 | 亚洲精品av中文字幕在线在线 | 中文字幕在线观看完整版 | 人人插人人插 | 2022久久国产露脸精品国产 | 国产短视频在线播放 | 久草视频国产 | 久草免费资源 | 免费观看午夜视频 | 中文字幕久久精品一区 | 婷婷色网视频在线播放 | 国产视频精品久久 | 精品产品国产在线不卡 | 中文字幕在线一区观看 | 久久99偷拍视频 | 激情视频区 | 成人资源在线 | 久久精品一区二区三区国产主播 | 91亚洲在线观看 | 久久不见久久见免费影院 | 在线免费观看羞羞视频 | 2021国产在线 | 欧美日韩在线网站 | 午夜色站 | 在线看毛片网站 | 视频在线精品 | 欧美激情综合五月色丁香小说 | 一区二区激情 | 在线激情小视频 | 国产精品永久免费观看 | 又黄又爽又湿又无遮挡的在线视频 | 免费av网址在线观看 | 伊人首页 | 日韩有码网站 | 亚洲粉嫩av | 免费看网站在线 | 青草视频在线免费 | 久久成人精品视频 | 182午夜在线观看 | 9免费视频 | 国产一级二级在线观看 | 日韩专区中文字幕 | 日韩精品久久久免费观看夜色 | 中文字幕在线视频免费播放 | 免费看久久 | 日韩有码在线观看视频 | 久黄色| 国产一区二区三区在线免费观看 | 操一草| 亚洲国产经典视频 | 999抗病毒口服液 | 成人小视频在线 | 亚洲精品国产精品国自产 | 日韩av一区二区三区四区 | 一级做a视频| 免费在线观看av的网站 | 四虎影视成人精品 | 日韩在线精品 | 亚洲精品中文字幕在线观看 | 日韩精品一区二区在线观看 | 国产黄在线观看 | 日韩电影中文字幕在线 | 精品在线观看免费 | 99精品视频在线观看免费 | 日日夜夜中文字幕 | 免费亚洲精品视频 | 日本黄色免费看 | 婷婷在线网站 | 在线小视频你懂的 | 国产精品免费视频久久久 | 69久久久 | 超级碰碰免费视频 | 国产美女在线观看 | 久久久久久久久久久国产精品 | 国产精品久久久av | 日日夜夜天天综合 | 久久久国产精品麻豆 | 麻豆传媒视频观看 | 久久精品官网 | 日韩精品资源 | 欧美91精品国产自产 | 99视频免费观看 | 91av官网 | 五月天色中色 | av超碰在线 | 国内少妇自拍视频一区 | 欧美天天干 | 最近中文字幕完整高清 | 国产小视频免费在线观看 | 中文字幕 91 | 欧美亚洲成人免费 | 亚洲国产理论片 | av片中文 | 韩国av一区二区三区 | 99久久婷婷国产一区二区三区 | 中文字幕视频观看 | 国产精品国产三级国产 | 天天操 夜夜操 | 亚洲爱爱视频 | 国产成人精品国内自产拍免费看 | 九色精品免费永久在线 | 国内精品福利视频 | 国产手机视频在线播放 | 天天爱天天射天天干天天 | 在线日韩视频 | 亚洲高清av在线 | 久久免费久久 | 久久超碰在线 | 久久超碰网 | 国产精品99久久久久久有的能看 | 久久久精品 一区二区三区 国产99视频在线观看 | 久久老司机精品视频 | 亚洲人成在线电影 | 婷婷电影在线观看 | 日韩有码第一页 | 精品一区二区三区久久久 | 国产日韩欧美视频 | 国产欧美精品一区二区三区 | 永久免费精品视频 | 99在线高清视频在线播放 | 欧美狠狠色 | 美女黄频网站 | 国产成本人视频在线观看 | 国产又粗又硬又爽的视频 | 国产一区视频在线观看免费 | 欧美亚洲久久 | 手机看国产毛片 | 天天爽天天搞 | 精品一区二区在线观看 | 国产视频在线一区二区 | 久久a v电影| 在线观看日本高清mv视频 | 亚洲欧美激情插 | 日本精品一区二区三区在线观看 | 91人人爽人人爽人人精88v | 成人av网站在线播放 | 精品1区二区 | 色综合久久中文字幕综合网 | 日韩欧美视频在线观看免费 | 国产精品com | 黄色亚洲 | 国产精品地址 | 日韩欧美在线影院 | 美女免费视频一区 | 最近中文字幕免费视频 | 国产午夜麻豆影院在线观看 | 午夜精品影院 | 亚洲www天堂com| 九九在线免费视频 | 国内免费久久久久久久久久久 | 国产成人亚洲在线观看 | 成人av在线网址 | www色综合 | 岛国av在线 | 欧美韩国在线 | 97av色| 免费久久精品视频 | 国产精品99久久久久的智能播放 | 久草综合视频 | 91精品视频播放 | 成人网页在线免费观看 | 中文字幕日本在线 | 在线观看日本高清mv视频 | 久草视频在线免费 | 亚洲经典在线 | 欧美日韩国产在线 | 中文字幕国产一区 | 久久综合狠狠综合 | 国产小视频在线 | 欧美一级视频在线观看 | 欧洲在线免费视频 | 五月婷婷国产 | 国产美女在线精品免费观看 | 奇米影视四色8888 | 久久国产一区二区三区 | 五月婷婷久草 | 中文字幕在线观看视频一区二区三区 | 亚洲伊人色 | 国产精品麻豆三级一区视频 | 国产一区二区在线影院 | 国产亚洲精品久久久久久网站 | 久久久久国产精品免费网站 | 天天做天天爱天天综合网 | 国产精品一区二区三区免费看 | 欧美极品xxxx | 在线观看亚洲电影 | 亚洲精品国产电影 | 999国内精品永久免费视频 | 久久在线视频精品 | 黄色av三级在线 | 黄污污网站 | 深爱五月激情五月 | 免费观看视频黄 | 日韩性xxx| 日韩爱爱片 | 成年人在线免费看片 | 亚洲精品综合欧美二区变态 | 天天射综合网站 | 国产成人黄色av | 国语精品免费视频 | 国产又粗又硬又长又爽的视频 | 亚洲91精品 | 91视频 - 88av | 久久99久久99久久 | 99久久久国产精品免费99 | 黄色小网站在线观看 | 国产精品丝袜在线 | 成人性生交大片免费观看网站 | 亚洲欧美国产精品va在线观看 | 国产小视频你懂的在线 | 欧美在线观看视频一区二区三区 | 日本精品久久久久久 | 欧美亚洲三级 | 深爱激情五月婷婷 | 国产网站在线免费观看 | 国产日韩中文在线 | 欧美日韩一区二区三区在线观看视频 | 国产在线最新 | 人人操日日干 | 超碰在线观看av.com | 国产精品99蜜臀久久不卡二区 | 精品国产乱码久久久久久天美 | 免费在线| 国产在线2020 | 欧美日韩精品二区第二页 | 五月天婷亚洲天综合网精品偷 | 欧美性生活免费 | 国产91av视频在线观看 | 中文资源在线观看 | 久久国内视频 | 中文字幕亚洲欧美日韩2019 | 亚洲高清不卡av | 波多野结衣一区二区三区中文字幕 | 欧美国产大片 | 久久精品视频免费观看 | 天天射综合 | 欧美性护士 | 欧美a级成人淫片免费看 | 国产成人免费av电影 | 成人污视频在线观看 | 天天干夜夜干 | 在线国产专区 | 99免费视频 | 一级全黄毛片 | 欧美日韩精品影院 | 综合色天天 | 国产精品久久久久婷婷二区次 | 一区二区三区四区在线免费观看 | 97国产一区 | 国产 欧美 日韩 | h视频日本 | 天天干天天干天天干 | 久久se视频 | 97视频在线观看免费 | 亚州精品一二三区 | 一级电影免费在线观看 | 亚洲成人频道 | 久久精品精品电影网 | 欧美色图30p | 久久avav| 成人在线免费小视频 | 久久久免费播放 | 日韩二区三区在线观看 | av再线观看| 日韩色在线观看 | 日韩av中文在线 | 精品av在线播放 | 久久激情婷婷 | 激情九九 | 99久久99久久 | 成人午夜免费剧场 | 伊在线视频 | 国产精品久久久久高潮 | 日日操夜夜操狠狠操 | 亚洲精品麻豆 | 日本在线观看中文字幕无线观看 | 国色综合| 久久一区二区三区四区 | 黄色影院在线播放 | 九九视频免费观看视频精品 | 日韩资源在线播放 | 九色91福利| 国产精品久久久免费看 | 久久精品一区八戒影视 | 色91在线视频 | 成人小视频在线播放 | 亚洲成人精品av | 97久久久免费福利网址 | 黄色成人影院 | 在线观看激情av | 国产成人精品久久二区二区 | 国产又粗又猛又黄 | 国产永久免费高清在线观看视频 | 欧美黑人性猛交 | 国产一级二级三级视频 | 狠狠操91 | 96久久久| 高清精品在线 | 欧美男女爱爱视频 | 波多野结衣一区二区三区中文字幕 | 久久99影院| 中文字幕在线视频免费播放 | 免费av网址大全 | 97碰碰视频| 中文字幕亚洲情99在线 | 国产精品一区二区免费看 | 色婷婷97 | 久久国产精品免费看 | 亚洲欧美日韩国产 | 在线 国产 亚洲 欧美 | 久久精品99久久久久久2456 | 在线a亚洲视频播放在线观看 | 在线观看mv的中文字幕网站 | 中文字幕av网站 | 精品一区av| 国产精品a级 | 91精品少妇偷拍99 | 久久黄色免费 | 久久99久久99精品免费看小说 | 中文在线免费视频 | 黄色特一级片 | 在线观看国产日韩欧美 | 99久国产 | 日本一区二区高清不卡 | 精品国产一区二区在线 | 中文免费在线观看 | 精品国产伦一区二区三区观看体验 | 天天做天天爽 | 久久国产免费看 | 六月丁香久久 | 日韩理论片中文字幕 | 国产亚洲综合精品 | 欧美爽爽爽 | 婷婷开心久久网 | 伊人天天狠天天添日日拍 | 91精品一区二区三区蜜桃 | 国产一区二区不卡视频 | 在线观看视频你懂 | 99热9 | 成人免费视频播放 | 99久久99久久精品国产片 | 国产精品久久99综合免费观看尤物 | 91探花在线 | 天天干天天操天天射 | 亚洲成人av免费 | 精品国产视频在线观看 | 在线观看的av | 日韩在线短视频 | 91久久丝袜国产露脸动漫 | 久久精品视频中文字幕 | 亚洲欧洲日韩在线观看 | 成人在线免费视频观看 | 久久婷婷久久 | 最近最新mv字幕免费观看 | 亚洲精品99 | 久久中文网 | 亚洲综合欧美激情 | 亚洲国产wwwccc36天堂 | av网站地址 | 国产69熟 | 亚洲国产网站 | 久久在线视频精品 | 国内精品在线看 | 日韩免费电影一区二区三区 | 在线看片成人 | 国产成人精品国内自产拍免费看 | 91精品国产欧美一区二区 | 国产精品成人自产拍在线观看 | 国产精品九色 | 久久这里只有精品视频99 | 国产在线色视频 | 韩日三级在线 | 涩涩资源网 | 久久视频在线观看 | 久久国产影视 | 最新中文字幕在线播放 | 久久久久久久久久毛片 | 五月天久久久 | 蜜臀久久99精品久久久酒店新书 | 国产成人久久精品77777 | 久久99精品久久久久久秒播蜜臀 | 18做爰免费视频网站 | 日韩中文字幕视频在线 | av在线收看| 久久成人精品电影 | 国产一级精品在线观看 | 不卡中文字幕av | 国产激情电影综合在线看 | 欧美大片aaa | 国产精品久久久久婷婷 | 日韩免费在线观看 | 欧美成人在线网站 | 欧美日韩一区二区三区在线观看视频 | 色天堂在线视频 | 天天操天天添 | 91丨porny丨九色| 久久久久久久久久久久久久av | 天天夜操 | 中文一区二区三区在线观看 | 亚洲精品免费在线 | 最新色视频 | 亚洲作爱视频 | 最近日韩中文字幕中文 | 天天色视频 | 99热最新地址 | 日日操日日插 | 亚洲免费在线视频 | 99成人免费视频 | 亚洲午夜精品久久久久久久久 | 国产精品二区在线观看 | 亚洲爱爱视频 | 这里有精品在线视频 | 国产在线播放一区 | a一片一级 | 在线观看视频免费播放 | 国产九色在线播放九色 | 国产v欧美 | 人人艹视频 | 久久精品日产第一区二区三区乱码 | 欧美国产日韩一区 | 日韩中文字 | 国产精品久久三 | 日韩三级.com | 香蕉在线视频观看 | 91丨九色丨蝌蚪丰满 | 一本到视频在线观看 | 视频一区二区国产 | 狠狠色狠狠色合久久伊人 | av在线观| 久久亚洲精品电影 | 国产精品视频专区 | 在线视频 成人 | 国产精品久久久区三区天天噜 | www.激情五月.com | 国产精品美女网站 | 4438全国亚洲精品在线观看视频 | 天天干天天插 | 久久久久久久久久久久久久电影 | 精品在线视频观看 | 午夜视频在线观看一区二区三区 | 2021国产在线 | 丁香花在线视频观看免费 | 国产精品一区二区久久国产 | www.97视频| 在线免费成人 | 婷婷丁香激情网 | 国产精品乱码久久久 | 亚洲国产欧美在线看片xxoo | 亚洲精品乱码久久久一二三 | 国产免费av一区二区三区 | www.久久爱.cn | 91久久一区二区 | 性色xxxxhd | 色综合久久88色综合天天6 | 人人爽人人爽 | 97超视频在线观看 | 国产九九九九九 | 国产精品不卡 | 一区中文字幕电影 | 国产 欧美 在线 | 久久黄色免费视频 | 天天操天天色综合 | 亚洲春色综合另类校园电影 | 日韩一区二区免费视频 | 97超视频免费观看 | 久久99精品国产一区二区三区 | 丝袜美腿亚洲综合 | 国产专区视频 | 日韩在线免费视频 | 精品一区二区视频 | 欧美三级免费 | 欧美日韩国产免费视频 | 久久黄色精品视频 | 中文av在线天堂 | 国产亚洲成av人片在线观看桃 | 国产一级一级国产 | 日日狠狠 | 日本99精品| 99视频这里只有 | 免费69视频| 91久久精品一区二区三区 | 免费看污的网站 | av高清网站在线观看 | 久久婷婷视频 | 福利视频一区二区 | 国产夫妻性生活自拍 | 免费黄av | 超碰免费公开 | 超碰国产97 | 国产精品一区久久久久 | 日韩av区| 99久久精品午夜一区二区小说 | 综合伊人久久 | 波多野结衣视频一区 | 麻豆91精品 | 婷婷激情综合五月天 | 久久九九久久九九 | 成人在线免费观看视视频 | 国产麻豆剧果冻传媒视频播放量 | 久久综合免费视频影院 | 亚洲狠狠婷婷综合久久久 | 97天堂网 | 国产日产精品久久久久快鸭 | 女人18毛片a级毛片一区二区 | 久久久久国 | 日批视频 | 国内精品久久久精品电影院 | 欧美午夜精品久久久久久孕妇 | 亚洲亚洲精品在线观看 | 亚洲国产精久久久久久久 | 91精品网站在线观看 | 婷婷免费视频 | 国产精品国产三级国产aⅴ无密码 | 97电影院在线观看 | 久草在线视频在线观看 | 欧美性做爰猛烈叫床潮 | 久久亚洲福利视频 | 国产黄色av| 在线午夜 | 色综合久久久久综合体 | 日日碰狠狠添天天爽超碰97久久 | 精品v亚洲v欧美v高清v | 久久99视频免费 | 亚洲国产成人高清精品 | 国产精品99久久久 | 九九一级片 | 国产69精品久久app免费版 | 麻花豆传媒mv在线观看网站 | 色综合天天狠天天透天天伊人 | 日韩精品久久久久久 | 综合色伊人 | 国产精品自产拍 | 综合av在线 | 国产午夜精品一区 | 免费美女久久99 | 国产最新在线 | 日本性高潮视频 | 国产又粗又猛又色又黄网站 | 玖玖综合网 | 热久久99这里有精品 | 国产精品video爽爽爽爽 | 黄色午夜| 天天爽天天爽夜夜爽 | 天天干天天操天天搞 | 激情五月亚洲 | 国内小视频 | 国产热re99久久6国产精品 | 麻豆国产电影 | 国产精品一区二区三区免费看 | 免费视频18 | 日韩毛片在线一区二区毛片 | 91在线免费观看国产 | 国产色视频一区二区三区qq号 | 国产亚洲精品中文字幕 | 探花视频在线版播放免费观看 | 美女视频一区二区 | 亚洲成人精品国产 | 午夜国产福利在线 | 亚洲最大激情中文字幕 | 免费黄色在线网址 | 婷婷五天天在线视频 | 亚洲国产精品一区二区久久,亚洲午夜 | www.99热精品 | 久久成熟 | 亚洲伦理一区二区 | 91成版人在线观看入口 | 久久99精品久久久久久秒播蜜臀 | av在线免费观看不卡 | 免费在线观看成年人视频 | 成人av电影免费在线观看 | 特级xxxxx欧美| 国产在线观看免费av | 天天干夜夜爱 | 亚洲妇女av| 国产中文字幕在线观看 | 欧美一区二区三区四区夜夜大片 | 又黄又刺激视频 | 国内精品久久久久久久久久久久 | 国产精品18久久久久久不卡孕妇 | 国产又粗又猛又黄视频 | 久久99精品国产麻豆婷婷 | 久久综合色天天久久综合图片 | 免费能看的黄色片 | 日韩1级片 | 在线观看深夜福利 | 手机av电影在线观看 | 精品久久九九 | 国产 一区二区三区 在线 | 国产明星视频三级a三级点| 成人丁香花| 国产精品午夜久久久久久99热 | 久久成电影 | 三级动态视频在线观看 | 成人av直播| 超碰免费成人 | 久久久久国产a免费观看rela | 91精品久久久久久久99蜜桃 | 九色视频网址 | 婷婷精品 | 日本久久综合网 | 国产成人在线免费观看 | 日韩一区二区三免费高清在线观看 | 久久精品视频一 | 国产在线播放一区二区三区 | 久久er99热精品一区二区 | 亚洲精品视频在线观看视频 | 国产第一页福利影院 | 中文字幕在线观 | 亚洲美女精品 | 在线播放视频一区 | 欧美日韩国产一区二 | www.888av| 午夜精品麻豆 | 久久综合五月天婷婷伊人 | 网址你懂的在线观看 | 成年人在线视频观看 | 91最新视频在线观看 | 久久精品国产免费 | 99久久久国产精品免费99 | 欧美性脚交 | 国产污视频在线观看 | 久久久久久久久久久免费av | h久久| 亚洲狠狠婷婷 | 91久久人澡人人添人人爽欧美 | 国产成人香蕉 | 成人动漫一区二区三区 | 国产理论免费 | 人人看人人爱 | 最新日韩在线观看 | 免费高清在线视频一区· | 精品国产一区二区三区四区vr | 国产日韩欧美网站 | 精精国产xxxx视频在线播放 | 久久国产亚洲视频 | 欧美亚洲国产日韩 | 日日躁夜夜躁xxxxaaaa | 国产日韩在线看 | 日韩在线免费小视频 | 91人人干 | 伊人久操 | 在线色资源| 国产在线观看二区 | 香蕉一区 | 久久任你操 | 九九热只有这里有精品 | av免费线看 | 看av在线 | 久久久国产精品久久久 | 五月天色综合 | 国产一级性生活视频 | 一区二区在线影院 | 天天干天天射天天爽 | 国模精品一区二区三区 | 91成人在线视频 | 91看片淫黄大片一级在线观看 | 国产精品久久久久久久久久尿 | 天天操天天操天天操天天操天天操天天操 | 国产精品精品国产色婷婷 | 在线国产小视频 | 97国产精品亚洲精品 | 欧美日韩一级视频 | 亚洲精品国产第一综合99久久 | 国产精品电影在线 | 成人a毛片|