今天談下突發(fā)熱門話題對(duì)于推薦系統(tǒng)的考驗(yàn)。內(nèi)容推薦系統(tǒng)，本質(zhì)上是一種人物喜好與內(nèi)容的信息匹配。在大部分情況下，推薦系統(tǒng)可以離線的根據(jù)每名用戶的歷史觀看記錄以及每個(gè)內(nèi)容的屬性訓(xùn)練模型，并且實(shí)現(xiàn)推薦。但是，當(dāng)一個(gè)非常熱門的話題爆發(fā)了，例如李小璐PGONE事件這樣整個(gè)平臺(tái)的內(nèi)容和人們的關(guān)注點(diǎn)都會(huì)聚焦到一個(gè)問題上，究竟會(huì)對(duì)推薦系統(tǒng)造成哪些影響呢？傲海為您細(xì)細(xì)道來。

?

架構(gòu)考驗(yàn)

?

目前市面上絕大部分的內(nèi)容推薦都是基于離線計(jì)算的架構(gòu)實(shí)現(xiàn)的。離線計(jì)算的含義是每天系統(tǒng)把全量數(shù)據(jù)下載到存儲(chǔ)空間中，對(duì)于每個(gè)用戶的喜好做計(jì)算并把結(jié)果反饋給推薦引擎。在離線計(jì)算框架下，每個(gè)用戶的待推薦內(nèi)容都是前一天算好的，對(duì)于新產(chǎn)生的內(nèi)容往往沒有那么強(qiáng)的感知。

但是有的同學(xué)會(huì)問：“為什么我在每個(gè)新聞客戶端還是可以看到最新的突發(fā)新聞推薦呢？這與離線的推薦架構(gòu)不符啊？”那是因?yàn)楹芏鄡?nèi)容推薦客戶端為了防止熱門新聞無法被實(shí)時(shí)推薦的問題，在給用戶的推薦列表中添加了一部分有利于最新新聞的規(guī)則，比如推薦引擎會(huì)設(shè)定“李小璐PGONE”新聞出現(xiàn)在每個(gè)用戶的待推薦列表。這種規(guī)則其實(shí)并不是一個(gè)基于算法的實(shí)時(shí)推薦實(shí)現(xiàn)。

那么如何做到實(shí)時(shí)推薦熱門新聞呢？這要求推薦系統(tǒng)需要建立在一個(gè)實(shí)時(shí)計(jì)算框架上，目前業(yè)內(nèi)主流的是Flink或者Spark-streaming。在這種框架下實(shí)現(xiàn)的流式推薦引擎，數(shù)據(jù)通過Kafka流入，通過流式框架實(shí)時(shí)構(gòu)建新聞特征，并且代入模型進(jìn)行推薦排序。

而實(shí)時(shí)推薦框架相比于離線推薦框架會(huì)復(fù)雜的多，比如在實(shí)時(shí)推薦框架下一旦出現(xiàn)數(shù)據(jù)阻塞或者服務(wù)掛掉，failover機(jī)制就會(huì)比離線系統(tǒng)復(fù)雜得多，這點(diǎn)在之后的文章我會(huì)再介紹。

?

性能考驗(yàn)

?

?

前面介紹了計(jì)算框架，那么光有流式框架是不夠的，突發(fā)新聞產(chǎn)生后，對(duì)于整個(gè)架構(gòu)的性能也有很高要求，因?yàn)檫@種事件會(huì)造成系統(tǒng)中的待推薦內(nèi)容爆發(fā)式增長，更會(huì)造成每個(gè)用戶的行為屬性大幅度變更。

在推薦系統(tǒng)中，每個(gè)待推薦內(nèi)容、每個(gè)用戶都會(huì)通過一個(gè)embedding向量表示，這些向量需要全量數(shù)據(jù)在一起做很多矩陣運(yùn)算得到。如果系統(tǒng)中突然增加大量的待推薦內(nèi)容，比如“李小璐出軌”、“PGONE李小璐視頻”、“李小璐PGONE親嘴”，這些新聞會(huì)在短時(shí)間爆發(fā)性增長，系統(tǒng)如果想基于這些內(nèi)容作推薦，需要在短時(shí)間內(nèi)消耗大量的計(jì)算量去做內(nèi)容的embedding。

對(duì)于每個(gè)用戶來講，行為屬性也很有可能在短時(shí)間內(nèi)大幅度改變，比如A用戶之前可能不是一個(gè)很八卦的人，關(guān)心的內(nèi)容都是養(yǎng)生、軍事、科技。突然A發(fā)現(xiàn)李小璐出軌這個(gè)事很好玩，然后大范圍查看相關(guān)娛樂新聞。對(duì)于A的embedding向量需要重新計(jì)算才準(zhǔn)確。諸如此類的計(jì)算能力，也是事實(shí)計(jì)算系統(tǒng)能否完成基于熱點(diǎn)內(nèi)容推薦的關(guān)鍵。

寫到最后~每次這種吃瓜事件出來，都是對(duì)各個(gè)推薦系統(tǒng)的一次大考，大家可以用心看下哪家的推薦系統(tǒng)推薦的最符合你對(duì)這個(gè)瓜的預(yù)期，用心去感受推薦系統(tǒng)的魅力，謝謝~

?

總結(jié)

以上是生活随笔為你收集整理的李小璐PGONE事件对推荐系统的考验的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。