作者|莫凌、桑楊、明依
出品|阿里巴巴新零售淘系技術(shù)部

導(dǎo)讀：信息流作為手淘的一大流量入口，對(duì)手淘的瀏覽效率轉(zhuǎn)化和流量分發(fā)起到至關(guān)重要的作用。在探索如何給用戶推薦其喜歡的商品這條路上，我們首次將端計(jì)算大規(guī)模應(yīng)用在手淘客戶端，通過(guò)端側(cè)豐富的用戶特征數(shù)據(jù)和觸發(fā)點(diǎn)，利用機(jī)器學(xué)習(xí)和深度神經(jīng)網(wǎng)絡(luò)，在端側(cè)持續(xù)感知用戶意圖，抓住用戶轉(zhuǎn)瞬即逝的興趣點(diǎn)，并給予用戶及時(shí)的結(jié)果反饋。通過(guò)大半年的不斷改進(jìn)，手淘信息流端上智能推薦在9月中旬全量，并在雙十一當(dāng)天對(duì)信息流的點(diǎn)擊量和GMV都帶來(lái)了大幅的提升。下文將給大家分享我們?cè)谔剿鬟^(guò)程中發(fā)現(xiàn)的問(wèn)題，對(duì)其的思考和解決方案。

背景

現(xiàn)狀與解決方案

手淘上以列表推薦形式為主的業(yè)務(wù)場(chǎng)景有不少，以手淘信息流為例，進(jìn)入猜你喜歡場(chǎng)景的用戶，興趣點(diǎn)常常是不明確的，用戶瀏覽時(shí)往往沒(méi)有明確的商品需求，而是在逛的過(guò)程中逐漸去發(fā)現(xiàn)想買的商品。而推薦系統(tǒng)在用戶逛到買的過(guò)程中，往往會(huì)下發(fā)并呈現(xiàn)不同類型商品讓用戶從中挑選，推薦系統(tǒng)這個(gè)過(guò)程中會(huì)去捕捉用戶的興趣變化，從而推薦出更符合用戶興趣的商品。然而推薦系統(tǒng)能不能做到用戶興趣變化時(shí)立刻給出響應(yīng)呢？

推薦系統(tǒng)以往的做法都是通過(guò)客戶端請(qǐng)求后觸發(fā)云端商品排序，然后將排序好的商品下發(fā)給用戶，端側(cè)再依此做商品呈現(xiàn)。這樣存在下面兩個(gè)問(wèn)題：

• 云端推薦系統(tǒng)對(duì)終端用戶推薦內(nèi)容調(diào)整機(jī)會(huì)少，往往都在分頁(yè)請(qǐng)求時(shí)，而簡(jiǎn)單請(qǐng)求并不能靈活做內(nèi)容的增刪改
• 云端推薦系統(tǒng)不能及時(shí)獲取到用戶當(dāng)前時(shí)刻的偏好意圖，快速給出反饋

我們總結(jié)發(fā)現(xiàn)，目前推薦系統(tǒng)的弊端是，用戶偏好的變化與推薦系統(tǒng)對(duì)用戶感知和對(duì)內(nèi)容的調(diào)整時(shí)機(jī)并不能匹配，會(huì)出現(xiàn)推薦的內(nèi)容并非用戶當(dāng)前時(shí)刻想要的，用戶瀏覽和點(diǎn)擊意愿都會(huì)下降。那么怎樣能夠讓推薦系統(tǒng)及時(shí)感知到用戶偏好并及時(shí)的給出用戶想要的內(nèi)容呢？

我們先透過(guò)現(xiàn)象看本質(zhì)，以上問(wèn)題的本質(zhì)在于推薦系統(tǒng)和用戶交互過(guò)程中的實(shí)時(shí)性差，以及決策系統(tǒng)可調(diào)整性差。實(shí)時(shí)性差體現(xiàn)在兩個(gè)方面，推薦系統(tǒng)對(duì)終端用戶的感知實(shí)時(shí)性差以及對(duì)用戶的干預(yù)實(shí)時(shí)性差。而決策系統(tǒng)可調(diào)整性差，體現(xiàn)在決策系統(tǒng)對(duì)用戶內(nèi)容的調(diào)整時(shí)機(jī)依賴端側(cè)的固定規(guī)則請(qǐng)求，可調(diào)整的內(nèi)容局限于當(dāng)前次下發(fā)的內(nèi)容。如果我們能夠解決實(shí)時(shí)性問(wèn)題，推薦系統(tǒng)能夠?qū)崟r(shí)感知用戶偏好，并在任何時(shí)機(jī)實(shí)時(shí)調(diào)整用戶所見(jiàn)內(nèi)容，推薦的內(nèi)容可以更符合用戶當(dāng)前的偏好；如果我們能夠解決決策系統(tǒng)可調(diào)整性差問(wèn)題，推薦系統(tǒng)可以決定合適的時(shí)機(jī)去調(diào)整用戶內(nèi)容，可以決定用更優(yōu)的方式去調(diào)整具體的內(nèi)容。那么解決的方案是什么呢？

我們?cè)谑痔孕畔⒘髦幸霗C(jī)器學(xué)習(xí)和深度神經(jīng)網(wǎng)絡(luò)模型，結(jié)合端側(cè)用戶特征，在端側(cè)持續(xù)感知用戶意圖，實(shí)時(shí)決策并實(shí)時(shí)反饋結(jié)果給用戶，這樣解決了實(shí)時(shí)性差以及決策系統(tǒng)可調(diào)整性差的問(wèn)題。我們把這個(gè)解決方案稱之為端智能。

端智能帶來(lái)的改變

端智能的本質(zhì)是“端”+“智能”。首先“智能”不是一個(gè)新鮮的東西，“智能”不管是在云端或終端，解決的問(wèn)題是通過(guò)機(jī)器學(xué)習(xí)數(shù)據(jù)的內(nèi)在機(jī)制并推理出最終結(jié)論；“端”解決的問(wèn)題是將”智能“工程化并落地到具體的應(yīng)用場(chǎng)景，“端”有機(jī)的整合端側(cè)數(shù)據(jù)以及云端下發(fā)內(nèi)容，決定何時(shí)觸發(fā)“智能”做決策，最終決定怎樣給用戶以反饋。

端智能帶來(lái)的改變，則是讓端上具備了“獨(dú)立思考”的能力，這讓部分決策和計(jì)算不再依賴于云端，端側(cè)可以更實(shí)時(shí)、更有策略的給出結(jié)果。說(shuō)到實(shí)時(shí)性，5G時(shí)代的到來(lái)，其低時(shí)延特性極大的降低了端和云的交互時(shí)間，但這并不影響我們利用端智能實(shí)現(xiàn)更低成本的決策和快速響應(yīng)，反而對(duì)于端智能來(lái)說(shuō)，好處是能和云端結(jié)合的更緊密。另外由于在端側(cè)能夠秒級(jí)感知用戶意圖做出決策，產(chǎn)品和用戶貼的更近了，這催生了更多實(shí)時(shí)性的玩法，產(chǎn)品將不再局限于要到固定的時(shí)機(jī)如分頁(yè)請(qǐng)求讓云端去給到新的內(nèi)容反饋，而是思考，當(dāng)用戶表達(dá)出來(lái)特定的用戶意圖時(shí)，產(chǎn)品應(yīng)該如何提供與意圖相匹配的內(nèi)容。

端智能與傳統(tǒng)差異比較

盡管端智能帶來(lái)了很多好的改變，但這里依然需要強(qiáng)調(diào)一點(diǎn)，并不是說(shuō)有了端智能就不再需要云智能，怎樣做到云&端協(xié)同智能才是未來(lái)。

端智能的優(yōu)勢(shì)在于：

• 端側(cè)有著豐富的用戶特征和觸點(diǎn)，有著更多的機(jī)會(huì)和條件去做決策
• 實(shí)時(shí)性高，在端側(cè)處理可節(jié)省數(shù)據(jù)的網(wǎng)絡(luò)傳輸時(shí)間，節(jié)省的時(shí)間可用于更快的反饋結(jié)果
• 節(jié)省資源，在端側(cè)處理，利用端側(cè)算力和存儲(chǔ)空間，可以節(jié)省大量的云端計(jì)算和存儲(chǔ)資源
• 隱私性好，從產(chǎn)生數(shù)據(jù)到消費(fèi)數(shù)據(jù)都在端側(cè)完成，避免傳輸?shù)皆贫艘痣[私泄露風(fēng)險(xiǎn)

端智能的不足在于：

• 設(shè)備資源有限，端側(cè)的算力、電力、存儲(chǔ)是有限的，不能做大規(guī)模高強(qiáng)度的持續(xù)計(jì)算。
• 算法規(guī)模小，端側(cè)算力小，而且單用戶的數(shù)據(jù)，在算法上并不能做到最優(yōu)
• 用戶數(shù)據(jù)有限，端側(cè)數(shù)據(jù)并不適合長(zhǎng)期大量存儲(chǔ)，端側(cè)可用數(shù)據(jù)有限

云智能的優(yōu)勢(shì)在于：

• 大數(shù)據(jù)，云端可以通過(guò)長(zhǎng)期大量的來(lái)自不同人群的數(shù)據(jù)進(jìn)行計(jì)算
• 設(shè)備資源充足，云計(jì)算的算力、電力、存儲(chǔ)都可以根據(jù)需求進(jìn)行配置
• 算法規(guī)模大，可以通過(guò)足夠的大規(guī)模模型，計(jì)算出最優(yōu)解

云智能不足在于：

• 響應(yīng)速度慢，受傳輸帶寬影響，不能穩(wěn)定提供較高的響應(yīng)速度
• 用戶感知弱，端側(cè)產(chǎn)生的數(shù)據(jù)同步到云端，數(shù)據(jù)量限制和傳輸時(shí)間的約束都會(huì)削弱云端對(duì)用戶的感知

從以上云智能和端智能的對(duì)比可以看出，端智能適合于依賴端側(cè)用戶觸點(diǎn)的小規(guī)模低時(shí)延的計(jì)算，而云智能更適合中長(zhǎng)期數(shù)據(jù)大規(guī)模計(jì)算。同時(shí)，端智能往往需要云端提供的長(zhǎng)期特征及內(nèi)容，而云智能也往往需要端上的特征和豐富的觸發(fā)點(diǎn)，兩者優(yōu)勢(shì)互補(bǔ)，才能發(fā)揮出更好的效果。

端智能基礎(chǔ)設(shè)施建設(shè)

高樓起于平地，打造端智能這幢摩天大樓需要很多基礎(chǔ)設(shè)施，剝除各種各樣邊角料和錦上添花的東西后，我們認(rèn)為構(gòu)成支撐起端智能體系的骨架組成部分主要有數(shù)據(jù)、端計(jì)算、端計(jì)算引擎、端智能決策框架、算法研發(fā)平臺(tái)。其中，端側(cè)數(shù)據(jù) 、端計(jì)算、端計(jì)算引擎這三塊的作用是實(shí)時(shí)感知用戶，計(jì)算出貼合用戶的結(jié)果；端智能決策框架是觸達(dá)用戶的通道，通過(guò)端上實(shí)時(shí)智能決策銜接用戶意圖和端計(jì)算，最后通過(guò)一定的干預(yù)手段展現(xiàn)到用戶眼前；算法研發(fā)平臺(tái)是開(kāi)發(fā)過(guò)程主要接觸的平臺(tái)，能有效提升研發(fā)效率。通過(guò)一個(gè)簡(jiǎn)單的示意圖也許能更好的理解這五大塊：

數(shù)據(jù)-BehaviX

無(wú)論計(jì)算是發(fā)生在云端還是終端，數(shù)據(jù)始終是執(zhí)行所有計(jì)算的基本要素之一，端計(jì)算的本質(zhì)也是計(jì)算，數(shù)據(jù)當(dāng)然也是他的要素之一。在淘寶或者其他阿里系A(chǔ)pp里我們已經(jīng)有很多數(shù)據(jù)沉淀，這些數(shù)據(jù)包括但不限于商品、商品特征、用戶特征等。這些數(shù)據(jù)同樣可以作為端計(jì)算的輸入來(lái)源，但如果只有這些，端計(jì)算和云計(jì)算相比在數(shù)據(jù)上似乎沒(méi)有什么明顯優(yōu)勢(shì)了，所以我們需要回過(guò)頭看下端計(jì)算作為端智能的重要部分，他的在數(shù)據(jù)上的核心優(yōu)勢(shì)是什么？端計(jì)算運(yùn)行在端上，天然能獲取端上的數(shù)據(jù)，而且是實(shí)時(shí)獲取。我們希望這部分?jǐn)?shù)據(jù)是和已有數(shù)據(jù)是互補(bǔ)的、對(duì)端計(jì)算是有價(jià)值的，端計(jì)算的目的之一是千人千面，端上豐富的用戶特征，能體現(xiàn)當(dāng)前用戶的實(shí)時(shí)意圖。所以我們?cè)跇?gòu)建了端側(cè)用戶特征數(shù)據(jù)中心BehaviX。

BehaviX作為整個(gè)端智能的數(shù)據(jù)基礎(chǔ)，提供給算法特征數(shù)據(jù)作為模型數(shù)據(jù)輸入源，支持了特征實(shí)時(shí)同步云端，讓云端能夠秒級(jí)感知到端側(cè)用戶特征，提供了算法基于端側(cè)用戶特征數(shù)據(jù)做意圖分析的能力。

端智能決策框架-BehaviR

從用戶角度來(lái)看，用戶感知到的不是一堆數(shù)據(jù)和計(jì)算而是能夠被感知到的結(jié)果，因此，即使計(jì)算出來(lái)的結(jié)果無(wú)比貼合用戶意圖，如果無(wú)法及時(shí)觸達(dá)用戶也是無(wú)用功。觸達(dá)用戶方式多種多樣，我們需要基于實(shí)際場(chǎng)景放開(kāi)手大膽探索，合理的產(chǎn)品設(shè)計(jì)會(huì)讓用戶覺(jué)得是在和一個(gè)“智能”的App交流，反之，不合理的產(chǎn)品設(shè)計(jì)會(huì)打擾用戶、對(duì)用戶造成困擾。從技術(shù)角度來(lái)說(shuō)，我們要設(shè)計(jì)和做的其實(shí)是一條觸達(dá)通道，通過(guò)感知用戶觸點(diǎn)，我們能根據(jù)運(yùn)營(yíng)規(guī)則配置或者本地模型決策出此時(shí)要給用戶什么類型的反饋，然后通過(guò)下面要講述的端計(jì)算能力計(jì)算出貼合用戶的結(jié)果并展示給用戶，以此將端計(jì)算和用戶連接在一起。

端智能決策框架能簡(jiǎn)化業(yè)務(wù)方接入端智能流程，幫助業(yè)務(wù)方真正做到實(shí)時(shí)感知、及時(shí)干預(yù)，更多詳細(xì)內(nèi)容。

端計(jì)算-EdgeRec

端計(jì)算簡(jiǎn)單理解起來(lái)可以認(rèn)為是跑在端上的一段邏輯，這段邏輯可以是一個(gè)預(yù)置的Native任務(wù)，也可以是一個(gè)動(dòng)態(tài)部署的腳步，當(dāng)然，在最終我們希望他是一個(gè)算法模型。算法模型是目前做到千人千面的有效手段之一，其他優(yōu)勢(shì)不再累述了，詳見(jiàn)下面的友情鏈接。

回到這里的主角EdgeRec-邊緣計(jì)算算法，他在在端上實(shí)時(shí)建模了用戶的異構(gòu)特征序列，為端上決策提供通用的用戶狀態(tài)表達(dá)。通過(guò)多任務(wù)學(xué)習(xí)，共享通用的用戶狀態(tài)表達(dá)，在端上建模多種決策模型。另外，邊緣計(jì)算算法SDK也提供端上深度學(xué)習(xí)算法開(kāi)發(fā)的通用解決方案，如：端上深度學(xué)習(xí)模型庫(kù)、端上模型拆分部署、端上模型版本控制、端上樣本生成等。

端計(jì)算引擎-Walle&MNN

端計(jì)算引擎是端智能體系中重要的一環(huán)，是算法模型的基礎(chǔ)環(huán)境。無(wú)論是iOS還是Android目前都提供了一套環(huán)境，但兩端差異性比較大，限制也比較多。構(gòu)建一套端計(jì)算引擎的成本是非常高的，但長(zhǎng)遠(yuǎn)來(lái)看統(tǒng)一兩端引擎、抹平差異是有非常有必要的。Walle和MNN作為當(dāng)前我們端計(jì)算引擎很好地做到了這一點(diǎn)。

Walle是端上整體的Runtime，他為算法的Python腳本、深度模型以及Jarvis的EFC、ESC等特征樣本計(jì)算庫(kù)提供運(yùn)行環(huán)境，另外也為BehaviX管理的基礎(chǔ)數(shù)據(jù)提供存儲(chǔ)服務(wù)。

MNN 是一個(gè)輕量級(jí)的深度學(xué)習(xí)端側(cè)推理引擎，核心解決深度神經(jīng)網(wǎng)絡(luò)模型在端側(cè)推理運(yùn)行問(wèn)題，涵蓋深度神經(jīng)網(wǎng)絡(luò)模型的優(yōu)化、轉(zhuǎn)換和推理，其前身為 AliNN。

算法研發(fā)平臺(tái)-Jarvis

算法模型的研發(fā)并不是簡(jiǎn)單地在本地IDE寫(xiě)一份代碼那么簡(jiǎn)單，我們通常需要理論調(diào)研、算法開(kāi)發(fā)、模型訓(xùn)練、參數(shù)調(diào)優(yōu)、線上驗(yàn)證等等步驟，本地環(huán)境是遠(yuǎn)遠(yuǎn)不夠的，所以算法研發(fā)平臺(tái)的存在能幫助算法同學(xué)更高效、更專注地進(jìn)行研發(fā)工作。另外，端智能要出結(jié)果，一定是多團(tuán)隊(duì)通力合作的結(jié)果，多團(tuán)隊(duì)合作僅靠口頭溝通是遠(yuǎn)遠(yuǎn)不夠的，我們需要一套合理的流程去簡(jiǎn)化和規(guī)范各項(xiàng)工作，因此，在算法研發(fā)平臺(tái)的基礎(chǔ)之上我們?nèi)耘f需要一個(gè)一站式平臺(tái)。

Jarvis提供一站式的開(kāi)發(fā)、調(diào)試、驗(yàn)證、AB測(cè)試、發(fā)布、監(jiān)控平臺(tái)，與算法同學(xué)共建一起打造了端上的特征計(jì)算、樣本計(jì)算等基礎(chǔ)庫(kù)。

整體流程圖

我們構(gòu)建了端智能的五個(gè)基礎(chǔ)設(shè)施，通過(guò)端上調(diào)度系統(tǒng)，將整個(gè)端智能技術(shù)體系串聯(lián)起來(lái)，總體來(lái)說(shuō)分為用戶觸達(dá)和用戶感知部分。用戶觸達(dá)部分包括端上調(diào)度和端上決策，端上調(diào)度提供和業(yè)務(wù)的直接對(duì)接，端上決策由端上調(diào)度系統(tǒng)在合適的時(shí)候拉起本地算法計(jì)算；用戶感知部分則對(duì)用戶特征進(jìn)行標(biāo)準(zhǔn)化端上用戶特征，提供端側(cè)計(jì)算的數(shù)據(jù)輸入。

數(shù)據(jù)效果

從年初信息流端智能立項(xiàng)以來(lái)，我們經(jīng)過(guò)最開(kāi)始的小流量實(shí)驗(yàn)，效果逐漸優(yōu)化，大半年的不斷探索試錯(cuò)，信息流端智能于9月中旬在首頁(yè)猜你喜歡場(chǎng)景全量。雙十一當(dāng)天也取得了不錯(cuò)的業(yè)務(wù)效果，對(duì)商品推薦的準(zhǔn)確度提升，信息流GMV和點(diǎn)擊量都大幅提升。其實(shí)這只是信息流在端智能的開(kāi)始，相信后面更深入的優(yōu)化探索，我們將會(huì)取到更好的效果。

總結(jié)

從我們以往的經(jīng)驗(yàn)來(lái)看，端側(cè)做的更多的是將云端內(nèi)容以具體的形式呈現(xiàn)給用戶。當(dāng)端側(cè)也具備了感知用戶意圖并智能做出決策時(shí)，端側(cè)的能力就不再局限于“呈現(xiàn)”，端側(cè)也可以”思考“。業(yè)務(wù)可以利用端側(cè)”思考“能力，將以往在云端解決起來(lái)比較困難的問(wèn)題放到端上去解決，如云端決策實(shí)時(shí)性問(wèn)題、大數(shù)據(jù)量上報(bào)云端分析的資源消耗問(wèn)題；可以結(jié)合端側(cè)本身的特性，如傳感器、相機(jī)、UI呈現(xiàn)等，去思考如何去整合用戶特征、數(shù)據(jù)、端側(cè)算法去大膽嘗試找到新的突破口。

原文鏈接
本文為云棲社區(qū)原創(chuàng)內(nèi)容，未經(jīng)允許不得轉(zhuǎn)載。

總結(jié)

以上是生活随笔為你收集整理的端智能揭秘|促使双十一GMV大幅提升，手淘用了什么秘密武器？的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。