吳書，劉強(qiáng)，王亮?

中國(guó)科學(xué)院自動(dòng)化研究所智能感知與計(jì)算研究中心，北京 100190

摘要：隨著大數(shù)據(jù)時(shí)代的到來，信息系統(tǒng)收集了海量情境信息，如輿情信息、環(huán)境信息、經(jīng)濟(jì)信息等。這些情景大數(shù)據(jù)提供豐富的細(xì)節(jié)信息，更細(xì)致地刻畫行為背景以輔助用戶行為建模。闡述了兩種使用表達(dá)學(xué)習(xí)策略建模一般化情境信息的框架，并針對(duì)情境大數(shù)據(jù)中最常見的時(shí)序情境建模問題，使用循環(huán)神經(jīng)網(wǎng)絡(luò)建模時(shí)序情境中的序列依賴關(guān)系。

關(guān)鍵詞：情境大數(shù)據(jù)；情境建模；用戶建模；行為預(yù)測(cè)

中圖分類號(hào)：TP391.4??? 文獻(xiàn)標(biāo)識(shí)碼：A

doi: 10.11959/j.issn.2096-0271.2016071

Modeling contextual big data for user behavior prediction

WU Shu, LIU Qiang, WANG Liang

Center for Research on Intelligent Perception and Computing, Institute of Automation, Chinese Academy of Sciences, Beijing 100190, China

Abstract: In the big data era, information system has to handle a mass of data of contextual information, such as public opinion, environment information and economic status. Embedded with abundant details of user behavior, contextual information plays a significant role in effectively shaping user character and elaborately modeling user behavior. Two frameworks to model general context information through representation learning and a recurrent model for sequential context scenarios were involved.

Key words: contextual big data, context modeling, user modeling, behavior prediction

論文引用格式：吳書，劉強(qiáng)，王亮. 情境大數(shù)據(jù)建模及其在用戶行為預(yù)測(cè)中的應(yīng)用[J]. 大數(shù)據(jù), 2016, 2(6): 110-117.

WU S, LIU Q, WANG L. Modeling contextual big data for user behavior prediction[J]. Big Data Research,?2016, 2(6): 110-117.

1? 引言

隨著信息技術(shù)的快速發(fā)展，人類社會(huì)進(jìn)入了全面的信息化時(shí)代。伴隨著大量網(wǎng)絡(luò)應(yīng)用的出現(xiàn)，人們的生活方式發(fā)生了改變，越來越多的時(shí)間被投入在信息平臺(tái)上，如個(gè)人電腦、智能手機(jī)、平板電腦、智能電視等，同時(shí)人們的行為方式和習(xí)慣也很大程度上被傳感器、智能監(jiān)控等設(shè)備收集。隨著平臺(tái)系統(tǒng)收集信息的能力不斷增強(qiáng)，大數(shù)據(jù)時(shí)代正在到來。信息系統(tǒng)中收集了用戶主動(dòng)或者被動(dòng)留下的大量行為數(shù)據(jù)，同時(shí)也收集了大量與用戶行為相關(guān)的海量情境信息，如社交媒體上的輿情信息、自然環(huán)境信息（天氣、空氣、溫度等）、生產(chǎn)經(jīng)濟(jì)信息（GDP、生產(chǎn)價(jià)格指數(shù)、CPI、證券）等數(shù)據(jù)。在大數(shù)據(jù)時(shí)代的用戶分析應(yīng)用中，越來越多的情景信息能夠提供豐富的用戶行為細(xì)節(jié)，更細(xì)致更全面地刻畫行為發(fā)生的背景，有效地輔助用戶行為建模。從另一個(gè)角度來看，大規(guī)模情境建模是一種處理大數(shù)據(jù)的趨勢(shì)，它將關(guān)聯(lián)的大數(shù)據(jù)直接轉(zhuǎn)換為特定目標(biāo)任務(wù)所處環(huán)境的復(fù)雜情境信息，其作用也越來越重要。

在大數(shù)據(jù)場(chǎng)景下，當(dāng)傳統(tǒng)行為數(shù)據(jù)收集極為充分之后，進(jìn)一步收集行為數(shù)據(jù)在當(dāng)前的模型框架下可能無法帶來預(yù)測(cè)性能的大幅度提升。因?yàn)楫?dāng)前模型建模的假設(shè)大多是針對(duì)用戶和對(duì)象本身，而忽略外在情境因素對(duì)用戶和對(duì)象的影響，更多的用戶行為數(shù)據(jù)也不能擬合出更好的模型參數(shù)進(jìn)而得到更好的算法效果。此時(shí)，引入豐富的情境大數(shù)據(jù)，進(jìn)一步揭示行為發(fā)生的機(jī)制則更為重要。目前數(shù)據(jù)分析領(lǐng)域已經(jīng)開始重視情境建模，越來越廣泛的研究領(lǐng)域在具體任務(wù)建模上引入情境大數(shù)據(jù)，大幅度提升了預(yù)測(cè)任務(wù)的性能。谷歌趨勢(shì)（Google Trend）將搜索引擎的檢索數(shù)據(jù)引入流感傳播的建模過程中^[1]。它曾經(jīng)構(gòu)建了一套流感預(yù)測(cè)的系統(tǒng)，通過搜索引擎的檢索數(shù)據(jù)來預(yù)估各個(gè)時(shí)間點(diǎn)流感的狀況，在存在外部突發(fā)事件時(shí)，這套系統(tǒng)的預(yù)測(cè)結(jié)果會(huì)因?yàn)橥獠磕硞€(gè)事件的刺激而遠(yuǎn)遠(yuǎn)偏離真實(shí)。后期回到利用疾控中心數(shù)據(jù)進(jìn)行預(yù)測(cè)上，將外部的用戶檢索數(shù)據(jù)作為情境信息，獲得了更加準(zhǔn)確穩(wěn)定的結(jié)果。金融領(lǐng)域也利用經(jīng)濟(jì)和社會(huì)輿論等情境大數(shù)據(jù)來輔助建模股價(jià)、債券走勢(shì)的預(yù)測(cè)，例如美國(guó)斯坦福大學(xué)和谷歌研究人員訓(xùn)練了一個(gè)長(zhǎng)短期記憶網(wǎng)絡(luò)（long-short term memory network，LSTM）模型來預(yù)測(cè)標(biāo)準(zhǔn)普爾500指數(shù)的走勢(shì)^[2]。該模型結(jié)合了反映公眾情緒和宏觀經(jīng)濟(jì)的谷歌趨勢(shì)情境大數(shù)據(jù)，包含經(jīng)濟(jì)類關(guān)鍵詞檢索結(jié)果，獲得了遠(yuǎn)超傳統(tǒng)模型的預(yù)測(cè)效果。

在信息檢索和數(shù)據(jù)挖掘領(lǐng)域的用戶行為預(yù)測(cè)場(chǎng)景中，情境大數(shù)據(jù)也非常豐富，其中用戶行為常常隨著這些情境信息的變化而發(fā)生改變。例如，當(dāng)一個(gè)用戶與小孩在一起時(shí)，他可能會(huì)傾向于看動(dòng)畫片；當(dāng)與愛人在一起時(shí)，他可能會(huì)傾向于看浪漫電影。將情境大數(shù)據(jù)因素納入模型構(gòu)建，能夠細(xì)致地刻畫出用戶行為的場(chǎng)景，間接反映出產(chǎn)生用戶行為的原因，顯著提升行為預(yù)測(cè)的效果。目前，研究工作主要針對(duì)特定的情景信息進(jìn)行建模，并應(yīng)用到特定的任務(wù)中。例如分析社交媒體上的用戶行為，參考文獻(xiàn)[3]提出一種結(jié)合當(dāng)前情境下輿情的主題模型，主要運(yùn)用到與用戶興趣主題相關(guān)的領(lǐng)域。

本文主要從兩個(gè)角度描述情境大數(shù)據(jù)的建模及其在用戶行為預(yù)測(cè)中的應(yīng)用。首先，闡述了兩種使用表達(dá)學(xué)習(xí)策略建模一般化情境信息的框架，介紹了情境操作張量建模策略^[4,5]，同時(shí)解釋如何將分層表達(dá)框架^[6]應(yīng)用在一般化的情境建模場(chǎng)景中。然后，針對(duì)情境大數(shù)據(jù)中最常見、最重要的時(shí)序情境建模問題，介紹基于循環(huán)神經(jīng)網(wǎng)絡(luò)建模的框架，該框架可用到時(shí)序情境建模^[7]中，也可用在復(fù)雜時(shí)序行為建模^[8]上。

2? 基于表達(dá)學(xué)習(xí)的情境建?？蚣?/strong>

在情境信息下預(yù)測(cè)用戶行為最常用的是基于矩陣分解的方法，如張量分解（tensor factorization，TF）^[9]和因子分解機(jī)（factorization machine，FM）^[10]，它假設(shè)把一種特定的情境信息當(dāng)作用戶對(duì)象之外的另一種實(shí)體，并將這種情境信息轉(zhuǎn)化為單獨(dú)的一個(gè)維度，與傳統(tǒng)方法中用戶對(duì)象實(shí)體的維度一起進(jìn)行分解。這類方法僅僅建模了實(shí)體和情境信息間的相似度，但這種相似度往往不是很合理。比如，一個(gè)用戶與工作日這個(gè)情境要比與周末這個(gè)情境的距離近，同時(shí)這類方法難以把握實(shí)體和情境交互后的共同潛在特性。一些基于多領(lǐng)域關(guān)系預(yù)測(cè)的模型^[11]也可以被用來進(jìn)行情境感知，它們使用轉(zhuǎn)換矩陣將實(shí)體潛在向量從一種情境映射至另一種情境環(huán)境下。但是這類方法需要為一個(gè)特定的情境信息提供一個(gè)轉(zhuǎn)換矩陣，在處理情境大數(shù)據(jù)時(shí)會(huì)遇到擴(kuò)展上的困難。

針對(duì)傳統(tǒng)模型假設(shè)不合理和擴(kuò)展不足的缺陷，筆者認(rèn)為實(shí)體和情境之間的關(guān)系可以使用向量來描述，而不再使用單一的值來表達(dá)。這種建模方式能夠解決傳統(tǒng)框架下的假設(shè)局限性，同時(shí)利用模型的擴(kuò)展性可對(duì)情境大數(shù)據(jù)進(jìn)行建模。本節(jié)將介紹兩類最新的基于表達(dá)學(xué)習(xí)的情境建模框架：第一個(gè)框架通過建模情境信息對(duì)用戶對(duì)象實(shí)體的操作，得到實(shí)體在當(dāng)前情境下的表達(dá)；第二個(gè)框架構(gòu)建實(shí)體和情境信息的層次表達(dá)，將它們的交互建模到統(tǒng)一模型中。

2.1? 情境信息的表達(dá)

傳統(tǒng)神經(jīng)網(wǎng)絡(luò)語言模型將詞表達(dá)為連續(xù)的語義向量，稱之為詞嵌入。類似地，也將情境信息轉(zhuǎn)換為向量來表達(dá)。同時(shí)真實(shí)場(chǎng)景中有大量不同類型值的情境信息，如類屬型、類屬集型和數(shù)值型，筆者為它們?cè)O(shè)計(jì)了相應(yīng)的轉(zhuǎn)換策略。如類屬型的情境信息，為每一個(gè)特定的情境值學(xué)習(xí)一個(gè)表達(dá)；對(duì)于類屬集型的情境信息，計(jì)算出所有元素的平均值作為其表達(dá)；對(duì)于數(shù)值型的情境信息，就為這個(gè)情境學(xué)習(xí)一個(gè)表達(dá)，任意一個(gè)對(duì)應(yīng)的情境值都可以通過乘積操作而得到。有了這3種類型情境信息的向量表達(dá)，很多其他類型的情境信息都可以轉(zhuǎn)換為它們的一種，從而得到最終的表達(dá)。當(dāng)用戶項(xiàng)目交互中，不同類型值的情境值都被轉(zhuǎn)換為連續(xù)值的情境向量之后，需要將交互中的一類情境向量使用加權(quán)的方式計(jì)算為單一向量，這種向量描述的是當(dāng)前交互環(huán)境中某一類情境信息整體的表達(dá)。

2.2? 情境操作張量建?？蚣?/strong>

受自然語言領(lǐng)域研究的啟發(fā)，提出一種情境建模方法，稱之為情境操作張量（contextual operation tensor，COT）^{[4, 5]}，情景操作張量建模框架如圖1所示。在自然語言處理的語義分析研究中，名詞語義常常被表達(dá)為向量，形容詞被描述為名詞上的操作語義，由操作矩陣來表達(dá)這種屬性。比如“優(yōu)質(zhì)產(chǎn)品”中的名詞“產(chǎn)品”被表達(dá)為潛在向量，形容詞“優(yōu)質(zhì)”被表達(dá)為矩陣，“優(yōu)質(zhì)產(chǎn)品”的聯(lián)合表達(dá)就是矩陣和向量相乘得到的向量表達(dá)。假設(shè)在用戶行為預(yù)測(cè)中的情境信息具有類似形容詞的這種操作屬性，能夠操作實(shí)體的潛在屬性，使得情境下的實(shí)體新屬性不僅能體現(xiàn)出其原始屬性，也能反映出在特定情境下實(shí)體表達(dá)上的改變。比如一個(gè)用戶因?yàn)楹托『⒃谝黄?#xff0c;這個(gè)陪伴的情境信息就改變了用戶當(dāng)下的屬性，使其樂意去看動(dòng)畫片。

圖1 情境操作張量建?？蚣?/p>

不同于傳統(tǒng)模型中用戶和對(duì)象都有其固定的不隨著情境信息而改變的潛在向量表達(dá)，為了描述這種隨情境變化的用戶和對(duì)象的潛在屬性，為用戶和對(duì)象提供了特定情境下的潛在表達(dá)。同時(shí)將情境信息的潛在語義描述為操作矩陣，它說明對(duì)應(yīng)情境信息有著改變用戶對(duì)象等實(shí)體潛在屬性的能力。

因?yàn)椴煌那榫承畔⒊３＞哂蓄愃频恼Z義，即在對(duì)實(shí)體屬性操作上非常類似，比如人們周末或者在家都會(huì)想看小說而非專業(yè)書籍。因此通過多個(gè)基本的操作矩陣生成情境操作矩陣，這些基本的操作矩陣稱為情境操作張量，它們描述的是一些共同的情境語義操作。每個(gè)特定情境下的操作矩陣，都可以由它們而產(chǎn)生。因?yàn)槭褂昧斯灿械那榫巢僮鲝埩?#xff0c;這種方式能夠有效地減少模型需要擬合參數(shù)的數(shù)量。

2.3? 分層表達(dá)情境建?？蚣?/strong>

在獲取實(shí)體和情境表達(dá)后，除了將情境信息轉(zhuǎn)換為情境操作矩陣直接作用在實(shí)體表達(dá)上，也在探索是否有更具擴(kuò)展性的方式，建模更廣泛的情境信息。因此，提出了分層交互表達(dá)（hierarchical interaction representation, HIR）模型^[6]，將實(shí)體之間或者實(shí)體和情境之間的交互建模成一個(gè)共同的表達(dá)，使用一種分層交互表達(dá)來描述這種交互，如圖2所示。

圖2 分層表達(dá)情境建?？蚣?/p>

當(dāng)每種實(shí)體和情境信息都使用向量進(jìn)行表達(dá)時(shí)，除了待交互的實(shí)體和情境表達(dá)之外，使用一個(gè)三階張量來獲取它們之間的高階交互。HIR構(gòu)建了交互的向量表達(dá)，利用張量乘法生成兩個(gè)實(shí)體或者實(shí)體和情境的共同表達(dá)，然后將這個(gè)過程迭代進(jìn)行，以得到所有實(shí)體和情境的最終分層交互表達(dá)。HIR具有很好的擴(kuò)展性，在獲得了兩個(gè)實(shí)體或者實(shí)體和情境的聯(lián)合表達(dá)之后，可以在框架下建模更多實(shí)體和情境的交互。這樣的循環(huán)操作可以獲取所有實(shí)體和情境交互作用下的最終表達(dá)，這種層次化構(gòu)建方式得到的交互表達(dá)，稱之為層次化交互表達(dá)。

在獲得了最終的層次交互表達(dá)之后，可以在其后增加多個(gè)隱含層，以挖掘交互的深層隱藏特性，從而進(jìn)一步增強(qiáng)實(shí)體和情境層次交互的表達(dá)能力。不同應(yīng)用中的不同任務(wù)都可以基于隱含層的最終表達(dá)而構(gòu)建，根據(jù)應(yīng)用場(chǎng)景運(yùn)用多種機(jī)器學(xué)習(xí)方法實(shí)現(xiàn)預(yù)測(cè)。在普通推薦、上下文推薦、協(xié)同檢索、廣告點(diǎn)擊預(yù)測(cè)等多個(gè)場(chǎng)景進(jìn)行了實(shí)驗(yàn)，實(shí)驗(yàn)效果均超過了之前相關(guān)領(lǐng)域的最好方法。

3? 基于循環(huán)神經(jīng)網(wǎng)絡(luò)的時(shí)序情境建模

情境大數(shù)據(jù)中的時(shí)序情境信息描述的是事件發(fā)生最基本的因素，是實(shí)際應(yīng)用系統(tǒng)中建模用戶行為的基礎(chǔ)，也是最廣泛存在的情境信息。較之特定領(lǐng)域的情境信息，時(shí)序情境建模更為根本和重要。這類時(shí)序情境建模方法具有一般性，可以被引入其他包含時(shí)序情境的特定應(yīng)用領(lǐng)域，例如預(yù)測(cè)用戶簽到數(shù)據(jù)，也可以預(yù)測(cè)交通堵塞或恐怖組織的攻擊行為等。本節(jié)將針對(duì)時(shí)序情境建模展開介紹。

傳統(tǒng)的時(shí)序情境建模問題受到了廣泛的關(guān)注，很多研究者開展了一系列研究，相關(guān)方法主要包括因子分解方法^[9]和基于馬爾科夫鏈^[12]的方法。張量因子分解模型將時(shí)間當(dāng)作實(shí)體外新的維度，并通過分解得到用戶、對(duì)象和時(shí)間箱體等潛在向量。這類方法在預(yù)測(cè)那些從來沒有或很少出現(xiàn)在訓(xùn)練數(shù)據(jù)的時(shí)間箱體時(shí)，會(huì)面臨冷啟動(dòng)問題。另一方面，基于馬爾科夫鏈的方法已成為最受歡迎的時(shí)序預(yù)測(cè)方法，如個(gè)性化因子分解馬爾可夫鏈（factorizing personalized markov chain，FPMC）^[12]等。該類基于馬爾可夫鏈的方法都基于馬爾可夫假設(shè)，只能建模局部序列行為，即相鄰行為之間的關(guān)系，但序列行為之間常常有著更復(fù)雜的關(guān)系，需要獲取序列高層階的交互關(guān)系，由行為的全局序列特征來做用戶行為的預(yù)測(cè)。

最近循環(huán)神經(jīng)網(wǎng)絡(luò)（recurrent neural network，RNN）不僅成功應(yīng)用于自然語言處理領(lǐng)域中的詞嵌入(word embedding)^[13]， 同時(shí)也被應(yīng)用到信息檢索領(lǐng)域建模順序點(diǎn)擊預(yù)測(cè)行為^[14]。循環(huán)神經(jīng)網(wǎng)絡(luò)由輸入層、輸出層和多個(gè)隱藏層組成，其中隱藏層的表示能夠動(dòng)態(tài)地隨著行為歷史而變化，適合用來建模序列信息。然而，該模型只能考慮行為之間的順序關(guān)系，而忽略行為之間的時(shí)間間隔信息，這使其在建模具有連續(xù)值的時(shí)間信息時(shí)常遇到困難，而這些具有連續(xù)值的時(shí)序情境對(duì)用戶行為的建模往往非常重要。

3.1? 時(shí)空情境一體化建模

空間和時(shí)間描述的是事件的基本因素，即什么時(shí)間和什么地點(diǎn)，它們是實(shí)際應(yīng)用中建模用戶行為的基礎(chǔ)。這些具有連續(xù)值的空間和時(shí)間情境，對(duì)于揭示用戶當(dāng)下的屬性有決定性作用，在行為建模上的作用非常重要。因?yàn)榭臻g信息的屬性非常類似時(shí)間信息，將在同一個(gè)框架下為它們建模。構(gòu)建基于RNN的方法建模具有連續(xù)值的時(shí)空序列信息，稱之為時(shí)空循環(huán)神經(jīng)網(wǎng)絡(luò)（spatial temporal recurrent neural network，ST-RNN）^[7]。

時(shí)空一體化建模框架如圖3所示。傳統(tǒng)RNN中每層只考慮一個(gè)元素作為輸入， ST-RNN將時(shí)空序列情境納入考量，將一個(gè)固定時(shí)間段內(nèi)的行為作為一層的輸入來建模局部時(shí)序信息。同時(shí)ST-RNN利用循環(huán)結(jié)構(gòu)捕獲時(shí)序情境信息的周期屬性。另一方面，很難給所有的具有連續(xù)值的時(shí)空信息擬合出對(duì)應(yīng)的轉(zhuǎn)換矩陣，將空間和時(shí)間切分為離散的區(qū)間。對(duì)于某個(gè)離散區(qū)間中的一個(gè)特定時(shí)間點(diǎn)，依靠其上界和下界對(duì)應(yīng)的轉(zhuǎn)換矩陣通過線性插值的方式來計(jì)算其所對(duì)應(yīng)的轉(zhuǎn)換矩陣，這樣ST-RNN就能夠使用轉(zhuǎn)換矩陣來表征具有連續(xù)值的動(dòng)態(tài)時(shí)序信息。類似地，對(duì)于一個(gè)具有連續(xù)值的特定空間信息，也可以通過同樣方法生成其轉(zhuǎn)換矩陣。

圖3 時(shí)空一體化建?？蚣?/p>

3.2? 復(fù)雜時(shí)序情境建模

除了上述的傳統(tǒng)時(shí)序情境場(chǎng)景外，在現(xiàn)實(shí)世界中時(shí)序情境往往更為復(fù)雜,例如客戶常常在同一時(shí)刻一次性購(gòu)買一籃子物品。如何對(duì)這種復(fù)雜時(shí)序情境建模以有效預(yù)測(cè)用戶一籃子購(gòu)買行為？上述時(shí)空情境一體化建模的方法只能實(shí)現(xiàn)簡(jiǎn)單時(shí)序場(chǎng)景下用戶行為的建模，不能很好地把握單次購(gòu)買行為中多種物品之間復(fù)雜的關(guān)聯(lián)關(guān)系。

為了挖掘復(fù)雜時(shí)序場(chǎng)景中全局序列特征，并揭示用戶興趣的動(dòng)態(tài)變化，依然將循環(huán)神經(jīng)網(wǎng)絡(luò)作為建模框架引入這項(xiàng)工作^[8]。雖然循環(huán)神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)可以捕獲所有籃子上用戶的全局時(shí)序特征，但為了有效建模每次行為內(nèi)部的復(fù)雜情境，將卷積神經(jīng)網(wǎng)絡(luò)中的池化操作用于建模籃子本身，提出了動(dòng)態(tài)循環(huán)神經(jīng)網(wǎng)絡(luò)籃子模型。它的輸入實(shí)例是由一個(gè)特定用戶的交易行為組成，每次交易行為由多個(gè)對(duì)象組成。引入的卷積神經(jīng)網(wǎng)絡(luò)中的池化操作能用來獲取這些對(duì)象整體的表達(dá)，能提取出復(fù)雜行為對(duì)象包含的關(guān)鍵特征信息。筆者使用了最大池化和平均池化兩種操作，分別提取所有對(duì)象在對(duì)應(yīng)維度上最大值和平均值作為對(duì)象整體表達(dá)的維度值，復(fù)雜情境建?？蚣苋鐖D4所示。

在獲得了對(duì)象整體表達(dá)之后，它將作為輸入被放進(jìn)循環(huán)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)中，然后和輸入矩陣進(jìn)行操作，并與用戶之前的隱含狀態(tài)一起得到下一個(gè)狀態(tài)的用戶表達(dá)。每個(gè)用戶的動(dòng)態(tài)表示描述用戶屬性隨著時(shí)間推移和與不同籃子進(jìn)行交互之后潛在屬性的變化。池化操作能獲得復(fù)雜時(shí)序行為上最重要的語義屬性，同時(shí)循環(huán)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)可以從所有用戶整體歷史交易數(shù)據(jù)上，獲得用戶全局序列行為特征。這個(gè)框架能取得比傳統(tǒng)RNN和基于馬爾可夫方法更好的實(shí)驗(yàn)效果。

圖4 復(fù)雜情境建?？蚣?/p>

4? 結(jié)束語

本文介紹了使用表達(dá)學(xué)習(xí)策略建模一般化的情境信息，情境操作張量模型將情境信息看作操作語義，能改變實(shí)體在當(dāng)下情境下的向量表達(dá)。分層表達(dá)模型使用層次模型來建模實(shí)體和情境的交互，獲得聯(lián)合表達(dá)。然后，針對(duì)最常見的時(shí)序情境，介紹如何使用循環(huán)神經(jīng)網(wǎng)絡(luò)來建模這類信息，并獲得當(dāng)前時(shí)序情境建模最好的實(shí)驗(yàn)效果。

參考文獻(xiàn)：

[1]LAZER D, KENNEDY R, KING G, et al. The parable of Google flu: traps in big data analysis[J]. Science, 2014, 343(6176): 1203-1205.

[2]XIONG R, NICHOLAS E P, SHEN Y. Deep learning stock volatilities with google domestic trends[J]. 2015: arXiv: 1512.04916.

[3]YIN H, CUI B, CHEN L, et al. A temporal context-aware model for user behavior modeling in social media systems[C]//The 2014 ACM SIGMOD International Conference on Management of Data, June 22-27, 2014, Utah, USA. New York: ACM Press, 2014: 1543-1554.

[4]LIU Q, WU S, WANG L. COT: contextual?operating tensor for context-aware recommender systems[C]//Twenty-Ninth Conference on Artificial Intelligence, January 25-30, 2015, Austin Texas, USA. [S.l.:s.n.], 2015: 203-209.

[5]WU S, LIU Q, WANG L, et al. Contextual operation for recommender systems[J]. IEEE Transactions on Knowledge and Data Engineering, 2016, 28(8): 2000-2012.

[6]LIU Q, WU S, WANG L. Collaborative prediction for multi-entity interaction with hierarchical representation[C]//The 24th ACM International on Conference on Information and Knowledge Management, October 18-2 3, 2015, Melbourne, Australia. New York: ACM Press, 2015:613- 622.

[7]LIU Q, WU S, WANG L, et al. Predicting the next location: a recurrent model with spatial and temporal contexts[C]//Thirtieth AAAI Conference on Artificial Intelligence, February 12-17, 2016, Phoenix, USA. [S.l.:s.n.], 2016.

[8]YU F, LIU Q, WU S, et al. A dynamic recurrent model for next basket recommendation[C]//The 39th International ACM SIGIR Conference on Research and Development in Information Retrieval, July 17-21, Pisa, Italy. New York: ACM Press, 2016: 729-732.

[9]XIONG L, CHEN X, HUANG T K, et al. Temporal collaborative filtering with bayesian probabilistic tensor factorization[C]//The SIAM International Conference on Data Mining, April 29-May 1, Ohio, USA. [S.l.:s.n.], 2010: 211-222.

[10]RENDLE S. Factorization machines with libfm[J]. Acm Transactions on Intelligent Systems and Technology, 2012, 3(3): 57-78.

[11]SINGH A P, GORDON G J. Relational learning via collective matrix factorization[C]//The 14th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, August 24-27, Las Vegas, USA. New York: ACM Press, 2008: 650-658.

[12]RENDLE S, FREUDENTHALER C, SCHMIDT-THIEME L . Factorizing personalized markov chains for nextbasket recommendation[C]//International Conference on World Wide Web, April 26-30, 2010, Raleigh, USA. New York: ACM Press, 2010: 811-820.

[13]PENNINGTON J, SOCHER R, MANNING C D. Glove: global vectors for word representation[C]//EMNLP, October 25-29, Doha, Qatar. [S.l.:s.n.], 2014 ( 14): 1532-1543.

[14]ZHANG Y, DAI H, XU C, et al. Sequential click prediction for sponsored search with recurrent neural networks[J]. Computer Science, 2014: 1369-1375.

吳書（1982-），男，中國(guó)科學(xué)院自動(dòng)化研究所助理研究員，主要研究方向?yàn)閿?shù)據(jù)挖掘和信息檢索。先后主持多項(xiàng)國(guó)家科研項(xiàng)目，在重要期刊和頂級(jí)會(huì)議發(fā)表論文40余篇。

劉強(qiáng)（1990-），男，中國(guó)科學(xué)院自動(dòng)化研究所博士生，主要研究方向?yàn)閿?shù)據(jù)挖掘，在頂級(jí)會(huì)議發(fā)表論文多篇。

王亮（1975-），男，中國(guó)科學(xué)院自動(dòng)化研究所研究員，博士生導(dǎo)師，IAPR會(huì)士和IEEE高級(jí)會(huì)員，模式識(shí)別國(guó)家重點(diǎn)實(shí)驗(yàn)室副主任，主要研究方向?yàn)闄C(jī)器學(xué)習(xí)、模式識(shí)別和計(jì)算機(jī)視覺。先后主持多項(xiàng)國(guó)家科研項(xiàng)目。