Philip S. Yu 講的廣度學習到底是什么？

本文作者：camel

2017-12-29 00:26

導語：圍觀數據挖掘大神進行時（一）

雷鋒網 AI 科技評論按：2017 年 12 月 22-24 日，由中國計算機學會（CCF）主辦的第 87 期 CCF 學科前沿講習班（CCF Advanced Disciplines Lectures，簡稱 CCF - ADL）在北京中國科學院計算技術研究所成功舉辦，雷鋒網作為獨家合作媒體，進行了全程報道（十三位講者內容簡介見《CCF ADL 87 講習班回顧：韓家煒等 13 位大牛全方位解析社交網絡和數據挖掘》，視頻請移步 CCF-ADL87：社交網絡與數據挖掘）

本次講習班邀請到了兩位在數據挖掘領域數一數二的頂級巨擘：韓家煒教授和 Philip S. Yu 教授。Philip 教授在報告中詳細講解了他多年來所倡導的「廣度學習」（Broad Learning）的概念和方法，并用三個相關的研究案例來說明如何將深度學習和廣度學習結合起來使用。韓家煒教授則講述了他在數據挖掘研究中的三步曲：怎么從文本數據中挖掘出隱含的結構；怎么將結構文本轉化為網絡和 TextCube；最后怎么從網絡和 TextCube 中挖掘出 Actionable Knowledge。

Philip S. Yu 是伊利諾伊大學芝加哥分校計算機科學系特聘教授，清華數據科學研究院院長，世界知名的數據挖掘和數據管理研究專家， ACM 及 IEEE Fellow。Philip S. Yu 教授早年于斯坦福大學獲得博士學位，曾長期在 IBM Watson 研究中心工作，建立了世界知名的數據挖掘和數據庫研究部門。迄今，Philip S. Yu教授已發表論文 1000 余篇，獲得專利 300 多項，在谷歌學術的 H-index 與 Michael I. Jordan 不分伯仲，名列全球計算機科學領域高引作者前十。

本文為?Philip S. Yu 教授在?CCF-ADL 所做的演講《Broad Learning via Fusion of Social Network Information》，雷鋒網(公眾號：雷鋒網) AI 科技評論對其演講內容做了全文整理，有改動和精簡。

正文

謝謝唐杰教授的介紹，我今天很高興能夠在這里跟大家討論一下「廣度學習」（Broad Learning）。

我們知道「Big Data」有四個「V」——Velocity、Volume、Veracity 和 Variety。我們今天討論的問題主要是其中之一 Variety，即數據的多樣性，例如高維數據、異質數據源、無結構數據類型（圖片、網絡、序列、文本）等。「廣度學習」所要考慮的問題就是如何將各種各樣的數據整合在一起，以獲取更多的信息。

廣度學習是什么？

現在大家談論深度學習比較多，而事實上對于數據我們不僅要挖得深，還要挖得廣。例如對于網頁數據，深度學習能夠單獨學習文本數據、圖像數據等里面的特性。但是我們知道真實的網頁可能同時包含文本、圖片、音頻、鏈接等等的數據。

事實上，我們講的大數據并不是說所有數據都很大，只是整體很大而已。更多的情況是，我們擁有許多不同來源的（小）數據，它們之間相互有或多或少地聯系。如果能夠將這些不同的數據源整合在一起，那么我們將挖掘出更多有價值的信息。

首先我們認同這樣一個觀點，即所有類型的數據都是可用的，換句話說就是沒有沒價值的數據。問題的關鍵就在于我們如何將這些數據融合在一起。那么如何做呢？這就需要「廣度學習」了。

要做好「廣度學習」，我認為需要以下三步：

首先，定義并獲取相關的有用數據源，也即找到對你的問題有用的數據；

其次，設計一種模型來將異質數據源信息融合起來；

最后，基于模型整體的需求從各種數據源中深度地去挖掘信息。

這有很多例子。例如我們從一個社交網絡平臺中獲取的數據可能并不充分，如果我們能將其他社交網絡平臺的數據與它融合在一起，那么我們將獲得更充分的特征信息。

再例如，在生物醫學中我們研究腦的潛在病理預防。我們所擁有的數據除了腦的 MRI 影像，還可能有認知測量、免疫測量、臨床測量等的數據。如果能夠將這各種各樣的數據合在一起，那么將能夠更好地去分析潛在的疾病問題。

當然還有智慧城市的研究（我們有共享單車、加油站、實產評估等不同的數據）、藥物發現等的例子。

廣度學習與現存其他學習任務的比較

Broad Learning vs Deep Learning

深度學習的「深」是指你對數據訓練的模型層數深；而廣度學習的「廣」是指我們訓練模型的數據類型廣。這兩個概念側重的點不同，但可以結合在同一個模型當中。我們下面會講。

Broad Learning vs Ensemble Learning

Ensemble Learning 指的是我們有許多不同的 model，但數據源是同一個；而 Broad Learning 是將多種數據源融合進一個模型當中進行信息挖掘。

Broad Learning vs others

我們平時可能說到的 Multi-view Learning、Multi-source Learning、Multi-model Learning、Multi-domain Learning 等等其實都是 Broad Learning 的特例。

另外一個我們會講到的是Transfer Learning。所謂遷移學習就是將一個 domain 的信息遷移到另一個 domain。如果我們把一個 domain 看做一個數據源，那么事實上 Transfer Learning 也是 Broad Learning 的一個特例。

我們來看廣度學習的類型大致可以分為三類：

• 首先是在同一個實體上有不同類型信息的學習。這種類型的廣度學習包括前面談到的 Multi-view Learning、Multi-source Learning、Multi-model Learning 等。
  

• 其次是在不同的但類型相似的實體上信息的學習。這包括 Transfer Learning。
  

• 另外是在有復雜網絡類型關系的不同類型實體信息的學習。這包括基于融合的異質信息網絡（HIN）。
  

對于廣度學習，主要有兩個關鍵的任務：信息融合和知識發現。因此對應的就有兩個基本的挑戰，其一是發現什么數據是有用的，如何將這些數據融合在一起；其二就是要明白想要挖掘什么（并不是所有數據對特定的知識發現都有用），以及如何從融合的數據中挖掘出有用的知識。

社交網絡三案例

今天我們將以社交網絡為例來詳細闡述廣度學習。對于社交網絡，例如 facebook，其特點就是規模巨大、每日新生成內容體量大、數據類型豐富多樣、噪聲多、信息量大但也較難挖掘。

當然社交網絡并不止一家，在國外有 Facebook、Twitter、Foursquare、LinkedIn、YouTube、Instagram、WhatsApp、Google+等，在國內有微信、微博、QQ 等。每一個個體可能會注冊使用多個社交網絡平臺。

下面我將講述三個社交網絡的問題。

問題一：POI預測和推薦

注：POI，Point of Interest

我們用這個例子來說明如何將深度學習和廣度學習結合起來使用。

首先要知道的是，我們需要（或者有）什么數據。在 Location-Based Social（LBS）的社交網絡中每一個人都一個 check-in sequence。除此之外，LBS 的社交網絡一般情況下還會有評論的信息。

所以對于我們做 POI 推薦有兩種數據可以用：User's check-in sequence 和 User's review on POI。

另外，對于 POI 的評價可以從兩個角度來看。首先從用戶的角度，同一個用戶可能會對不同的產品（餐館、食物、電影等）進行評價，我們可以通過用戶的評價對用戶的興趣進行畫像和推薦。其次從 POI 的角度來看，對于每一個 POI 都會收到各種各樣用戶的評價，以此我們可以對 POI 進行特征畫像。

然后就是我們怎么把數據進行融合。我們提出一種新的「深度學習 + 廣度學習」的模型，叫做 Deep Content-aware POI Recommendation model (DCPR)。具體來說就是我們設計了一個有多個深度神經網絡組成的多層深度網絡結構。在其前端，我們將多種類型的數據（POI 視角和用戶視角的評論和 POI）映射到高維非線性的 latent space (POI space) 中，然后用 CNN 模型對其特征進行提取。LSTM 網絡通過結構化方式連接起來，因為 LSTM 通過將表征向量作為來自 CNN 層的輸入來學習用戶偏好和具有 POI 語義信息的先驗知識的序列模式。最后，頂層的個性化排序層聯合優化了前兩層（卷積層 CNN，遞歸層 LSTM）中產生的潛在表示，它進一步改進了前兩層學習到的潛在特征，以產生更準確的模式和更好的推薦。

我們使用的數據集來自兩個社交網絡平臺 Foursquare 和 Yelp。同時我們對比幾種較為常見的方法，其中 FPMC 和 PRME 是目前兩種 state-of-art 的推薦方法。

我們用三個指標來評估這些方法的性能，分別為 precision@TopN、Recall@TopN 和 Fscore@TopN。

這是 Foursquare 用戶興趣點的分布區域。

這是 Yelp 用戶興趣點的分布區域。可以看出 Yelp 用戶的興趣點主要集中在北美，而 Foursquare 則分布較廣。

我們看看實驗結果。橫坐標是使用的數據量（占全部數據的百分比），縱坐標是對應的表現性能。可以看出我們結合深度學習和廣度學習的模型 DCPR （紫色）在各個結果對比中都明顯比別的模型要好。

這顯示了 DCPR 在 Precision@Top5 和 Recall@Top5 中相比 FPMC 的增益。可以看出在每個用戶群（黃色圈）中，DCPR 都達到了 10％以上的增益。

這個例子簡單說明了怎么把深度學習和廣度學習結合在一起來做 POI 推薦。

問題二：朋友推薦

我們第二個例子是怎么把不同的社交網絡平臺信息融合在一起來做朋友推薦，也是所謂的 Link Prediction。

我們前面說過，有各種各樣的社交網絡平臺，這些平臺都只能抓取到一個人的某一種行為；如果能將不同平臺的數據融合在一起，那么我們就可以增加對這個人的了解，也就可以做更好的預測。

要做這個事情有兩個挑戰。首先，一個人在不同的平臺可能有不同的名字，所以將不同平臺的用戶對接起來是一個很大的挑戰。另外，不同的平臺功能不同，并不是所有的數據都是有用的，你要將不同平臺的知識遷移過來也很不容易。

我們所要做的就是更精確地進行朋友推薦。如果一個人在某個平臺并沒有很多 connection，那么我們就應該考慮是否可以從別的社交平臺拿到關于他的數據，特別是那些已經很好建構的以及公共可用的數據。這會提高我們的推薦精度。

首先考慮我們能在一個社交網絡平臺獲得什么數據。顯然，我們可以根據用戶的定位、有什么朋友、什么時候比較活躍以及喜歡發表哪些方面的評論來挖掘到他的 who、where、what、when 的信息，我們稱之為「4W」。

其次，我們希望能夠通過多個社交平臺來進一步地提高推薦的精度。例如在 foursquare 和 twitter 上有些用戶我們知道他們是同一個人，因為他們使用了相同的 ID（ Anchor Links）。但是很多人并沒有對應關系（Non-Anchor Links）。我們把這樣的兩個（多個）網絡合起來稱之為 Partially Aligned Social Networks。

另外一個我們需要考慮的問題是怎么去表示關系的遠近。假設我們有一個 target 社交網絡，其他社交網絡可以和它有某種連接。我們將 target 網絡中每個人 embedding 到一個表示空間中。在表示空間中距離相近的就可以考慮推薦做朋友。

下面我們首先考慮怎么把「4W」的異質網絡信息融合在一起。

對這種異質數據，我們使用一個 Network Schema 來表示，也即將 what、who、when、where 等通過網絡的形式連接起來。

這里我們定義一個概念，叫「meta paths」，也即每兩個用戶之間的連接路徑。于是考慮兩個不相連的用戶U1和U2是否可以推薦做朋友，根據上面「4W」的異質網絡信息，有兩種考慮：

1）兩個用戶如果 follow 同一個人，或者被同一個人 follow，那么這兩個人就有一定的相似，這是同質路徑。

2）如果兩個人發布的信息有相同的 word、相同的 location 或者相同的 time，那么他們在異質網絡中也可以通過異質路徑連接起來。

根據這兩種方式，我們就可以對每種類型的數據畫一張關系圖。

這些關系圖的數據類型是同質的，也即我們將「4W」的異質網絡信息融合了起來。接下來我們就可以用這些同質數據來做深度學習了。

我們再來看多平臺數據之間怎么融合。

在兩個社交網絡平臺，例如 Twitter 和 FourSquare，有些用戶擁有相同的 ID，我們知道它們是同一個人。如前面所說，A1 和 A2 之間就構成了一個 Anchor Link。類似的這些 Anchor Links 作為兩個網絡的橋梁，將兩個網絡連接了起來。如上圖，在 網絡 1 中 C1 和 D1 之間沒有聯系，但是經過與網絡 2 之間的 Anchor Links 后，C1 和 D1建立了聯系。

如果將 word、location、time 加進去，構建的將是更加復雜的網絡，但考慮的方式是類似的。

基于以上的考慮，我們構建出了這個 DIME 模型。這個模型首先在單個網絡內部將異質信息進行融合，然后再將多平臺信息融合在一起進行深度學習訓練。

這是我們的數據集，用的仍是 Foursquare 和 Twitter 的數據。

這是對比的幾個模型。對朋友推薦評測的標準為AUC、精度、Recall 和 F1。

實驗的結果可以看到，在關系預測中，無論是 AUC、精度、Recall 還是 F1 等評價標準上，DIME（EIME-SH）的結果相比其他幾種方法（Auto-encoder、LINE、DeepWalk）都要好很多。

同樣這種方法也可以做社群檢測，結果也都比別的方法好。

總結就是，我們將網絡中的異質數據以及不同平臺的數據融合在一起可以做出更加精確的朋友推薦（或 Link Prediction）以及 Community Detection。

問題三：Q&A 中的文本挖掘

最后我們看在 Q&A 中怎么做 text mining。

一個問答，尤其是較為復雜、深度的問答最重要的就是理解 query 是哪一類的問題，以及該回答什么類型的答案。

我們以在線醫療問答為例。上面是病人在線咨詢的一些藥物相關的問題。對于機器來說，這些問題并不是那么容易回答。它們不像政治和體育類的問答只需要上下文的背景就可以明白用戶咨詢的意圖。對于醫療上的這些問題，例如「做完胃部手術后多久可以吃辛辣的食物？」，「胃部手術」和「辛辣食物」結合在一起，即使機器有關于這兩者的背景信息，可以也并不是很容易檢測出用戶的意圖。

我們該怎么做呢？

對于這種類型的問答，我們通過分析后發現，它其實包含兩部分。

一部分是用戶知道的信息，一部分是用戶需要的信息，我們用<s, n>表示。例如<symptom，medicine>對，用戶描述的是他知道的癥狀，他需要的是藥物信息。我們還可以構建<symptom，diet>等類型的信息對。

事實上除了 Symptom 外，還有 Medicine、Disease、Examine、Surgery 等。如上圖所示，我們通過有向箭頭表示這種關系對。

設計問答系統，我們首先要考慮的是數據源是什么，以及怎么去表示它們。

我們發現在這種問答系統中單獨地用 Word Embedding 一種表示并不充分，因為我們還要考慮不同的信息類型（例如 s 是 Symptom 還是 Surgery）。因此我們生成了另一種視角的表示，即 POS（part of speech）tag。從這個方面來看，其實這就是一個 Multi-view Learning 問題。

對于詞表示學習，我們選擇大約 6400 萬條無標記的 query 數據進行單獨訓練，并學習到一個 100 維的離散表示。

POS tags 包括一般的詞性標記，例如名詞、動詞、形容詞等。另外就是特殊領域名詞，在我們的研究中共標記了 80726 個詞，其中 Top3 的為 n_disease（25259）、n_medicine（22689）、n_symptom（14726）。需要特別強調的是，重要的輔助信息可以幫助模型識別醫療 query 中的特殊話題詞匯。

這是我們的模型。在這個模型中，可以看到我們首先將 question 分別表示為 word 和 POS tags 數據，并將它們 embedding 到相應空間中，隨后單獨進行 CNN 訓練，再然后將它們訓練的結果融合在一起編碼，分別得到 Concept 和 Concept Transition。通過這兩者我們可以得到更好的問答效果。

我們也和一些 Baseline 的方法進行了比較。

從這個圖中，可以看出我們用 Concept 和 Concept Transition 的方法（NNID-FC）效果比其他兩種好。

總結來說，我在這里用這個例子說明了怎么做 Multi-view 的廣度學習。

總結

在大數據時代，數據是最為寶貴的資源。對個人和企業來講，對大數據的挖掘將是一次顛覆性的機會；當然大數據有四個「V」，所以對大數據的挖掘同時也是一種挑戰。

我們今天的講座主要是解決大數據的 Variety，也即通過融合異質數據源來進行廣度學習。

真實生活中的數據一般都不是只有一個數據源，而是要融合多個數據源才行。因此有效的學習應當同時需要廣度和深度。

總結

以上是生活随笔為你收集整理的Philip S. Yu 讲的广度学习到底是什么？的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。