http://blog.csdn.net/a1154761720/article/details/51516273

MMD：maximum mean discrepancy。最大平均差異。最先提出的時候用于雙樣本的檢測（two-sample test）問題，用于判斷兩個分布p和q是否相同。它的基本假設是：如果對于所有以分布生成的樣本空間為輸入的函數f，如果兩個分布生成的足夠多的樣本在f上的對應的像的均值都相等，那么那么可以認為這兩個分布是同一個分布。現在一般用于度量兩個分布之間的相似性。在[1]中從任意空間到RKHS上介紹了MMD的計算，這里根據這個順序來介紹。?

1.任意函數空間（arbitary function space）的MMD?
具體而言，基于MMD（maximize mean discrepancy）的統計檢驗方法是指下面的方式：基于兩個分布的樣本，通過尋找在樣本空間上的連續函數f，求不同分布的樣本在f上的函數值的均值，通過把兩個均值作差可以得到兩個分布對應于f的mean discrepancy。尋找一個f使得這個mean discrepancy有最大值，就得到了MMD。最后取MMD作為檢驗統計量（test statistic），從而判斷兩個分布是否相同。如果這個值足夠小，就認為兩個分布相同，否則就認為它們不相同。同時這個值也用來判斷兩個分布之間的相似程度。如果用F表示一個在樣本空間上的連續函數集，那么MMD可以用下面的式子表示：?
?
假設X和Y分別是從分布p和q通過獨立同分布(iid)采樣得到的兩個數據集，數據集的大小分別為m和n。基于X和Y可以得到MMD的經驗估計(empirical estimate)為：?
?
在給定兩個分布的觀測集X,Y的情況下，這個結果會嚴重依賴于給定的函數集F。為了能表示MMD的性質：當且僅當p和q是相同分布的時候MMD為0，那么要求F足夠rich；另一方面為了使檢驗具有足夠的連續性（be consistent in power），從而使得MMD的經驗估計可以隨著觀測集規模增大迅速收斂到它的期望，F必須足夠restrictive。文中證明了當F是universal RKHS上的（unit ball）單位球時，可以滿足上面兩個性質。?
2.再生核希爾伯特空間的MMD（The MMD In reproducing kernel Hilbert Spaces）：?
這部分講述了在RHKS上單位球（unit ball）作為F的時，通過有限的觀測來對MMD進行估計，并且設立一些MMD可以用來區分概率度量的條件。?
在RKHS上，每個f對應一個feature map。在feature map的基礎上，首先對于某個分布p定義一個mean embedding of p，它滿足如下的性質：?
?
mean embedding存在是有約束條件的[1]。在p和q的mean embedding存在的條件下，MMD的平方可以表示如下：?
?
下面是關于MMD作為一個Borel probability measures時，對F的一個約束及其證明，要求F：be a unit ball in a universal RKHS。比如Gaussian和Laplace RKHSs。進一步在給定了RKHS對應核函數，這個MMD的平方可以表示：?

x和x’分別表示兩個服從于p的隨機變量，y和y‘分別表示服從q的隨機變量。對于上面的一個統計估計可以表示為：?

對于一個two-sample test, 給定的null hypothesis: p和q是相同，以及the alternative hypothesis: p和q不等。這個通過將test statistic和一個給定的閾值相比較得到，如果MMD大于閾值，那么就reject null hypothesis，也就是兩個分布不同。如果MMD小于某個閾值，就接受null hypothesis。由于MMD的計算時使用的是有限的樣本數，這里會出現兩種類型的錯誤：第一種錯誤出現在null hypothesis被錯誤的拒絕了；也就是本來兩個分布相同，但是卻被判定為相同。反之，第二種錯誤出現在null hypothesis被錯誤的接受了。文章[1]中提供了許多關于hypothesis test的方法，這里不討論。?
在domain adaptation中，經常用到MMD來在特征學習的時候構造正則項來約束學到的表示，使得兩個域上的特征盡可能相同。從上面的定義看，我們在判斷兩個分布p和q的時候，需要將觀測樣本首先映射到RKHS空間上，然后再判斷。但實際上很多文章直接將觀測樣本用于計算，省了映射的那個步驟。

reference?
[1] A kernel two sample test?
[2] Optimal kernel choice for large-scale two-sample tests?
[3] Deep domain confusion: maximizing for domain invariance?
[4] Learning transferable feature with deep adaptation nets?
[5] Deep transfer network：Unsupervised domain adaptation?
[6] Adaptive visual category models to new domains?
[7] Geodesic flow kernel for unsupervised domain adaptation?
[8] Transfer sparse coding for robust image representation

創作挑戰賽新人創作獎勵來咯，堅持創作打卡瓜分現金大獎

總結

以上是生活随笔為你收集整理的maximum mean discrepancy的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。