作者丨蘇劍林

單位丨追一科技

研究方向丨NLP，神經網絡

個人主頁丨kexue.fm

前些天刷 arXiv 看到新文章 Self-Orthogonality Module: A Network Architecture Plug-in for Learning Orthogonal Filters（下面簡稱“原論文”），看上去似乎有點意思，于是閱讀了一番，讀完確實有些收獲，在此記錄分享一下。?

給全連接或者卷積模型的核加上帶有正交化傾向的正則項，是不少模型的需求，比如大名鼎鼎的 BigGAN 就加入了類似的正則項。而這篇論文則引入了一個新的正則項，筆者認為整個分析過程頗為有趣，可以一讀。

為什么希望正交？

在開始之前，我們先約定：本文所出現的所有一維向量都代表列向量。那么，現在假設有一個 d 維的輸入樣本?，經過全連接或卷積層時，其核心運算就是：

其中??是一個矩陣，它就被稱“核”（全連接核/卷積核），而??是該矩陣的各個列向量。上式也可以寫成：

直觀來看，可以認為??代表了 k 個不同的視角，而 y 就是 x 在這 k 個視角之下的觀測結果。

既然有 k 個視角，那么為了減少視角的冗余（更充分的利用所有視角的參數），我們自然是希望各個視角互不相關（舉個極端的例子，如果有兩個視角一模一樣的話，那這兩個視角取其一即可）。而對于線性空間中的向量來說，不相關其實就意味著正交，所以我們希望：

這便是正交化的來源。

常見的正交化方法

矩陣的正交化跟向量的歸一化有點類似，但是難度很不一樣。對于一個非零向量 w 來說，要將它歸一化，只需要??就行了，但矩陣正交化并沒有類似手段。讀者可能會想到“格拉姆-施密特正交化”，但這個計算成本有點大，而且它的不對稱性也是一個明顯的缺點。?

當然，一般來說我們也不是非得要嚴格的正交，所以通常的矩陣正交化的手段其實是添加正交化相關的正則項，比如對于正交矩陣來說我們有?，所以我們可以添加正則項：

這里的范數 ||?|| 可以用矩陣 2 范數或矩陣 F 范數（關于矩陣范數的概念，可以參考深度學習中的Lipschitz約束：泛化與生成模型）。此外，上面這個正則項已經不僅是希望正交化了，而且同時還希望歸一化（每個向量的模長為 1），如果只需要正交化，則可以把對角線部分給 mask 掉，即：

BigGAN 里邊添加的就是這個正則項。

論文提出來的正則項

而原論文提出的也是一個新的正交正則項，里邊包含一些有意思的討論和推導，并做實驗證明了它的有效性。?

局部敏感哈希

原論文的出發點是如下的引理：

設??是給定兩個向量，?是它們的夾角，X 是 d 維單位超球面，x～X 代表在 X 上隨機選一個向量。此時我們有如下結果：

其中 sgn 是符號函數，即：

這個引理是關于余弦相似度的“局部敏感哈希”的直接推論，而局部敏感哈希（Locality Sensitive Hashing）則源自論文 Similarity Estimation Techniques from Rounding Algorithms，如果要追溯證明的話，可以沿著這條路線走。?

乍看上去 (6) 就是一個普通的數學公式結論，但事實上它蘊含了更豐富的意義，它允許我們將兩個實數連續向量的相似度（近似地）轉化為兩個二值向量（-1 和 1）的相似度。而轉化為二值向量后，則相當于轉化成為了一個“詞-文檔”矩陣，這允許我們建立索引來加速檢索。換句話說，這能有效地提高實數連續向量的檢索速度！

優化目標形式

直接看式 (6) 的定義，它的導數恒為 0，但我們可以得到它的某種光滑近似。假設我們已經得到了 ? 的某個光滑近似，那么我們就可以用它來構建正交正則項。原論文構建的正則項是：

很明顯，這個正則項希望?，而 意味著?，也就是 W 的兩兩向量相互垂直。相對而言，λ1 控制的正則項柔和一些，它只希望??的均值為 0，而 λ2 則強硬一些，它希望所有的??都等于0。

考慮到實際問題可能比較復雜，我們不應當對模型進行過于強硬的約束，所以原論文讓 λ1>λ2，具體值是 λ1=100, λ2=1。

插入到模型中

現在讓我們來考慮 的實際估算問題。?

首先，我們換一個角度來理解一下式 (6) 。假若我們采樣 b 個樣本??去估算 ，就有：

這里：

這個形式變換最巧的地方在于，由于 y 的元素不是 1 就是 -1，因此 y 的模長剛好就是?，所以因子 1/b 剛好就等價于將??都歸一化！

此外，值得提出的是，不管是(6)還是(8)其實都跟各??的模長沒關系，因為 sgn(x)=sgn(|λ|x)。前面那個引理之所以要求在“單位超球面”上采樣，只是為了強調采樣方向（而不是模長）的均勻性。

理解到這里，我們就可以理清的 ?估計流程了：

?估計流程：

1. 隨機初始化一個 d×b 的矩陣（看成 b 個 d 維向量時，模長不限，方向盡量均勻）；

2. 計算?，得到兩個 b 維向量，然后用 sgn 函數激活，然后各自做 l 2歸一化，最后算內積；

3. 如果要求光滑近似的話，可以用 sgn(x)≈tanh(γx)，原論文用了 γ=10。

X 怎么選好呢？原論文直接將它選擇為當前 batch 的輸入。回到 (1) ，一般來說，神經網絡的輸入就是一個 b×d 的矩陣，我們就可以把它當成?，這時候 b 就是 batch size，而接下來神經網絡會跟 做乘法，得到輸出?，這剛好對應著“?估計流程”中 k 個核向量??的算出來的 k 個 b 維向量?。這樣的話我們連 估計流程中的大部分計算量都省掉了，直接根據模型當前層的輸出就可以估算了。?

注：如果讀者去看原論文，會發現原論文這部分的描述跟博客的描述不大一樣（主要是原論文第三節 Experiments 上方兩個段落），根據我對文章整體思路的理解，筆者認為原論文該段落的描述是錯誤的（主要是 D、d 的含義搞亂了），而博客中的寫法才是正確的。

總的來說，最終估算 ?的方案是：

1. 當前層的輸入?，而核矩陣 ，做矩陣乘法后輸出 ；?

2. 對 用 tanh (γx) 激活，然后在 b 的那一維（即 batch size 那一維）做 l2 歸一化；?

3. 計算?，得到 k × k 的矩陣，這就是所有的 。?

4. 有了 ?之后，就可以代入式 (7) 算正則項了，由于正則項是利用模型自身的輸出來構建的，所以稱之為“自正交化正則項”。

跟BN的聯系

另外，原論文中作者猜測，“在 b 的那一維（即 batch size 那一維）做 l2 歸一化”這個操作跟 BN 有點類似，所以加了自正交化正則項后，模型或許可以不用加BN了。

個人認為這個猜測有點勉強，因為這個操作僅僅是在計算正則項時用到，并不影響模型正常的前向傳播過程，因此不能排除 BN 的必要性。

此外，在本身的“ 估計流程”中，我們要求 X 各個向量的方向盡量均勻，但后面我們直接選取當前層的輸入（的轉置）作為 X ，無法有效地保證方向均勻，而加入 BN 后，理論上有助于讓輸入的各個向量方向更加均勻些，所以就更不能排除 BN 了。事實上，原論文的實驗也并不完全支持作者這個猜測。

實驗與個人分析

寫了這么長，推導了一堆公式，總算把原論文中的正則項給推導出來了。接下來作者的確做了不少實驗驗證了這個正則項的有效性，總的結論就是確實能讓核矩陣的向量夾角的分布更接近兩兩正交，此外還能帶來一定的（微弱的）提升，而不是像已有的正交正則項那樣只能保證正交卻通常會掉點。?

具體的實驗結果請讀者自己看原論文好了，放到這里也沒有什么意思。此外盡管作者做了不少實驗，但我還是覺得實驗不夠完善，因為作者大部分的實驗做的都只是點云（point cloud）的實驗，常規的分類實驗就只做了 cifar-10，過于簡略。?

最后，那為什么這個正交正則項（似乎）會更有效呢？個人認為可能是新的正則項相對來說更柔和的結果，不管是 (4) 還是 (5) ，它們都是對單個內積（夾角）的懲罰，而原論文的 (7) 則是更傾向于從角度的分布這么一個整體視角來實現正交懲罰。此外，新的正則項涉及到了 tanh ，它存在飽和區，也就是意味著像 hinge loss 一樣它會對懲罰做了一個截斷，進一步使得懲罰更為柔和。

文章小結

本文主要簡單介紹了一下最近 arXiv 上的一篇論文，論文指出已有正交正則項都并不能提高模型的準確率，所以作者引入了一個新的正交正則項，并且做了相應的評估，結論了自己的正則項不僅能促進正交，而且能帶來一定的結果提升。

最后，由于筆者之前并沒有了解過相關內容（尤其是前面的“局部敏感哈希”相關部分），只是偶然在 arXiv 上讀到這篇論文，覺得頗有意思，遂來分享一翻，如有任何不當錯漏之處，敬請讀者理解并不吝指正。

點擊以下標題查看作者其他文章：?

• 當Bert遇上Keras：這可能是Bert最簡單的打開姿勢

• 玩轉Keras之Seq2Seq自動生成標題 | 附開源代碼

• 一文讀懂「Attention is All You Need」| 附代碼實現

• 基于CNN的閱讀理解式問答模型：DGCNN
  

• 基于DGCNN和概率圖的輕量級信息抽取模型

• ICLR 2019最佳論文 | 用有序神經元表達層次結構

#投 稿 通 道#

?讓你的論文被更多人看到?

如何才能讓更多的優質內容以更短路徑到達讀者群體，縮短讀者尋找優質內容的成本呢？答案就是：你不認識的人。

總有一些你不認識的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學者和學術靈感相互碰撞，迸發出更多的可能性。

PaperWeekly 鼓勵高校實驗室或個人，在我們的平臺上分享各類優質內容，可以是最新論文解讀，也可以是學習心得或技術干貨。我們的目的只有一個，讓知識真正流動起來。

?????來稿標準：

? 稿件確系個人原創作品，來稿需注明作者個人信息（姓名+學校/工作單位+學歷/職位+研究方向）?

? 如果文章并非首發，請在投稿時提醒并附上所有已發布鏈接?

? PaperWeekly 默認每篇文章都是首發，均會添加“原創”標志

???? 投稿郵箱：

? 投稿郵箱：hr@paperweekly.site?

? 所有文章配圖，請單獨在附件中發送?

? 請留下即時聯系方式（微信或手機），以便我們在編輯發布時和作者溝通

????

現在，在「知乎」也能找到我們了

進入知乎首頁搜索「PaperWeekly」

點擊「關注」訂閱我們的專欄吧

關于PaperWeekly

PaperWeekly 是一個推薦、解讀、討論、報道人工智能前沿論文成果的學術平臺。如果你研究或從事 AI 領域，歡迎在公眾號后臺點擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。

▽ 點擊 |?閱讀原文?| 查看作者博客

總結

以上是生活随笔為你收集整理的Self-Orthogonality Module：一个即插即用的核正交化模块的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。