徐亦達團隊在 Asian Conference on Machine Learning 的發表了兩篇機器學習論文，本人得到徐老師授權在本站發布論文。

• 論文 1：Realistic Image Generation using Region-phrase Attention

• 論文 2：Efficient Diversified Mini-Batch Selection using Variable High-layer Features

論文第一作者：黃皖鳴，徐亦達老師的博士生

徐亦達教授簡介：

現任悉尼科技大學教授，UTS 全球數據技術中心機器學習和數據分析實驗室主任。主要研究方向是機器學習，數據分析和計算機視覺。他在國際重要期刊與會議發表數篇高影響因子論文；編寫了大量的數理統計、概率和機器學習教材。

徐老師的 github：

https://github.com/roboticcam

優酷：

http://i.youku.com/i/UMzIzNDgxNTg5Ng

論文介紹

1. Realistic Image Generation using Region-phrase Attention

論文作者：Wanming Huang, Richard Yi Da Xu, Ian Oppermann

論文鏈接：

http://proceedings.mlr.press/v101/huang19a/huang19a.pdf

https://arxiv.org/abs/1902.05395v1

論文摘要

使用對象區域和短語間注意力機制的圖像生成

在應用了注意力機制后，對抗生成網絡已經在從文本合成圖像領域取得了顯著進展。然而當前的算法僅僅將注意力機制應用于規則網格區域和單個單詞之間。這些方法足以生成前景中包含單個物體的圖像。然而，自然語言通常描述了復雜的前景物體。在這種情況下，基于規則網格區域的注意力權重不一定會集中在預期的前景區域上，這會造成生成的圖像看上去不自然。此外，除非將多個單詞，如“a”、“blue”和“shirt”，一起使用，否則單個單詞并不能提供完整的圖像信息。因此我們在論文中提出，在對象網格區域和短語之間引入一組額外的注意力關系。其中對象網格區域由輔助邊界框定義，用于在生成過程中指示短語對齊。

2.Efficient Diversified Mini-Batch Selection using Variable High-layer Features

論文作者：Wanming Huang, Richard Yi Da Xu, Ian Oppermann

論文鏈接：

http://proceedings.mlr.press/v101/huang19b/huang19b.pdf

論文摘要

使用可變深層特征向量進行高效的迷你批次采樣

隨機梯度下降（SGD）在訓練各種深層神經網絡中得到了廣泛的應用。這種訓練方式不是一次性使用完整的數據集，而是在每次梯度下降迭代期間選擇小批量數據進行訓練。在不知道真實數據分布的情況下，人們通常使用隨機采樣來選擇每個迷你批次。之前的研究表明使用行列式點過程(DPP)采樣來代替隨機采樣，從而避免具有高度相關的樣本出現在同一個迷你批次，可以有效提升訓練效率。然而前人的工作使用了固定的特征向量來構建 DPP 采樣，這在在深度網絡訓練中是存在局限性的。在本文中，我們提出使用可訓練的高層特征,這些特征會在每次迭代時更新。同時為了避免采樣計算量過大的問題，本文在加快 DPP 采樣速度方面提出如下改進，包括：

• （1）采取分層抽樣方式，將一個具有大格拉姆矩陣的 DPP 采樣分解成多個具有較小格拉姆矩陣的 DPP 抽樣；

• （2）采用馬爾科夫 k-DPP 方法，鼓勵不同迷你批次之間的多樣性。實驗結果表明，與之前的方法相比，我們的算法顯著提升了深層神經網絡的收斂速度。

在MNIST的效果

總結

論文下載：

• Realistic Image Generation using Region-phrase Attention

  http://proceedings.mlr.press/v101/huang19a/huang19a.pdf

• Efficient Diversified Mini-Batch Selection using Variable High-layer Features

  http://proceedings.mlr.press/v101/huang19b/huang19b.pdf

不多說了，徐亦達老師團隊出品，必屬精品，建議下載慢慢看。

備注：公眾號菜單包含了整理了一本AI小抄，非常適合在通勤路上用學習。

往期精彩回顧 那些年做的學術公益-你不是一個人在戰斗適合初學者入門人工智能的路線及資料下載機器學習在線手冊深度學習在線手冊備注：加入本站微信群或者qq群，請回復“加群”加入知識星球（4500+用戶，ID：92416895），請回復“知識星球”

喜歡文章，點個在看

總結

以上是生活随笔為你收集整理的首发：徐亦达教授团队最新发表的两篇机器学习论文的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。