去年 DeepMind 作出決定，將全部研究搬到 TensorFlow 框架上進(jìn)行。近一年時間過去，回頭來看，DeepMind 認(rèn)為這項(xiàng)選擇十分正確——許多模型的學(xué)習(xí)過程大幅加速；TensorFlow 內(nèi)置的分布式訓(xùn)練功能，還幫助工程師們極大得精簡了代碼在這過程中，DeepMind 發(fā)現(xiàn)：TensorFlow 的靈活性和可適性，使得以它為基礎(chǔ)、為特定任務(wù)開發(fā)專用高級框架變得十分可行。

DeepMind 就開發(fā)了一個能在 TensorFlow 上快速創(chuàng)建神經(jīng)網(wǎng)絡(luò)模塊的高級框架，名為 Sonnet兩天前，其代碼被上傳到?GitHub。昨夜，DeepMind 在官方博客宣布了這一消息：Sonnet 正式開源。

對于 TensorFlow 而言，自從其在 2015 年末開源，一個由眾多高級算法庫組成的多樣生態(tài)系統(tǒng)，便已圍繞著它迅速發(fā)展起來。這些高級工具，允許常用任務(wù)以更簡便、更快的方式完成，極大節(jié)省了開發(fā)者的時間精力。

作為該生態(tài)的新成員，Sonnet 也是如此。它與現(xiàn)有的神經(jīng)網(wǎng)絡(luò)算法庫有許多共同點(diǎn)，但部分功能專為 DeepMind 的研究需要而設(shè)計(jì)。

這并不是 Sonnet 的源代碼頭一回被公開—幾個月前 DeepMind 開源的算法庫 “Learning to learn”，以及去年 6月發(fā)表的論文?《Learning to learn?by gradient descent by gradient descent》，就包含了早期的?Sonnet 代碼?，F(xiàn)在，該算法庫的完全版本以 “Sonnet” 新名稱重新包裝。

DeepMind 在博客上表示：

“我們?nèi)栽诓粩嚅_發(fā)這一代碼庫，但當(dāng)前版本已經(jīng)對我們的研究貢獻(xiàn)巨大。接下來的代碼發(fā)布，將以今日發(fā)布的版本為基礎(chǔ)。

向公眾開源?Sonnet，能方便?DeepMind 與深度學(xué)習(xí)社區(qū)分享我們的算法模型。當(dāng)然，我們也殷切希望，Sonnet 能夠幫助社區(qū)同仁將研究更進(jìn)一步。最近幾個月，我們已經(jīng)開源了公司的旗艦平臺 ?DeepMind Lab，并正在和動視暴雪合作，針對《星際爭霸 2 》的AI 研究開發(fā)開源 API 。更多工具的發(fā)布正在路上，我們將會在官網(wǎng)開源頁面與大家分享，敬請期待?！?/p>

技術(shù)特點(diǎn)

Sonnet ?走的是面向?qū)ο?#xff08;object-oriented）的路子，與 Torch/NN 類似，使得定義某些運(yùn)算前饋通路（forward pass）的模塊能夠被創(chuàng)建出來。模塊使用輸入?Tensor 來調(diào)用，這向計(jì)算圖（Graph）添加任務(wù)，并返回輸出?Tensor。其中一項(xiàng)設(shè)計(jì)目標(biāo)，是確保以透明的方式進(jìn)行變量分享。這是通過對同個模塊接下來的調(diào)用，自動重復(fù)使用變量來實(shí)現(xiàn)。

DeepMind 認(rèn)為，許多深度學(xué)習(xí)文獻(xiàn)中的模型，可被看做是一個等級結(jié)構(gòu)（hierarchy）。比方說，一個 Differentiable Neural Computer （可微分神經(jīng)計(jì)算機(jī)）包含一個控制器，這有可能是一個?LSTM，后者可按照包含標(biāo)準(zhǔn)線性層的形式來執(zhí)行。DeepMind 發(fā)現(xiàn)，編寫明確代表了子模塊的代碼，使得代碼重復(fù)使用變得更容易，試驗(yàn)變得更快。因此，對于能在內(nèi)部?declare 其他子模塊的模塊，Sonnet 支持鼓勵其編寫；或者在模型創(chuàng)建期間傳遞給其他模塊。

DeepMind 認(rèn)為十分有用的另外一項(xiàng)技術(shù)，是允許特定模塊在隨機(jī)聚集的 Tensor 群組上運(yùn)行。RNN 的狀態(tài)，最適合于以異構(gòu)?Tensor 集合來表示，用扁平列表來表示它們很容易會導(dǎo)致錯誤。Sonnet 提供了處理這些隨機(jī)等級結(jié)構(gòu)的功能，所以改變你的試驗(yàn)，使用另一種 RNN，并不需要繁冗地修改代碼。DeepMind 已經(jīng)對核心?TensorFlow 做了修改，以更好地支持這一使用情況。

Sonnet 專為?TensorFlow 而設(shè)計(jì)，因此并不會導(dǎo)致用戶無法訪問底層細(xì)節(jié)，比如?Tensors 和 variable_scopes。在?Sonnet 中編寫的模型，可與原始?TensorFlow 代碼自由地混在一起，和其他高級算法庫也可以。

最后，DeepMind 在博客上表示將會不斷更新?Sonnet，使開源版本與公司內(nèi)部使用版本相吻合。

總結(jié)

以上是生活随笔為你收集整理的DeepMind发布Sonnet 帮你用TensorFlow快速搭建神经网络的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。