1、如何選擇深度學習框架 TensorFlow/Torch/Mxnet/Theano

深度學習目前的應用領域很多，主要是計算機視覺和自然語言處理，以及各種預測等。對于計算機視覺，可以做圖像分類、目標檢測、視頻中的目標檢測等，對于自然語言處理，可以做語音識別、語音合成、對話系統、機器翻譯、文章摘要、情感分析等。
對于剛入行深度學習，想從事人工智能工業應用和研發的小白來說，選擇一個適合自己的深度學習框架顯得尤為重要。那么在選擇深度學習框架的時候，要注意哪些內容呢?
通常我們在選擇框架時要考慮易用性、性能、社區、平臺支持等問題。初學者應該考慮容易上手的框架，偏工業應用的開發者可以考慮使用穩定性高、性能好的框架，偏研究性的開發者，一般選擇易用而且有領先的模型基線的框架。
目前這個階段，TensorFlow因為背靠谷歌公司這座靠山，再加上擁有龐大的開發者群體，而且采用了稱為“可執行的偽代碼”的Python語言，成為最受歡迎的主流框架之一。一些外圍的第三方庫(如Keras、TFLearn)也基于它實現了很多成果，Keras還得到TensorFlow官方的支持。TensorFlow支持的上層語言也在逐漸擴大，對于不同工程背景的人轉入的門檻正在降低。
因此，對于剛入行深度學習的小白，TensorFlow是一個非常好的選擇，掌握TensorFlow對以后的求職發展很有幫助。
為了讓大家更快地掌握深度學習技術，成為人工智能領域高端人才，中公教育聯合中科院自動化研究所專家，強力推出人工智能《深度學習》，讓大家學有所成、真正掌握機器學習模型以及算法背后的原理。

谷歌人工智能寫作項目：小發貓

2、哪一個神經網絡框架的運算速度最快

看應用谷歌神經網絡計算框架。 有的處理快， 有的跑樣本快。。 不同的模型也有不同的性能。我推薦tensorflow吧， gpu兼容性好， 開源， 案例多。 我們學校目前在用呢

3、如何用PyTorch實現遞歸神經網絡

從 Siri 到谷歌翻譯，深度神經網絡已經在機器理解自然語言方面取得了巨大突破。這些模型大多數將語言視為單調的單詞或字符序列，并使用一種稱為循環神經網絡（recurrent neural network/RNN）的模型來處理該序列。但是許多語言學家認為語言最好被理解為具有樹形結構的層次化詞組，一種被稱為遞歸神經網絡（recursive neural network）的深度學習模型考慮到了這種結構，這方面已經有大量的研究。雖然這些模型非常難以實現且效率很低，但是一個全新的深度學習框架 PyTorch 能使它們和其它復雜的自然語言處理模型變得更加容易。
雖然遞歸神經網絡很好地顯示了 PyTorch 的靈活性，但它也廣泛支持其它的各種深度學習框架，特別的是，它能夠對計算機視覺（computer vision）計算提供強大的支撐。PyTorch 是 Facebook AI Research 和其它幾個實驗室的開發人員的成果，該框架結合了 Torch7 高效靈活的 GPU 加速后端庫與直觀的 Python 前端，它的特點是快速成形、代碼可讀和支持最廣泛的深度學習模型。
開始 SPINN
鏈接中的文章（）詳細介紹了一個遞歸神經網絡的 PyTorch 實現，它具有一個循環跟蹤器（recurrent tracker）和 TreeLSTM 節點，也稱為 SPINN——SPINN 是深度學習模型用于自然語言處理的一個例子，它很難通過許多流行的框架構建。這里的模型實現部分運用了批處理（batch），所以它可以利用 GPU 加速，使得運行速度明顯快于不使用批處理的版本。
SPINN 的意思是堆棧增強的解析器-解釋器神經網絡（Stack-augmented Parser-Interpreter Neural Network），由 Bowman 等人于 2016 年作為解決自然語言推理任務的一種方法引入，該論文中使用了斯坦福大學的 SNLI 數據集。
該任務是將語句對分為三類：假設語句 1 是一幅看不見的圖像的準確標題，那么語句 2（a）肯定（b）可能還是（c）絕對不是一個準確的標題？（這些類分別被稱為蘊含（entailment）、中立（neutral）和矛盾（contradiction））。例如，假設一句話是「兩只狗正跑過一片場地」，蘊含可能會使這個語句對變成「戶外的動物」，中立可能會使這個語句對變成「一些小狗正在跑并試圖抓住一根棍子」，矛盾能會使這個語句對變成「寵物正坐在沙發上」。
特別地，研究 SPINN 的初始目標是在確定語句的關系之前將每個句子編碼（encoding）成固定長度的向量表示（也有其它方式，例如注意模型（attention model）中將每個句子的每個部分用一種柔焦（soft focus）的方法相互比較）。
數據集是用句法解析樹（syntactic parse tree）方法由機器生成的，句法解析樹將每個句子中的單詞分組成具有獨立意義的短語和子句，每個短語由兩個詞或子短語組成。許多語言學家認為，人類通過如上面所說的樹的分層方式來組合詞意并理解語言，所以用相同的方式嘗試構建一個神經網絡是值得的。下面的例子是數據集中的一個句子，其解析樹由嵌套括號表示：
( ( The church ) ( ( has ( cracks ( in ( the ceiling ) ) ) ) . ) )
這個句子進行編碼的一種方式是使用含有解析樹的神經網絡構建一個神經網絡層 Reduce，這個神經網絡層能夠組合詞語對（用詞嵌入（word embedding）表示，如 GloVe）、 和/或短語，然后遞歸地應用此層（函數），將最后一個 Reduce 產生的結果作為句子的編碼：
X = Reduce(“the”, “ceiling”)
Y = Reduce(“in”, X)
... etc.
但是，如果我希望網絡以更類似人類的方式工作，從左到右閱讀并保留句子的語境，同時仍然使用解析樹組合短語？或者，如果我想訓練一個網絡來構建自己的解析樹，讓解析樹根據它看到的單詞讀取句子？這是一個同樣的但方式略有不同的解析樹的寫法：
The church ) has cracks in the ceiling ) ) ) ) . ) )
或者用第 3 種方式表示，如下：
WORDS: The church has cracks in the ceiling .
PARSES: S S R S S S S S R R R R S R R
我所做的只是刪除開括號，然后用「S」標記「shift」，并用「R」替換閉括號用于「reduce」。但是現在可以從左到右讀取信息作為一組指令來操作一個堆棧（stack）和一個類似堆棧的緩沖區（buffer），能得到與上述遞歸方法完全相同的結果：
1. 將單詞放入緩沖區。
2. 從緩沖區的前部彈出「The」，將其推送（push）到堆棧上層，緊接著是「church」。
3. 彈出前 2 個堆棧值，應用于 Reduce，然后將結果推送回堆棧。
4. 從緩沖區彈出「has」，然后推送到堆棧，然后是「cracks」，然后是「in」，然后是「the」，然后是「ceiling」。
5. 重復四次：彈出 2 個堆棧值，應用于 Reduce，然后推送結果。
6. 從緩沖區彈出「.」，然后推送到堆棧上層。
7. 重復兩次：彈出 2 個堆棧值，應用于 Reduce，然后推送結果。
8. 彈出剩余的堆棧值，并將其作為句子編碼返回。
我還想保留句子的語境，以便在對句子的后半部分應用 Reduce 層時考慮系統已經讀取的句子部分的信息。所以我將用一個三參數函數替換雙參數的 Reduce 函數，該函數的輸入值為一個左子句、一個右子句和當前句的上下文狀態。該狀態由神經網絡的第二層（稱為循環跟蹤器（Tracker）的單元）創建。Tracker 在給定當前句子上下文狀態、緩沖區中的頂部條目 b 和堆棧中前兩個條目 s1\s2 時，在堆棧操作的每個步驟（即，讀取每個單詞或閉括號）后生成一個新狀態：
context[t+1] = Tracker(context[t], b, s1, s2)
容易設想用你最喜歡的編程語言來編寫代碼做這些事情。對于要處理的每個句子，它將從緩沖區加載下一個單詞，運行跟蹤器，檢查是否將單詞推送入堆棧或執行 Reduce 函數，執行該操作；然后重復，直到對整個句子完成處理。通過對單個句子的應用，該過程構成了一個大而復雜的深度神經網絡，通過堆棧操作的方式一遍又一遍地應用它的兩個可訓練層。但是，如果你熟悉 TensorFlow 或 Theano 等傳統的深度學習框架，就知道它們很難實現這樣的動態過程。你值得花點時間回顧一下，探索為什么 PyTorch 能有所不同。
圖論
圖 1：一個函數的圖結構表示
深度神經網絡本質上是有大量參數的復雜函數。深度學習的目的是通過計算以損失函數（loss）度量的偏導數（梯度）來優化這些參數。如果函數表示為計算圖結構（圖 1），則向后遍歷該圖可實現這些梯度的計算，而無需冗余工作。每個現代深度學習框架都是基于此反向傳播（backpropagation）的概念，因此每個框架都需要一個表示計算圖的方式。
在許多流行的框架中，包括 TensorFlow、Theano 和 Keras 以及 Torch7 的 nngraph 庫，計算圖是一個提前構建的靜態對象。該圖是用像數學表達式的代碼定義的，但其變量實際上是尚未保存任何數值的占位符（placeholder）。圖中的占位符變量被編譯進函數，然后可以在訓練集的批處理上重復運行該函數來產生輸出和梯度值。
這種靜態計算圖（static computation graph）方法對于固定結構的卷積神經網絡效果很好。但是在許多其它應用中，有用的做法是令神經網絡的圖結構根據數據而有所不同。在自然語言處理中，研究人員通常希望通過每個時間步驟中輸入的單詞來展開（確定）循環神經網絡。上述 SPINN 模型中的堆棧操作很大程度上依賴于控制流程（如 for 和 if 語句）來定義特定句子的計算圖結構。在更復雜的情況下，你可能需要構建結構依賴于模型自身的子網絡輸出的模型。
這些想法中的一些（雖然不是全部）可以被生搬硬套到靜態圖系統中，但幾乎總是以降低透明度和增加代碼的困惑度為代價。該框架必須在其計算圖中添加特殊的節點，這些節點代表如循環和條件的編程原語（programming primitive），而用戶必須學習和使用這些節點，而不僅僅是編程代碼語言中的 for 和 if 語句。這是因為程序員使用的任何控制流程語句將僅運行一次，當構建圖時程序員需要硬編碼（hard coding）單個計算路徑。
例如，通過詞向量（從初始狀態 h0 開始）運行循環神經網絡單元（rnn_unit）需要 TensorFlow 中的特殊控制流節點 tf.while_loop。需要一個額外的特殊節點來獲取運行時的詞長度，因為在運行代碼時它只是一個占位符。
# TensorFlow
# (this code runs once, during model initialization)
# “words” is not a real list (it’s a placeholder variable) so
# I can’t use “len”
cond = lambda i, h: i < tf.shape(words)[0]
cell = lambda i, h: rnn_unit(words[i], h)
i = 0
_, h = tf.while_loop(cond, cell, (i, h0))
基于動態計算圖（dynamic computation graph）的方法與之前的方法有根本性不同，它有幾十年的學術研究歷史，其中包括了哈佛的 Kayak、自動微分庫（autograd）以及以研究為中心的框架 Chainer和 DyNet。在這樣的框架（也稱為運行時定義（define-by-run））中，計算圖在運行時被建立和重建，使用相同的代碼為前向通過（forward pass）執行計算，同時也為反向傳播（backpropagation）建立所需的數據結構。這種方法能產生更直接的代碼，因為控制流程的編寫可以使用標準的 for 和 if。它還使調試更容易，因為運行時斷點（run-time breakpoint）或堆棧跟蹤（stack trace）將追蹤到實際編寫的代碼，而不是執行引擎中的編譯函數。可以在動態框架中使用簡單的 Python 的 for 循環來實現有相同變量長度的循環神經網絡。
# PyTorch (also works in Chainer)
# (this code runs on every forward pass of the model)
# “words” is a Python list with actual values in it
h = h0
for word in words:
h = rnn_unit(word, h)
PyTorch 是第一個 define-by-run 的深度學習框架，它與靜態圖框架（如 TensorFlow）的功能和性能相匹配，使其能很好地適合從標準卷積神經網絡（convolutional network）到最瘋狂的強化學習（reinforcement learning）等思想。所以讓我們來看看 SPINN 的實現。
代碼
在開始構建網絡之前，我需要設置一個數據加載器（data loader）。通過深度學習，模型可以通過數據樣本的批處理進行操作，通過并行化（parallelism）加快訓練，并在每一步都有一個更平滑的梯度變化。我想在這里可以做到這一點（稍后我將解釋上述堆棧操作過程如何進行批處理）。以下 Python 代碼使用內置于 PyTorch 的文本庫的系統來加載數據，它可以通過連接相似長度的數據樣本自動生成批處理。運行此代碼之后，train_iter、dev_iter 和 test_itercontain 循環遍歷訓練集、驗證集和測試集分塊 SNLI 的批處理。
from torchtext import data, datasets
TEXT = datasets.snli.ParsedTextField(lower=True)
TRANSITIONS = datasets.snli.ShiftReduceField()
LABELS = data.Field(sequential=False)train, dev, test = datasets.SNLI.splits(
TEXT, TRANSITIONS, LABELS, wv_type='glove.42B')TEXT.build_vocab(train, dev, test)
train_iter, dev_iter, test_iter = data.BucketIterator.splits(
(train, dev, test), batch_size=64)
你可以在 train.py中找到設置訓練循環和準確性（accuracy）測量的其余代碼。讓我們繼續。如上所述，SPINN 編碼器包含參數化的 Reduce 層和可選的循環跟蹤器來跟蹤句子上下文，以便在每次網絡讀取單詞或應用 Reduce 時更新隱藏狀態；以下代碼代表的是，創建一個 SPINN 只是意味著創建這兩個子模塊（我們將很快看到它們的代碼），并將它們放在一個容器中以供稍后使用。
import torchfrom torch import nn
# subclass the Module class from PyTorch’s neural network package
class SPINN(nn.Module):
def __init__(self, config):
super(SPINN, self).__init__()
self.config = config self.reduce = Reduce(config.d_hidden, config.d_tracker)
if config.d_tracker is not None:
self.tracker = Tracker(config.d_hidden, config.d_tracker)
當創建模型時，SPINN.__init__ 被調用了一次；它分配和初始化參數，但不執行任何神經網絡操作或構建任何類型的計算圖。在每個新的批處理數據上運行的代碼由 SPINN.forward 方法定義，它是用戶實現的方法中用于定義模型向前過程的標準 PyTorch 名稱。上面描述的是堆棧操作算法的一個有效實現，即在一般 Python 中，在一批緩沖區和堆棧上運行，每一個例子都對應一個緩沖區和堆棧。我使用轉移矩陣（transition）包含的「shift」和「reduce」操作集合進行迭代，運行 Tracker（如果存在），并遍歷批處理中的每個樣本來應用「shift」操作（如果請求），或將其添加到需要「reduce」操作的樣本列表中。然后在該列表中的所有樣本上運行 Reduce 層，并將結果推送回到它們各自的堆棧。
def forward(self, buffers, transitions):
# The input comes in as a single tensor of word embeddings;
# I need it to be a list of stacks, one for each example in
# the batch, that we can pop from independently. The words in
# each example have already been reversed, so that they can
# be read from left to right by popping from the end of each
# list; they have also been prefixed with a null value.
buffers = [list(torch.split(b.squeeze(1), 1, 0))
for b in torch.split(buffers, 1, 1)]
# we also need two null values at the bottom of each stack,
# so we can copy from the nulls in the input; these nulls
# are all needed so that the tracker can run even if the
# buffer or stack is empty
stacks = [[buf[0], buf[0]] for buf in buffers]
if hasattr(self, 'tracker'):
self.tracker.reset_state()
for trans_batch in transitions:
if hasattr(self, 'tracker'):
# I described the Tracker earlier as taking 4
# arguments (context_t, b, s1, s2), but here I
# provide the stack contents as a single argument
# while storing the context inside the Tracker
# object itself.
tracker_states, _ = self.tracker(buffers, stacks)
else:
tracker_states = itertools.repeat(None)
lefts, rights, trackings = [], [], []
batch = zip(trans_batch, buffers, stacks, tracker_states)
for transition, buf, stack, tracking in batch:
if transition == SHIFT:
stack.append(buf.pop())
elif transition == REDUCE:
rights.append(stack.pop())
lefts.append(stack.pop())
trackings.append(tracking)
if rights:
reduced = iter(self.reduce(lefts, rights, trackings))
for transition, stack in zip(trans_batch, stacks):
if transition == REDUCE:
stack.append(next(reduced))
return [stack.pop() for stack in stacks]
在調用 self.tracker 或 self.reduce 時分別運行 Tracker 或 Reduce 子模塊的向前方法，該方法需要在樣本列表上應用前向操作。在主函數的向前方法中，在不同的樣本上進行獨立的操作是有意義的，即為批處理中每個樣本提供分離的緩沖區和堆棧，因為所有受益于批處理執行的重度使用數學和需要 GPU 加速的操作都在 Tracker 和 Reduce 中進行。為了更干凈地編寫這些函數，我將使用一些 helper（稍后將定義）將這些樣本列表轉化成批處理張量（tensor），反之亦然。
我希望 Reduce 模塊自動批處理其參數以加速計算，然后解批處理（unbatch）它們，以便可以單獨推送和彈出。用于將每對左、右子短語表達組合成父短語（parent phrase）的實際組合函數是 TreeLSTM，它是普通循環神經網絡單元 LSTM 的變型。該組合函數要求每個子短語的狀態實際上由兩個張量組成，一個隱藏狀態 h 和一個存儲單元（memory cell）狀態 c，而函數是使用在子短語的隱藏狀態操作的兩個線性層（nn.Linear）和將線性層的結果與子短語的存儲單元狀態相結合的非線性組合函數 tree_lstm。在 SPINN 中，這種方式通過添加在 Tracker 的隱藏狀態下運行的第 3 個線性層進行擴展。
圖 2：TreeLSTM 組合函數增加了第 3 個輸入（x，在這種情況下為 Tracker 狀態）。在下面所示的 PyTorch 實現中，5 組的三種線性變換（由藍色、黑色和紅色箭頭的三元組表示）組合為三個 nn.Linear 模塊，而 tree_lstm 函數執行位于框內的所有計算。圖來自 Chen et al. (2016)。

4、可以輸出擬合函數的神經網絡框架

sigmoid函數的值域就在(0,1)內，所以你的輸出結果肯定在0到1之間；至于能否擬合是zhi要看情況的；

如果原來可以擬合，那么更換輸出函數也可以，不過效果是否好就不敢保證了，雖然signoid做了一個同胚變換，但樣本畢竟不是真的在一個連續函數上，有時候誤差會導致變換時效果變差。

大腦的智慧就是一種非線性現象。人工神經元處于激活或抑制二種不同的狀態，這種行為在數學上表現為一種非線性關系。具有閾值的神經元構成的網絡具有更好的性能，可以提高容錯性和存儲容量。

擴展資料：

（1）非線性：非線性關系是自然界的普遍特性。大腦的智慧就是一種非線性現象。人工神經元處于激活或抑制二種不同的狀態，這種行為在數學上表現為一種非線性關系。具有閾值的神經元構成的網絡具有更好的性能，可以提高容錯性和存儲容量。

（2）非局限性：一個神經網絡通常由多個神經元廣泛連接而成。一個系統的整體行為不僅取決于單個神經元的特征，而且可能主要由單元之間的相互作用、相互連接所決定。通過單元之間的大量連接模擬大腦的非局限性。聯想記憶是非局限性的典型例子。

參考資料來源：

5、《TensorFlow技術解析與實戰》epub下載在線閱讀，求百度網盤云資源

《TensorFlow技術解析與實戰》（李嘉璇）電子書網盤下載免費在線閱讀

鏈接：https://pan.baidu.com/s/1cKz193Ckk2OxZSiGK_O1-A

密碼：wsj5 ?

書名：TensorFlow技術解析與實戰

作者：李嘉璇

豆瓣評分：5.6

出版社：人民郵電出版社

出版年份：2017-6-1

頁數：316

內容簡介：

TensorFlow 是谷歌公司開發的深度學習框架，也是目前深度學習的主流框架之一。本書從深度學習的基礎講起，深入TensorFlow框架原理、模型構建、源代碼分析和網絡實現等各個方面。全書分為基礎篇、實戰篇和提高篇三部分。基礎篇講解人工智能的入門知識，深度學習的方法，TensorFlow的基礎原理、系統架構、設計理念、編程模型、常用API、批標準化、模型的存儲與加載、隊列與線程，實現一個自定義操作，并進行TensorFlow源代碼解析，介紹卷積神經網絡（CNN）和循環神經網絡（RNN）的演化發展及其TensorFlow實現、TensorFlow的高級框架等知識；實戰篇講解如何用TensorFlow寫一個神經網絡程序并介紹TensorFlow實現各種網絡（CNN、RNN和自編碼網絡等）并對MNIST數據集進行訓練，講解TensorFlow在人臉識別、自然語言處理、圖像和語音的結合、生成式對抗網絡等方面的應用；提高篇講解TensorFlow的分布式原理、架構、模式、API，還會介紹TensorFlow XLA、TensorFlow Debugger、TensorFlow和Kubernetes結合、TensorFlowOnSpark、TensorFlow移動端應用，以及TensorFlow Serving、TensorFlow Fold和TensorFlow計算加速等其他特性。最后，附錄中列出一些可供參考的公開數據集，并結合作者的項目經驗介紹項目管理的一些建議。

作者簡介：

李嘉璇，創建TensorFlow交流社區，活躍于國內各大技術社區，知乎編程問題回答者。致力于人工智能的研究，對深度學習框架的架構、源碼分析及在不同領域的應用有濃厚興趣。有過上百篇論文閱讀和深度學習經驗，處理圖像、社交文本數據情感分析、數據挖掘經驗，參與過基于深度學習的自動駕駛二維感知系統Hackathon競賽，曾任職百度研發工程師。

總結

以上是生活随笔為你收集整理的谷歌云计算技术基础架构,谷歌人工智能算法框架的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。