為什么80%的碼農都做不了架構師？>>> ??

原文鏈接 :?https://www.tensorflow.org/deploy/hadoop

譯文鏈接 :?http://www.apache.wiki/pages/viewpage.action?pageId=10029530

貢獻者 :?片刻?ApacheCN?Apache中文網

本文檔介紹如何在Hadoop上運行TensorFlow。它將擴展到描述在各種集群管理器上運行，但只描述在當前運行在HDFS上。

HDFS

我們假設您熟悉閱讀數據。

要使用具有TensorFlow的HDFS，請更改用于將數據讀取和寫入HDFS路徑的文件路徑。例如：

filename_queue?=?tf.train.string_input_producer([ ????"hdfs://namenode:8020/path/to/file1.csv", ????"hdfs://namenode:8020/path/to/file2.csv", ])?

如果要使用HDFS配置文件中指定的namenode，請將文件前綴更改為hdfs://default/。

啟動TensorFlow程序時，必須設置以下環境變量：

• JAVA_HOME：Java安裝的位置。

• HADOOP_HDFS_HOME：HDFS安裝的位置。您還可以通過運行以下設置此環境變量：

  shell source ${HADOOP_HOME}/libexec/hadoop-config.sh

• LD_LIBRARY_PATH：要包含libjvm.so的路徑，以及可選的libhdfs.so的路徑，如果您的Hadoop分發版未安裝libhdfs.so?$HADOOP_HDFS_HOME/lib/native。在Linux上：

  shell export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:${JAVA_HOME}/jre/lib/amd64/server

• CLASSPATH：必須在運行TensorFlow程序之前添加Hadoop jar。CLASSPATH設置${HADOOP_HOME}/libexec/hadoop-config.sh不足。必須按照libhdfs文檔中的描述擴展Globs：

  shell CLASSPATH=$($HADOOP_HDFS_HOME}/bin/hadoop classpath --glob) python your_script.py?對于舊版本的Hadoop / libhdfs（早于2.6.0），您必須手動擴展類路徑通配符。有關詳細信息，請參閱?HADOOP-10903。

如果Hadoop集群處于安全模式，則必須設置以下環境變量：

• KERB_TICKET_CACHE_PATH：Kerberos票證緩存文件的路徑。例如：

  shell export KERB_TICKET_CACHE_PATH=/tmp/krb5cc_10002?

如果您正在運行分布式TensorFlow，則所有工作人員必須設置環境變量并安裝Hadoop。

轉載于:https://my.oschina.net/repine/blog/949391

總結

以上是生活随笔為你收集整理的如何在Hadoop上运行TensorFlow【部署】的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。