tensorflow tf.ConfigProto() (配置tf.Session的运算方式)(allow_soft_placement、inter_op_parallelism_threads等)
tf.ConfigProto()主要的作用是配置tf.Session的運(yùn)算方式,比如gpu運(yùn)算或者cpu運(yùn)算
log_device_placement=True
- 設(shè)置tf.ConfigProto()中參數(shù)log_device_placement = True ,可以獲取到 operations 和 Tensor 被指派到哪個(gè)設(shè)備(幾號CPU或幾號GPU)上運(yùn)行,會在終端打印出各項(xiàng)操作是在哪個(gè)設(shè)備上運(yùn)行的。
inter_op_parallelism_threads=0
- 設(shè)置線程一個(gè)操作內(nèi)部并行運(yùn)算的線程數(shù),比如矩陣乘法,如果設(shè)置為0,則表示以最優(yōu)的線程數(shù)處理
intra_op_parallelism_threads=0
- 設(shè)置多個(gè)操作并行運(yùn)算的線程數(shù),比如 c = a + b,d = e + f . 可以并行運(yùn)算
allow_soft_placement=True
- 在tf中,通過命令 “with tf.device(’/cpu:0’):”,允許手動設(shè)置操作運(yùn)行的設(shè)備。如果手動設(shè)置的設(shè)備不存在或者不可用,就會導(dǎo)致tf程序等待或異常,為了防止這種情況,可以設(shè)置tf.ConfigProto()中參數(shù)allow_soft_placement=True,允許tf自動選擇一個(gè)存在并且可用的設(shè)備來運(yùn)行操作。
另外:
限制GPU資源使用:
為了加快運(yùn)行效率,TensorFlow在初始化時(shí)會嘗試分配所有可用的GPU顯存資源給自己,這在多人使用的服務(wù)器上工作就會導(dǎo)致GPU占用,別人無法使用GPU工作的情況。
tf提供了兩種控制GPU資源使用的方法,一是讓TensorFlow在運(yùn)行過程中動態(tài)申請顯存,需要多少就申請多少;第二種方式就是限制GPU的使用率。
一、動態(tài)申請顯存
config = tf.ConfigProto() config.gpu_options.allow_growth = True session = tf.Session(config=config)二、限制GPU使用率
config = tf.ConfigProto() config.gpu_options.per_process_gpu_memory_fraction = 0.4 #占用40%顯存 session = tf.Session(config=config)或者:
gpu_options=tf.GPUOptions(per_process_gpu_memory_fraction=0.4) config=tf.ConfigProto(gpu_options=gpu_options) session = tf.Session(config=config)設(shè)置使用哪塊GPU
方法一、在python程序中設(shè)置:
os.environ['CUDA_VISIBLE_DEVICES'] = '0' #使用 GPU 0 os.environ['CUDA_VISIBLE_DEVICES'] = '0,1' # 使用 GPU 0,1方法二、在執(zhí)行python程序時(shí)候:
CUDA_VISIBLE_DEVICES=0,1 python yourcode.py推薦使用更靈活一點(diǎn)的第二種方法。
參考文章:Tensorflow中tf.ConfigProto()詳解
總結(jié)
以上是生活随笔為你收集整理的tensorflow tf.ConfigProto() (配置tf.Session的运算方式)(allow_soft_placement、inter_op_parallelism_threads等)的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: tensorflow tf.train.
- 下一篇: tensorflow tf.train.