jupyternotebook运行python_jupyter notebook参数化运行python方式
Updates
(2019.8.14 19:53)吃飯前用這個方法實戰了一下,吃完回來一看好像不太行:跑完一組參數之后,到跑下一組參數時好像沒有釋放之占用的 GPU,于是 notebook 上的結果,后面好幾條都報錯說 cuda out of memory。
現在改成:將 notebook 中的代碼寫在一個 python 文件中,然后用命令行運行這個文件,比如:
# autorun.py
import os
# print(os.getcwd())
over = [ # 之前手工改參數跑完的參數組合
[0, 1, 1], [0, 1, 2], [0, 1, 3],
[0, 2, 1],
[1, 0, 1],
[1, 2, 1]
]
for alpha in range(1, 4, 1):
for beta in range(3):
for gamma in range(3):
if [alpha, beta, gamma] in over:
continue
os.system(f'python main.py --alpha {alpha} --beta {beta} --gamma {gamma}')
這里的 main.py 是訓練用的主文件。改在 py 里用 os.system 跑,希望跑一組參數之后完會自動釋放資源再跑下一組(?)
Notes
有多組參數組合需要嘗試,不想每組參數都人工修改 python 代碼,再在 notebook 中 %run 它。
python 參數通過的 argparse 接收,在 notebook 中寫個多重循環遍歷參數組合傳給 python 程序自動運行。
記錄一個簡例。
Codes
test_dir
|- test.py
|- test.ipynb
in py file
# test.py
import argparse
parser = argparse.ArgumentParser()
parser.add_argument('--number', type=int, default=0, help='number')
parser.add_argument('--string', type=str, default='abc', help='string')
args = parser.parse_args()
print('number:', args.number, type(args.number))
print('string:', args.string, type(args.string))
in notebook
注意傳參數時 $ 的使用
# test.ipynb
for i in range(3):
for s in ('a', 'b', 'c'):
%run test.py --number $i --string $s
補充知識:Jupyter Notebook出現kernel error FileNotFoundError: [WinError 2] 系統找不到指定的文件
Jupyter Notebook出現kernel error
conda create -n py36 --clone root
當時用Anaconda克隆本地的環境root到自己創建的py36環境,由于克隆完成后我又更改了虛擬環境名稱,所以導致啟動
jupyter notebook 進入文件是不能找到連接文件。
File”//anaconda/lib/python2.7/site-packages/jupyter_client/manager.py”, line 190, in _launch_kernel
return launch_kernel(kernel_cmd, **kw)
File “//anaconda/lib/python2.7/site-packages/jupyter_client/launcher.py”, line 123, in launch_kernel
proc = Popen(cmd, **kwargs)
File “//anaconda/lib/python2.7/subprocess.py”, line 710, in init
errread, errwrite)
File “//anaconda/lib/python2.7/subprocess.py”, line 1335, in _execute_child
raise child_exception
OSError: [Errno 2] No such file or director
解決辦法
首先在cmd 使用jupyter kernelspec list查看安裝的內核和位置
進入安裝內核目錄打開kernel.jason文件,查看Python編譯器的路徑是否正確
如果不正確python -m ipykernel install --user重新安裝內核,如果有多個內核,如果你使用conda create -n python2 python=2,為Python2.7設置conda變量,那么在anacoda下使用activate pyhton2切換python環境,重新使用python -m ipykernel install --user安裝內核.(通用情況)
或者直接進入kernel.json里更改py36(這是屬于我的情況)
重啟jupyter notebook即可。
以上這篇jupyter notebook參數化運行python方式就是小編分享給大家的全部內容了,希望能給大家一個參考,也希望大家多多支持我們。
本文標題: jupyter notebook參數化運行python方式
本文地址: http://www.cppcns.com/jiaoben/python/307018.html
總結
以上是生活随笔為你收集整理的jupyternotebook运行python_jupyter notebook参数化运行python方式的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: linux查看关键词前后几行内容
- 下一篇: python爬取的内容不是中午_大年初六