使用kaggle的notebook运行代码
Add Data的路徑:/kaggle/input
git clone的路徑:/kaggle/working
###########################################
notebook和終端不太一樣的是:
終端你cd 到一個目錄后,路徑會保留,像這樣:
$ cd ~/test
$ ls -l
但是kaggle notebook中的命令則是:
cd ~/test;ls -l
如果分成兩行寫,當前路徑會恢復成默認路徑。
###########################################
登陸https://www.kaggle.com/
依次My profile->Kernels
新建一個notebook然后點擊edit
然后輸入
import sys print(sys.argv[0])運行:
可以發現kaggle當前路徑是:
/opt/conda/lib/python3.6/site-packages/ipykernel_launcher.py這樣就可以運行了
那么怎么在notebook中使用在線的數據呢?右上角Add Data然后選擇Competition Dataq
?
?但是根據下面兩個鏈接的討論:
https://www.kaggle.com/c/ieee-fraud-detection/discussion/104758#latest-604717
https://zhuanlan.zhihu.com/p/52286365
GPU ON,讓跑2小時
GPU off,讓跑9小時
超時自動關閉
產生的csv文件不能直接下載,必須commit之后才能下載,這點比較坑,commit之后的下載位置在這里。
?
notebook修改后,怎么保存呢?
選擇File->Commit即可
?但是這個commit很奇怪的地方就是每次commit都必定會把代碼從頭到尾跑一遍。
?
問了下官方客服,回復說:
只要運行該段代碼,就會保存
?
不需要重新run一遍之后再commit,只要你確定代碼沒問題,直接commit,commit后就可以在Notebooks頁面(不是當前頁面)導出你的submission.csv
?
另外,如果選擇了Run->Restart Session(kernel died強制重啟/內存耗盡強制重啟),
內存清零,
apt安裝的東西全部消失,需要重裝
pip安裝的東西還在
那么生成的csv文件是依然存在的
?
如果是F5刷新,那么刷新后內存中的變量還是存在的.
?
最近發現的bug:
如果有一個單元格被中止運行(點擊左邊的藍色矩形),那么notebook中的所有正在執行的單元格都會被中止運行。
今天剛剛發現了這個bug的解決方法:
點擊“Change cell to markdown”就可以停止當前單元格的運行,還不會影響其他單元格的運行
?
另外,這個notebook不太穩定,有的時候會卡住(并不是你的瀏覽器卡住,而是kaggle服務器卡住),例如讀取數據超過十分鐘。
不要開始運行之后就不管了,偶爾需要去看一眼。
?
下面這個命令可以用來查看當前內存中已經定義好的命令
?
另外注意,我們有時候由于粗心導致代碼修改失敗,也就是運行成功,但是對結果沒影響,這個時候,這個藍條就會飛速:
碰到這種情況,你就不要提交了,你該好好檢查下代碼,免得浪費提交次數。
?
另外時刻牢記,notebook的每個單元格都是在管理內存,有些代碼只能執行一次,因為內存中的變量被抹掉了,所以不能反復執行。
最近發現:
https://www.kaggle.com/general/108481#latest-625400
kaggle似乎想要限制比賽者對GPU的使用,所以找時間還是要熟悉下colab
?
繼續補充,今天剛發現:
也就是kaggle的GPU每周只讓用30個小時,并且超時的話,相關notebook就會打不開。
?
如果碰到下面這種問題:
This kernel has been modified in a different session. Please refresh the page to load the latest changes.
沒事兒,繼續點擊運行代碼
?
再次補充,如何在kaggle notebook上進行列編輯呢?
首先光標定位在一行,然後安裝ctrl,然後選擇下一行,這樣兩行的光標就能一起閃爍了,這個時候就可以進行了列編輯了.
?
再次補充,根據下面鏈接:
https://www.kaggle.com/c/mercari-price-suggestion-challenge/discussion/44901
如果使用commit的方式運行代碼,并且關閉瀏覽器的話,六小時后就會被終止運行。
?
各種往期kaggle比賽的解決方案
https://ndres.me/kaggle-past-solutions/
?
?
今天碰到的一個問題是,整個頁面不小心都弄藍了,這個時候只要點擊一下右側就好了。
?
?
------------------------------------------------------commit用法補充--------------------------------------------------------------------------------
你的所有輸出都必須是print形式,否則是不會有log的
?
--------------------------------------------------------下面的一些故障---------------------------------------------------------------
這個表示這個notebook已經被你刪除了。
?
-------------------------------------------------再次補充郵箱的使用---------------------------------------------------------------------------------------
今天用了下kaggle的郵箱,一個月只能發五次郵件。
--------------------------------------------------------------------kaggle在求職時的作用------------------------------------------------------------------------------------------------------------
kaggle放在簡歷上,必須是至少新一線和一線城市的HR和獵頭才有可能認識,其他情況下,HR是沒聽過kaggle的
另外,招聘市場上的kaggle主要是以圖像類kaggle比賽相對受到追捧.
文本類的kaggle意義不是太大,因為企業不怎么care,
但是圖像類kaggle其實就是拼誰有gpu設備,
所以這么說來,還是挺尷尬的.
這個是使用boss直聘后的一個感受.
?
?
總結
以上是生活随笔為你收集整理的使用kaggle的notebook运行代码的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: navivat11.0.7在linux下
- 下一篇: Unrecognized option: