oceancolor數據批量下載

• 瀏覽器附件法
• wget方法

引言：苦于下載數據之苦，折騰了一天，做個筆記（鉆研不夠，只寫出了我解決的部分）
oceancolor官網
oceancolor提供了三種方法批量下載，分別是：
1.wget，
2.cURL,
3.瀏覽器附件（DownThemAll）
接下來詳述我所采用的一些批量下載的方法

瀏覽器附件法

采用的附件是Firefox> DownThemAll
oceancolor上是這樣描述的：
If you prefer a GUI based option, there is an add-on for the Firefox web browser called ‘DownThemAll’. It is easy to configure to download only what you want from the page (even has a default for archived products -gz, tar, bz2, etc.). It allows putting a limit concurrent downloads, which is important for downloading from our servers as we limit connections to one concurrent per file and 3 files per IP - so don’t try the “accelerate” features as you’re IP may get blocked.
Recommended preference settings:
1) Set the concurrent downloads to 1.
2) There is an option under the ‘Advanced’ tab called ‘Multipart download’. Set the ‘Max. number of segments per download’ to 1.
3) Since this download manager does not efficiently close connection states, you may find that file downloads will time out. You may want to set the Auto Retry setting to retry each (1) minute with Max. Retries set to 10.
利用oceancolor的data file search，設時間段、傳感器、產品級別，類型，獲取如下圖所示的數據列表，直接使用DownThemall，通過篩選器獲取后綴為.nc的數據文件，然后下載即可。
但是，對于L2數據，我沒有找到限定區域的輸入參數，所以，該方法可能更適合下載L3這種全球數據。

wget方法

為解決下載特定區域的L2數據，我嘗試了wget。
通過L1&L2 Browser指定時間段，傳感器，海域名稱或經緯度，點擊搜索結果界面右上角的orderdata，生成訂單，通過產生的URLs來批量下載。
wget的下載：wget for win
命令行使用代理

set http_proxy=http://127.0.0.1:1080 set https_proxy=http://127.0.0.1:1080

端口1080

curl https://www.網站.com

用curl測試，不用ping

wget --content-disposition -i manifest-file-name -P yourfilepath

wegt部分命令：

-P %指定下載目錄； -i URLs.txt %批量下載； -t 20 %指定重試次數； -T 120 %指定超時等待時間； -c %斷點續傳（適合大文件）； -o download.log URL %輸出下載日志； -O %另命名；

詳細的命令可參見他人的文章，有更詳細的描述。
至此，我們就可以靜靜的看著下載進度條慢慢刷了。
謝謝閱讀，才疏學淺，學藝不精，有不對的地方煩請各位批評指正。

總結

以上是生活随笔為你收集整理的oceancolor数据批量下载的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。