oceancolor數(shù)據(jù)批量下載

• 瀏覽器附件法
• wget方法

引言：苦于下載數(shù)據(jù)之苦，折騰了一天，做個(gè)筆記（鉆研不夠，只寫出了我解決的部分）
oceancolor官網(wǎng)
oceancolor提供了三種方法批量下載，分別是：
1.wget，
2.cURL,
3.瀏覽器附件（DownThemAll）
接下來詳述我所采用的一些批量下載的方法

瀏覽器附件法

采用的附件是Firefox> DownThemAll
oceancolor上是這樣描述的：
If you prefer a GUI based option, there is an add-on for the Firefox web browser called ‘DownThemAll’. It is easy to configure to download only what you want from the page (even has a default for archived products -gz, tar, bz2, etc.). It allows putting a limit concurrent downloads, which is important for downloading from our servers as we limit connections to one concurrent per file and 3 files per IP - so don’t try the “accelerate” features as you’re IP may get blocked.
Recommended preference settings:
1) Set the concurrent downloads to 1.
2) There is an option under the ‘Advanced’ tab called ‘Multipart download’. Set the ‘Max. number of segments per download’ to 1.
3) Since this download manager does not efficiently close connection states, you may find that file downloads will time out. You may want to set the Auto Retry setting to retry each (1) minute with Max. Retries set to 10.
利用oceancolor的data file search，設(shè)時(shí)間段、傳感器、產(chǎn)品級別，類型，獲取如下圖所示的數(shù)據(jù)列表，直接使用DownThemall，通過篩選器獲取后綴為.nc的數(shù)據(jù)文件，然后下載即可。
但是，對于L2數(shù)據(jù)，我沒有找到限定區(qū)域的輸入?yún)?shù)，所以，該方法可能更適合下載L3這種全球數(shù)據(jù)。

wget方法

為解決下載特定區(qū)域的L2數(shù)據(jù)，我嘗試了wget。
通過L1&L2 Browser指定時(shí)間段，傳感器，海域名稱或經(jīng)緯度，點(diǎn)擊搜索結(jié)果界面右上角的orderdata，生成訂單，通過產(chǎn)生的URLs來批量下載。
wget的下載：wget for win
命令行使用代理

set http_proxy=http://127.0.0.1:1080 set https_proxy=http://127.0.0.1:1080

端口1080

curl https://www.網(wǎng)站.com

用curl測試，不用ping

wget --content-disposition -i manifest-file-name -P yourfilepath

wegt部分命令：

-P %指定下載目錄； -i URLs.txt %批量下載； -t 20 %指定重試次數(shù)； -T 120 %指定超時(shí)等待時(shí)間； -c %斷點(diǎn)續(xù)傳（適合大文件）； -o download.log URL %輸出下載日志； -O %另命名；

詳細(xì)的命令可參見他人的文章，有更詳細(xì)的描述。
至此，我們就可以靜靜的看著下載進(jìn)度條慢慢刷了。
謝謝閱讀，才疏學(xué)淺，學(xué)藝不精，有不對的地方煩請各位批評指正。

總結(jié)

以上是生活随笔為你收集整理的oceancolor数据批量下载的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。