日韩性视频-久久久蜜桃-www中文字幕-在线中文字幕av-亚洲欧美一区二区三区四区-撸久久-香蕉视频一区-久久无码精品丰满人妻-国产高潮av-激情福利社-日韩av网址大全-国产精品久久999-日本五十路在线-性欧美在线-久久99精品波多结衣一区-男女午夜免费视频-黑人极品ⅴideos精品欧美棵-人人妻人人澡人人爽精品欧美一区-日韩一区在线看-欧美a级在线免费观看

歡迎訪問 生活随笔!

生活随笔

當前位置: 首頁 > 编程语言 > python >内容正文

python

python处理nc文件并输出_利用python如何处理nc数据详解

發布時間:2023/12/19 python 34 豆豆
生活随笔 收集整理的這篇文章主要介紹了 python处理nc文件并输出_利用python如何处理nc数据详解 小編覺得挺不錯的,現在分享給大家,幫大家做個參考.

前言

這兩天幫一個朋友處理了些 nc 數據,本以為很簡單的事情,沒想到里面涉及到了很多的細節和坑,無論是“知難行易”還是“知易行難”都不能充分的說明問題,還是“知行合一”來的更靠譜些,既要知道理論又要知道如何實現,于是經過不太充分的研究后總結成此文,以記錄如何使用 python 處理 nc 數據。

一、nc 數據介紹

既然 nc 可以用來一系列的數組,所以經常被用來存儲科學觀測數據,最好還是長時間序列的。

試想一下一個科學家每隔一分鐘采集一次實驗數據并存儲了下來,如果不用這種格式存儲,時間長了可能就需要創建一系列的 csv 或者 txt 等,而采用 nc 一個文件就可以搞定,是不是很方便。

更方便的是如果這個科學實驗與氣象、水文、溫度等地理信息稍微沾點邊的,完全也可以用 nc 進行存儲, GeoTiff 頂多能多存幾個波段(此處波段可以認為是氣象、水文等不同信號),而 nc 可以存儲不同波段的長時間觀測結果,是不是非常方便。

可以使用 gdal 查看數據信息,執行:

gdalinfo name.nc

即可得到如下信息:

Driver: netCDF/Network Common Data Format

Files: test.nc

Size is 512, 512

Coordinate System is `'

Subdatasets:

SUBDATASET_1_NAME=NETCDF:"test.nc":T2

SUBDATASET_1_DESC=[696x130x120] T2 (32-bit floating-point)

SUBDATASET_2_NAME=NETCDF:"test.nc":PSFC

SUBDATASET_2_DESC=[696x130x120] PSFC (32-bit floating-point)

SUBDATASET_3_NAME=NETCDF:"test.nc":Q2

SUBDATASET_3_DESC=[696x130x120] Q2 (32-bit floating-point)

SUBDATASET_4_NAME=NETCDF:"test.nc":U10

SUBDATASET_4_DESC=[696x130x120] U10 (32-bit floating-point)

SUBDATASET_5_NAME=NETCDF:"test.nc":V10

SUBDATASET_5_DESC=[696x130x120] V10 (32-bit floating-point)

SUBDATASET_6_NAME=NETCDF:"test.nc":RAINC

SUBDATASET_6_DESC=[696x130x120] RAINC (32-bit floating-point)

SUBDATASET_7_NAME=NETCDF:"test.nc":SWDOWN

SUBDATASET_7_DESC=[696x130x120] SWDOWN (32-bit floating-point)

SUBDATASET_8_NAME=NETCDF:"test.nc":GLW

SUBDATASET_8_DESC=[696x130x120] GLW (32-bit floating-point)

SUBDATASET_9_NAME=NETCDF:"test.nc":LAT

SUBDATASET_9_DESC=[130x120] LAT (32-bit floating-point)

SUBDATASET_10_NAME=NETCDF:"test.nc":LONG

SUBDATASET_10_DESC=[130x120] LONG (32-bit floating-point)

Corner Coordinates:

Upper Left ( 0.0, 0.0)

Lower Left ( 0.0, 512.0)

Upper Right ( 512.0, 0.0)

Lower Right ( 512.0, 512.0)

Center ( 256.0, 256.0)

每一個 SUBDATASET 表示記錄的是一種格式的數據(氣象、水文等等),如果要想查看此 SUBDATASET 的具體信息,可以執行:

gdalinfo NETCDF:name.nc:SUBDATASET_NAME

此處的 SUBDATASET_NAME 為上面的 T2、PSFC 等等,可以得到如下信息:

Driver: netCDF/Network Common Data Format

Files: test.nc

Size is 120, 130

Coordinate System is `'

Metadata:

LAT#description=LATITUDE, SOUTH IS NEGATIVE

LAT#FieldType=104

LAT#MemoryOrder=XY

LAT#stagger=

LAT#units=degree_north

Corner Coordinates:

Upper Left ( 0.0, 0.0)

Lower Left ( 0.0, 130.0)

Upper Right ( 120.0, 0.0)

Lower Right ( 120.0, 130.0)

Center ( 60.0, 65.0)

Band 1 Block=120x1 Type=Float32, ColorInterp=Undefined

NoData Value=9.96920996838686905e+36

Unit Type: degree_north

Metadata:

description=LATITUDE, SOUTH IS NEGATIVE

FieldType=104

MemoryOrder=XY

NETCDF_VARNAME=LAT

stagger=

units=degree_north

此處只有一個 Band ,每一個 Band 記錄了一個時間點(或者其他區分形式)的一條記錄,這個記錄是一個數組。

所以看到這里,各位應該已經明白了,可以直接使用 GDAL 處理 nc 數據,比如直接使用 gdalwarp 將某個 SUBDATASET 轉成 GeoTiff 等等,此處暫且不表,各位只需要查閱一下 gdalwarp 手冊即可知道如何處理。

明白了以上信息基本也就清楚了如何處理此數據。

二、數據處理

python 是運用非常廣泛,自然其下各種類庫非常豐富,專業一點的說法就叫生態豐富。

2.1 netCDF4

dataset = netCDF4.Dataset('name.nc') # open the dataset

這樣即可讀出整個 nc 中的數據信息,如果需要獲取某個 SUBDATASET 只需要使用 dataset[SUBDATASET_NAME] 即可,返回的是一個三維數組,表示不同時間段(或其他區分方式下)的數據信息。

我們可以對此數組做各種操作,如求平均值、方差等等,又讓我想起了大學里的那一堆枯燥但又讓人很有興趣的實驗課程。當然,此處如果使用 numpy 框架進行處理,會起到事半功倍的效果,如求長時間序列下的平均值:

np_arr = np.asarray(dataset[SUBDATASET_NAME])

average_arr = np.average(np_arr, axis=0)

到這里跟地信有關的同志都會看出一個問題,此框架只能對數據進行處理,而不能進行與位置有關的操作,這就導致數據無法變成直白的地圖可視化效果。其實任何數據都是相通的,我們可以采用此種方式處理完后轉為 GeoTiff 等,當然我們也可以直接采用 GeoTiff 的處理流程來進行處理。

2.2 rasterio

rasterio 是 Mapbox 開源的空間數據處理框架,功能非常強大,此處不細說,只表如何處理我們的 nc 數據。

當然第一種方式就是使用 netCDF4 處理完之后,使用此框架寫入 GeoTiff,但是這樣不太優雅,而且使用了兩個框架,明顯過于麻煩,我們直接使用此框架從讀數據開始處理。

此處讀的時候就有技巧了,要像采用 gdalinfo 讀取 SUBDATASET 一樣來直接讀取此 SUBDATASET 數據,如下:

with rio.open('NETCDF:name.nc:SUBDATASET_NAME') as src:

print(src.meta)

dim = int(src.meta['count'])

src.read(range(1, dim + 1))

即給 open 函數傳入 NETCDF:name.nc:SUBDATASET_NAME,采用 src.read(range(1, dim + 1)) 可以直接讀出此范圍內所有 Band (時間點)的信息,范圍可以自己設定,注意從 0 開始,當然也可以僅讀取某個 Band 的信息。

src.meta 記錄了此 SUBDATASET 的元數據信息,與 gdalinfo 看到的基本相同。

這樣我們就可以繼續將此數據使用 numpy 等框架進行處理,處理完之后更重要的是要寫入 GeoTiff 中(直白的說就是添加空間信息)。

也很簡單,如下即可:

with rio.open(newfile, 'w', **out_meta) as dst:

dst.write_band(1, res_arr)

newfile 為存儲路徑,res_arr 為計算結果數組,注意尺寸不要發生變化(width*height),out_meta 為目標文件的元數據描述信息,可以直接將上面 src.meta 進行簡單處理即可。

out_meta =

meta.update({"driver": "GTiff",

"dtype": "float32",

'count': 1,

'crs': 'Proj4: +proj=longlat +datum=WGS84 +no_defs',

'transform': rasterio.transform.from_bounds(west, south, east, north, width, height)

})

crs 表示目標數據空間投影信息,transform 表示目標文件 空間范圍信息,可以通過經緯度信息和圖像尺寸等計算得到。

dst.write_band 將數據寫入對應波段,當然此處也可以寫入多個波段,根據計算結果而定,同樣從 1 開始。

三、總結

本文簡單介紹了 nc 數據的特點及如何使用 python 處理 nc 數據。每個目標都有多條路可以達到,重要的是找到那條自己喜歡的和適合自己的路,然而話又說回來,即使走的不是想要的那條路,不是一樣可以達到目標嘛!所以關鍵是要找到自己的目標。

好了,以上就是這篇文章的全部內容了,希望本文的內容對大家的學習或者工作具有一定的參考學習價值,如果有疑問大家可以留言交流,謝謝大家對腳本之家的支持。

總結

以上是生活随笔為你收集整理的python处理nc文件并输出_利用python如何处理nc数据详解的全部內容,希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯,歡迎將生活随笔推薦給好友。