巨大的netcdf文件处理

Question

任何一个能帮我处理巨大的netcdf文件循环中的每个1 gb内存和至少2文件一次ncl或linux或python或matlab。

例如era_interim日常压力水平的数据集。

Answer 1

处理大数据是一个很好的实践到RAM中调用数据切片(通过拆分时间轴或空间域)。在地球科学python包的利益江南体育网页版Xarray,虹膜,netCDF4和h5py很少有伟大的工具来处理巨大的分层数据。标记的方式来处理数据Xarray和虹膜将是有用的,而netCDf4和h5py是好网格的方式来处理。

我个人的建议是h5py这是用来处理和归档大型数据集。文档在这里解释了它。如果你有netcdf hdf5格式的文件,并希望他们问题在堆栈江南足球鞋溢出可能会有所帮助。

Answer 2

一种选择是不加载整个文件。您可以使用ncgeodataset。程序允许提取数据的一个子集,而无需加载整个文件或甚至一个数组到Matlab。这对大型数据集是伟大的。