巨大netcdf文件处理-地球科学堆栈交换江南电子竞技平台江南体育网页版
最近30从www.hoelymoley.com
2023 - 07 - 10 - t21:20:15z
//www.hoelymoley.com/feeds/question/12952
https://creativecommons.org/licenses/by-sa/4.0/rdf
//www.hoelymoley.com/q/12952
2
巨大的netcdf文件处理
msarun
//www.hoelymoley.com/users/11856
2017 - 12 - 24 - t15:32:26z
2017 - 12 - 26 - t13:27:34z
< p >任何一个能帮我处理巨大的netcdf文件循环中的每个1 gb内存和至少2文件一次ncl或linux或python或matlab。< / p > < p >例如era_interim日常压力级别数据集。< / p >
//www.hoelymoley.com/questions/12952/-/12953 # 12953
1
答案为巨大的netcdf arkaia文件处理
arkaia
//www.hoelymoley.com/users/111
2017 - 12 - 24 - t16:21:52z
2017 - 12 - 24 - t16:21:52z
< p >一种选择是不加载整个文件。您可以使用< a href = " https://code.google.com/archive/p/nctoolbox/wikis/ncgeodataset.wiki " rel = " nofollow noreferrer " > ncgeodataset < / >。程序允许提取数据的一个子集,而无需加载整个文件或甚至一个数组到Matlab。这对大型数据集是伟大的。< / p >
//www.hoelymoley.com/questions/12952/-/12963 # 12963
3
答案为巨大的netcdf Jithu文件处理
Jithu
//www.hoelymoley.com/users/11865
2017 - 12 - 26 - t13:27:34z
2017 - 12 - 26 - t13:27:34z
< p >处理大数据是一个很好的实践到RAM中调用数据切片(通过拆分时间轴或空间域)。地球科学兴趣的python包<强> X江南体育网页版array < /强>,<强>虹膜< /强>,<强> netCDF4 < /强>和<强> h5py < /强>是一些伟大的工具来处理巨大的分层数据。标记的方式来处理数据Xarray和虹膜将是有用的,而netCDf4和h5py是好网格的方式来处理。< / p > < p >我的个人建议是<强> h5py < /强>这是用来处理和归档大型数据集。文档< a href = " http://docs.h5py.org/en/latest/ " rel = " nofollow noreferrer " > < / >解释。如果你有netcdf hdf5格式的文件,并希望他们一个< a href = " https://stackoverflow.com/questions/17332353/what-is-the-easiest-way-to-convert-netcdf-to-hdf5-on-windows " > < / >问题在堆栈溢出可能会有所帮助。< / p >江南足球鞋