学者如何/机构运行大型气候模拟的计算挑战?

Question

我已经刷牙近来对pde数值方法,和气候模型提供一组丰富的模型和想法来练习。不过,我有点困惑学者如何做大的气候模型研究——像CESM, WRF,或其他模型由GDFL NCAR——鉴于运行这些模型的计算挑战?这些是全球环流模型,甚至有限区域大气物理模型与发生在多尺度模拟。我不知道大多数机构设置在本地运行这些模型,还是有一些方法来发送新的模型NCAR或类似研究所测试准确性,等等。

运行大型气候模拟需要超级计算机或大型集群资源,以及精致的MPI和mapreduce操作。因为很多模型用fortran编写代码,只是加剧了可移植性问题,因为有更少的能力“文摘”这个配置的对象。

编写和运行一个单独的组件模型或“参数化”模式为其中一个更大的模型似乎是可控的。这个任务就需要学者写点东西在一个或几个可行的机器。但是,同一个人测试如何他/她的模型在一个较大的气候模型?

我一直在做一些研究,但是还没有找到。我发现了一些描述这些大规模的模型是由他们的开发文档。代码是开源,但类似WRF 150万行代码。所以调试或定制不同的集群似乎很艰难——虽然我没有任何的人的经验做,气候模型。我也和一些气候人加州理工学院人致力于开发自己的大规模的气候模型,但它们只能解释他们面对的挑战,建立一个灵活的啮合方案,等等,加州理工学院的人没有告诉我关于他们的经验使用大规模的气候模型建立。

因此,我认为我会问SE社区。

更新:根据下面的一些反馈,我只是想解释为什么这个问题张贴在ES Academics.SE相反。认为是学者。本身是一个更一般的网站在所有的学术界和很多人都不知道有细微差别的数值计算和计算设置。因此,我贴在ES听众的问题是更熟悉这些类型的模拟运行。然而我认识到这个问题是“软”似乎与别人进行西文和大气研究——尤其是那些想做关于这个主题和来自其他学科的研究。

Answer 1

这个问题有点模糊,与多个方面,但我会尽力而为。

计算资源

一些大学有自己的集群或超级计算机。但许多国家也有地区或国家设施。例如,ARCHER2是英国的国家超级计算机服务的最新版本。少量的计算时间是英国学者免费,但对于大型项目,他们必须竞标。

这是罕见的模拟要求的阿切尔的规模或ARCHER2;通常取决于正在运行的模型,一个部门或机构系统的几个节点可能是足够的,特别是如果一个并不匆忙。

不同系统的建筑规范

只要精心编写的代码,这并不像听起来那么难。FORTRAN标准化相当不错(尽管有些代码需要使用一个特定的编译器),和MPI——太——尽管其不同的实现。和大多数现代超级计算机是大规模并行机器的实际计算节点标准x64服务器,使用cpu(如英特尔工作站。所以你可以做很多开发桌面PC之前尝试构建它大而昂贵的地方。不同系统之间最大的区别往往在于水路(高速、低延迟网络节点之间),但通常系统管理员将优化的MPI安装这个系统,它提供给用户,所以进程间的所有细节和抽象的节点间通信。

更改或改进

你已经确定了,对大多数人来说关键是要提高一个小方面,如特定parametrisation。一旦有人工作的标准代码,那么如果是写在一个可维护的方式(而不是给定的科学世界),那么他们是相对简单的修改和测试这一个方面。最困难的事情往往是获得测量数据或其他数据,来验证新版本。

Answer 2

另一个英国的角度补充半日西蒙的答案(这也反映出我的经验)。

英国研究社区是由一个家庭的模型统称为统一模型。这些所有的代码由英国国家天气和气候模拟中心,英国气象局和使用许可下免费的学者。许可给学者访问源代码存储库模型和实验设置共享在密苏里州和学术界。西蒙提到ARCHER2,共享所有学科的学者,但气象局也提供季风专门为大气建模与学术团体的合作。

因为莫是一个运营中心预测,他们放一个很多努力确保代码和支持软件高效、可靠地运行,那么学者访问很硬。但学术方面也有NCAS-CMS,他们的工作是确保模型适用于机器像ARCHER2整个社区。总之有水平的国家支持这个模型在这些机器上,当我发送一个学生的培训课程模型可以运行气候模拟硬件在30分钟内到达。

类似WRF 150万行代码。所以调试或定制不同集群很艰难

嗯,嗯有大约130万行代码,我估计我知道15%的代码很好(主要是特定的科学领域),其余的几乎没有。当我遇到错误他们总是因为我刚刚改变了之类的领域密切相关的代码我知道。错误导致模型的其他部分时,通常最好去问的人知道这些地区而不是太辛苦自己挖掘。

编写和运行一个单独的组件模型或“参数化”模式的其中一个更大的模型看起来可控的……但是,同一个人测试如何他/她的模型在一个较大的气候模型?

是的,新的参数化通常分开开发完整的气候模型之前被添加到它。但单独开发参数化的时间越长越有可能是,它将在概念上或技术上不符合完整的模型。诀窍就是要知道,你想要几成较大的模型后,进行相应的设计参数。根据我的经验,然而模块化我们渴望使这些模型,它仍然可以是一个相当痛苦的夫妇在参数化的代码有一个完善的,独立的气候模型以外的生活。总的来说,这就是共享代码库和一个活跃的社区是真正有用的。

因为很多模型用fortran编写代码,只是加剧了可移植性问题,因为有更少的能力“文摘”这个配置的对象。

我记得几年前,作为一名学生,我的一位计算机科学家朋友避免做一个行业在气候模拟中心位置,因为他如此低的对他们的软件。“这基本的和无聊的”,他说,“他们只是用Fortran !”但those same things that are off-putting to a computing student are beneficial to the largely self-taught programmers (i.e., physical scientists) who are working with these models. Fortran is a fairly straightforward and safe language to learn and use, with relatively few concepts and gotchas. Compare that with OOP paradigms, which are hard to use well without significant training.

但这些更评论程序员比的程序的可移植性。西蒙提到,困难的部分的气候模型运行在新硬件(或大或小)往往是由硬件的支持人员,而不是学术研究者本身。