有使用的价值模型,在对测量验证失败吗?

Question

说我们有一个模型,描述了一个物理或动力系统,例如,水文模型。如果模型结果不匹配测量量的模拟,即模型验证失败,有使用价值模型对于其他情况或应用程序?

Answer 1

已故的乔治盒子的那句名言:

所有模型都是错的。有些模型是有用的

所有模型都是错的。

这很重要。

所有模型是错误的。

在任何我们感兴趣的真实世界的系统,只有系统的精确模型,是系统本身。其他,任何简化,给出了错误的答案。

有些模型是有用的。

这也是重要的。

一些模型帮助我们结构不确定性的讨论(H / T教授尼尔·斯特)

一些模型允许我们测试“如果”场景,看看可能的相对变化。现在,在现实世界中,模型无法解释的外生影响,将意味着,实际结果会有所不同:但如果模型给出了一个迫在眉睫的相对变化的规模,我们还是可以作出明智的判断的基础上的模型。甚至当它涉及到的诸如动荡。

一些模型给我们洞察系统的涌现性:很多很有趣的问题是紧急属性不一定明显从观察系统的基本规则,以及任何我们可以获得很有价值的见解。

一些模型允许我们做实验系统上,我们不可能实验。尽管我们知道模型是错误的,他们至少可以给我们一个估计的范围可能的结果。

这并不是保护坏的使用模型来做不好工作。有太多的在我的领域,我不喜欢它。西蒙•W说,可以测试模型是否适合一个特定的目的。继续使用一个模型的目的是不适用的,不是吹牛,学术界。

Answer 2

答案很大程度上取决于模型失败的地方。如果它是非常准确的,有些政权但是非常不准确,模型还可以用于那些政权是非常准确的。

一个很好的例子是牛顿力学。牛顿力学现在已知是错误的(有时是非常错误的)作为通用模型。使用牛顿原理建立了对撞机研究量子相对论碰撞而导致的事件并没有多大意义。另一方面,在普通的牛顿力学性能很好,日常的世俗世界的事件。我们仍然使用牛顿力学构建桥梁。这将是彻头彻尾的愚蠢来调用广义相对论在桥梁设计。

如果模型不工作,或者间隔在它产生合理的结果项都很小吗?在这种情况下,模型不是很好。一个模型需要一些空间的结果是可以接受的,甚至有限的适用性。

Answer 3

是的有价值。

1)通常我们使用模型检查自己的理解的过程。如果模型是建立与所有已知的因素包括,它可能仍然未能产生结果可以验证和测量。当模型无法复制现象,测试用例可以用来评估模型的哪些部分需要进一步发展。

2)有时系统过于复杂,模型准确(或许有太多未知的初始和边界条件)。虽然该模型可能无法再现绝对值衡量,它可能仍然能够产生现实的动态变化。所以,模型仍然是有用的学习涉及的动态过程之间的关系。这是有时我们如何发现副作用通常不直接结果模型的过程。

Answer 4

一个稍微不同的倾向:

随着energynumbers指出,在这样或那样的所有模型都是错的。一个完全现实的准确模型将复杂的现实,所以一些简化总是必要的。这意味着不可能存在任何有用的模型的预测在各个方面都是完全准确的(可能通过事故除外)。

验证模型,因此,不是说“这个模型是正确的”的过程,是/否的答案。相反,它应该是,

1. 决定标准模型必须满足是有用的对于一个给定的目的。
2. 评估它是否满足这些标准。

如果一个应用程序的模型验证失败,它可能仍然是有用的。

一些例子不同的验证标准,以区域海洋模式为例:

一个显而易见的选择是当前速度或水位的预测是最重要的。即使选择其中之一,预测评估的方式可能会有所不同。合理违约可能评估适合在每一个时间点测量和观察水位之间在许多地方,并接受模型如果测量,如偏差和RMSE低于阈值定义。然而,这里有两个例子的具体场景,证明不同的方法:

• NOAA运行模型的主要应用是生产助航设备的深度信息。关键统计数据对他们来说不是一般精度的模型,但模型overpredicts水位的频率,这种形式的错误可能导致船舶搁浅。[1]

• 赋予et al(1995)[2]给出的一个例子风暴潮模型,该模型将提供洪水警告。这是测试不是所有的水位预测的准确性,但对其预测的准确性峰水位,那些是什么物质操作。

[1]美国国家海洋和大气管理局号标准评估操作的短时预测和水动力模型预测系统需要美国所有企业提供银泉马里兰州2003年10月美国noaa国家海洋和大气管理局2003年10月,NOAA技术报告号CS 17日

[2]h . j .赋予j·w·尼尔森·h·r·詹森和k . b . Kristensen”技能评估操作水动力预报系统的北海和丹麦的腰带,“在沿海海洋模型的定量技能评估,47卷,d·r·戴维斯(merrill Lynch)和a . m .,。华盛顿特区:美国地球物理学联合会,1995年,页373 - 396。

Answer 5

很好的问题,一些有趣的答案。显然这里的共鸣。

我想添加抽象从我最喜欢的一篇论文,通过》Shrader-Frechette, & Beiitz (1994):

自然系统的数值模型的验证和确认是不可能的。这是因为自然系统永远不会关闭,因为模型的结果总是非唯一。模型可以证实了演示观察和预测之间的协议,但本质上是部分确认。完整的确认逻辑上杜绝肯定结果的谬误和不完整的自然现象。模型只能评估相对而言,他们的预测价值总是开放的问题。模型的主要价值是启发式。

基本上,在一个复杂的系统,你从未期待一个模型的结果与观测数据——到处都是噪音,而且这些系统包含确定性混沌。你可以模拟这样一个系统的行为,但你不能模拟结果。即使你的模型是正确的,正确的输入,你不会得到相同的行为,因为即使是最轻微的截断值将导致重大的分歧,最终。

另外,即使你得到了确切的结果你不知道你得到了正确的结果正确的原因——同样结果是一个真正的问题。特别是在与两个以上相互作用模型校准参数。没有保证校准过程会给你更好的参数,你只能相信它会给你更好的结果校准数据。甚至校准使用交叉验证方法(train-and-test)与实际独立数据(罕见)可能会失败,因为上面的验证部分可以失败的理由。

无论如何,每个人都对这个话题感兴趣应该读这篇论文,我相信我已经错过了点。有点艰难的进展,但那是因为概念——实际上是相当愉快的阅读。

引用

• 》,N。,K . & Beiitz Shrader-Frechette K。,1994年。数值模型的验证、验证和确认的地球科学。江南体育网页版科学,263 (5147),pp.641 - 646。可以在:ProQuest。

Answer 6

因为已经有两个答案讨论可能的优点进一步分析让我添加硬币的另一面;明智的做法也可以看到仿真失败和不分析任何进一步的。

有可能是这种情况如果是先进的,类似的模拟再现这些实验值被提及,如果这些仿真能够重现您想看的值。在这种情况下,是有意义,试图找出为什么你不能复制实验测试值。如果你不想花太多时间在开发模型中,然后把它完全;没有人会相信你的结果。

在我看来,信任是很重要的一点。就像前面提到过的答案并不少见的模拟给只有(贫穷)估计的实验结果。但它是所有重要的在这些情况下,您可以检查为什么你仍然相信你想要的结果。

老实说,我读你的问题,你没有理由确信进一步结果。如果是这样的话我的建议是先退一步,想想是否可以信任他们。这样做不一般的回答会帮助你;它过分依赖你的系统状态的艺术是对这些类型的模拟。