摘要：1973年，Ferguson提出用带有无限维度参数空间的参数模型来表示先验的方法，随后涌现了大量的构建贝叶斯非参数模型的方法。基于这些不同的模型构建方法，贝叶斯非参数过程在回归、聚类、变量选择等问题中得到非常广泛的应用。本文概略的介绍了贝叶斯非参数模型的构建方法。
关键词：贝叶斯非参数 参数模型 局部观测
中图分类号：TN918.1 文献标识码：A 文章编号：1007-9416（2015）09-0000-00
Abstract：In 1973， Ferguson proposed a parametric model with infinite dimensional parameter space to represent the prior method， and then emerged a large number of methods to construct a Bayesian nonparametric model. Based on these different model construction methods， Bayesian nonparametric process is widely used in regression， clustering， variable selection and so on. This paper introduces the method of Constructing Bayesian
Key words：Bayesian nonparametri；Nonparametric models；Local observation
贝叶斯模型的基本思想是用数学中的概率论来表示和处理所有形式的模型中的不确定量。这是一个十分简单却异常有效的方法。
只需要掌握两个概率论的定理：求和规则和乘法规则。考虑随机变量 x 和 y ，他们分别取值于不同的空间X 和 Y。求和规则意思是：如果知道两个随机变量x 和 y 的联合概率密度，可以通过累加y的所有可能的值得到x的边界概率[1]。
如果y连续则可简单地用积分替换求和。例如如果有伦敦和剑桥的高温的联合概率分布模型则可通过求和伦敦的高温得到在剑桥高温的边际分布。
乘法规则意思是： x 和 y的联合概率可以分解为 x 的边界概率和给定x得到的y条件概率。
使用D来表示可观察到的数据。通常我们称为"数据点"或测量量，但这是不可少的假设。例如，数据可以是单个图像，观察到的图形或有序的测量，而不仅仅是一个集合。我们的模型将索为m，我们可能要考虑多个替代模型。每个模型通常有大量的自由参数，如果需要我们将表示为一个向量[2]。
首先，我们需要确保模型 m 定义好，其表示意义为预测或预测数据。正如前面讨论我们用概率论来代表预测模型。对于任何给定的设置的模型参数，模型必须能够产生预测形式。
数据的可能性对应函数参数的可能性。可能性，即对于任何给定的参数设置作出当前状态下的预测。但是，模型 m 并不完全定义，直到我们指定参数值的“范围”[3]。
线性回归模型中斜率可表示为-1到+ 1 之间的值，也可以指定斜率为-100 到 + 100 之间的值。事实上，若要完全指定的模型，我们需要多一点指定参数的选择范围，我们需要在此范围内定义一个分布。只有那样模型 m 才能够作出预测。我们使用求和规则和乘法规则来预测模型的概率。
参数的先验性，如上文所述（例如，它可能是 [-1； + 1]） 在超过了允许的值的参数分布的形式。没有先验知识我们的模型是不明确的： 我们不能生成或预测数据，除非我们知道如何选择其值。一旦先验和可能性的预测做出了定义，然后模型 m 在指定的数据集上，就可以生成可能的数据集。
人们经常反对贝叶斯方法，因为它迫使人们定义先验分布的参数。由此看来，是完全误导性的。对所有模型都做出假设，如果没有假设它几乎不可能作出任何预测或从观测数据的预测。贝叶斯模型框架的第一阶段是利用概率论知识显式声明所有的假设。这样的模型是比较好的，先验知识和可能性是必然要求。事实上，先验和可能性之间的区别是随机的，两者都是模型的重要组成部分。
人们反对使用先验分布参数，理由是他们不想用"随机"变量作为参数。例如，如果要估算天文数据，该行星的质量的不是"随机"的。这是对贝叶斯模型语义概率的误解。概率用来代表我们未知数量的不确定性。认为“概率”只是作为模型的不确定性等，如：掷骰子，可重复实验，然而不能用于对一颗行星的质量不确定性的表示。这两种形式的不确定性从根本上是主观的；掷骰子的确定性取决于合适的初始条件，同样关于该行星的质量不确定性有取决于观测数据对行星轨道的知识。
最后，经过科学训练的人在数据分析和建模概念方面感到非常不适应。这又是极大地误导： 所有模型都涉及到假设，数据分析得出的所有结论都是基于条件假设的。概率框架是完全透明的假设，所有的假设都作为分布未知数量。这些假设很容易产生争议。相同的数据可以根据不同模型的假设条件 （和先验） 重新分析。结论根据的假设可能改变的事实对好的科学实践至关重要。幸运的是，给定足够多的数据量，先验性的影响可以得到克服，似然方法和后结论将收敛。这些假设促进了科学的进步，只有合适数据才能生存。贝叶斯模型是主观而不是任意： 给定数据完整规范的模型，有且只有一种方式往感兴趣的方向进行。
其建模因而成为一个非常简单的过程：
提出假设 （可能的模型、 参数、 噪声过程等），代表一切形式的不确定性，使用概率论的语言。
给定数据，使用概率理论，要对模型中任何未知的数量做出推断，或者要从模型做出预测。
这一过程本身很自然地对数据顺序处理。预测一些数据利用事先观察数据。
和与积规则也告诉我们如何做预测模型。考虑一些未知的预测量 x （例如下一个数据点） 给定观测的数据 D 和模型 m。
预测是从不同的参数值，依据给出的数据，观察每个参数值的后验概率加权预测的平均。对于参数化模型，可以简化自给定参数的预测都是独立的观测数据。正如讨论的参数与非参数模型。如果我们考虑大量的模型，然后根据和与积的规则，我们的预测是模型的加权平均。
概率模型框架也提供了直观提供了模型的比较问题。假设竞争概率模型集M，给出了一些观测数据，我们可以评价一个特定的模型 m 的后验概率。
高阶模型如三次多项式显然比低阶模型的线性多项式更加复杂。基于优化 （如最大似然方法或受罚似然方法） 的模型拟合程序需要十分小心，对一个相对较小的数据集切勿用数据拟合拟合参数过于复杂的模型。过拟合不是一个全贝叶斯问题，还有没有"拟合"的数据模型。我们仅用求和和乘法规则来处理，在概率论中并没有"优化"的规则。更复杂的模型是指一个具有多个参数，只是传播它的预测概率可能比一个简单的模型的数据集更复杂。如果所有模型数据集，被都指定为概率分布，那么所有模型都有相同数量的概率用来传递可能的数据。给出一个特定的数据集，因此就有可能拒绝这两个模型太简单或者太复杂而不能使用概率论的规则。
贝叶斯模型比较方法可以用于解决众多的问题中学习复杂模型的结构。例如，它用来学习复杂模型的结构，找到相关的变量或功能来预测问题，发现隐马尔科夫模型状态数量，在概率图模型中学习依赖性结构 。
上述方法对模型的比较依赖于枚举的用于比较的一组模型的能力。Bayesian Occam"s Razor确保过于复杂的模型充分受到惩罚时做模型的比较。然而，现实世界现象的复杂性常常需要考虑具有足够的灵活性来捕获真实的数据结构的复杂模型。灵活的模式不仅更现实，而且一般也会比简单的模式得到更合理预测的结果。贝叶斯非参数为灵活的模式提供了一个自然的框架。
参考文献
[1] Shao J. Methmatical Statistics[M]. 2nd ed. Berlin： Springer， 2003.
[2] Berstein S. Elements of Statistics II： Inferential Statistics[M]. McGraw-Hill， 1999.
[3] Wasserman L. All of Nonparametric Statistics[M]. Berlin： Springer， 2006.
收稿日期：2015-08-19
作者简介：董平（1985—），男，汉族，四川宜宾人，工程硕士，主研方向：图像处理，通信理论。
推荐访问： 框架 构建 模型 参数 简介