贝叶斯的原理是什么？

1. 贝叶斯的原理是什么？

贝叶斯就是根据观测数据和先验分布假设来最大化后验概率的一种方法，相比于数据少的极大似然估计，贝叶斯更具合理性

2. 贝叶斯定理的定理应用

贝叶斯定理用于投资决策分析是在已知相关项目B的资料，而缺乏论证项目A的直接资料时，通过对B项目的有关状态及发生概率分析推导A项目的状态及发生概率。如果我们用数学语言描绘，即当已知事件Bi的概率P（Bi）和事件Bi已发生条件下事件A的概率P（A│Bi），则可运用贝叶斯定理计算出在事件A发生条件下事件Bi的概率P（Bi│A）。按贝叶斯定理进行投资决策的基本步骤是：1 列出在已知项目B条件下项目A的发生概率，即将P（A│B）转换为 P（B│A）；2 绘制树型图；3 求各状态结点的期望收益值，并将结果填入树型图；4 根据对树型图的分析，进行投资项目决策；搜索巨人Google和Autonomy，一家出售信息恢复工具的公司，都使用了贝叶斯定理（Bayesian principles）为数据搜索提供近似的（但是技术上不确切）结果。研究人员还使用贝叶斯模型来判断症状和疾病之间的相互关系，创建个人机器人，开发能够根据数据和经验来决定行动的人工智能设备。

3. 贝叶斯网络基本原理

贝叶斯网络又称信念网络，是有向无环图的网络拓扑结构和贝叶斯概率方法有机结合的模型表示，描述了各个数据项及其相互间的依赖关系。一个 BN 包括了一个拓扑结构模型和与之相关的一组条件概率参数。结构模型是一个有向无环图，每个节点则表示一个随机变量，是对于状态、过程、事件等实体的某个特性的形象描述，其中的有向边则表示随机变
量之间的条件依赖关系。BN 中每个节点( 除根节点外) 都有一个给定其父节点情况下的条件概率分布。2. 1. 1 贝叶斯网络定理
BN 是一种概率网络，即基于概率推理的图形化网络，这个概率网络的基础是贝叶斯公式。我们先来看一看贝叶斯基本公式。
定义 2. 1 条件概率: 设 X、Y 是两个事件，且 P( X) >0，称

基于BN+GIS新技术的突水态势研究

为在事件 X 发生的条件下事件 Y 发生的条件概率。
定义 2. 2 联合概率: 设 X，Y 是两个事件，且 P( X) >0，它们的联合概率为:

基于BN+GIS新技术的突水态势研究

定义2.3全概率公式:设试验E的样本空间为S，X为E的事件，Y1，Y2，…，Yn为E的一组事件，满足:

基于BN+GIS新技术的突水态势研究

定义2.4贝叶斯公式:根据定义2.1、定义2.2和定义2.3，很容易推得众所周知的贝叶斯公式:

基于BN+GIS新技术的突水态势研究

2. 1. 2 贝叶斯网络的拓扑结构
BN 是一个具有概率分布的有向无环图( Directed Acyclic Graph) ，其中每个节点代表一个数据变量或者属性，节点间的弧段代表数据变量( 属性) 之间的概率依赖关系。一条弧段由一个数据变量( 属性) X 指向另外一个数据变量( 属性) Y，说明数据变量 X 的取值可以对数据变量 Y 的取值产生影响。既然是有向无环图，因此 X，Y 间不构成有向回路。在 BN 当中，连接两个节点的一条弧 XY 中的弧头节点( 直接的原因节点) X 叫做弧尾节点( 结果节点) Y 的双亲节点( Parents) ，Y 叫做 X 的孩子节点( Children) 。如果从节点 A 有一条有向通路指向 B，则称节点 A 为节点 B 的祖先( Ancestor) ，同时称节点 B 为节点 A 的后代( Descendent) 。
BN 能够利用简单明了的图形表达方式定性地表示事件间复杂的概率关系和因果关系，在给定某些先验信息后，还可以定量地表示这些因果概率关系。BN 的拓扑结构通常是根据具体的问题和研究对象来确定的。目前如何通过结构学习自动确定和优化网络的拓扑结构是 BN 的一个研究热点。
2.1.3 条件独立性假设
条件独立性假设是BN进行定量推理的理论基础，可以减少先验概率的数目，从而大大地简化推理和计算过程。
BN的条件独立性假设的一个很重要的判据就是著名的分隔定理(D－Separation):
定义2.5阻塞:G=(V(G)，E(G))为一个有向非循环图，s是其中的一条链。当s包含3个连续的节点x，y，z，满足以下3种情况之一，我们称s被节点集合W(WV(G))阻塞:
(1)z∈W，s上存在弧x→z和z→y;
(2)z∈W，s上存在弧x←z和z→y;
(3)s上存在弧x→z和z←y，σ(z)∩W=，σ(z)表示z以及z的所有子孙节点的集合。

图2.1 阻塞的3种情形

定义2.6阻塞集:两个节点x和y间的所有路径都被节点集合Z所阻塞，则称集合Z为x，y两个节点间的阻塞集。
定义2.7D-Separation:令X，Y和Z是一个有向无环图G中3个不相交节点的子集，如果在集合X和Y中所有节点间的所有路径都被集合Z所阻塞，则称集合X，Y被Z集合(d－separation)，表示为＜X，Y|Z>G，也称Z为X和Y的切割集。否则，称在给定集合Z下集合X和Y的图形依赖。
这个判据指出，如果Z隔离了X和Y时，那么可以认为X与Y是关于Z条件独立的，即:P(X|Y，Z)=P(X|Y)。

4. 贝叶斯定理 在机器学习中有哪些应用

欧米伽（类似于w的）是参数，delta（三角）是超参数，负责控制参数的，指对于参数大概的信息。X独立变量t是观测值，yipsilon（类似于E的那玩意）是指模型误差，sigma是已知的参数值，一般用来指误差的方差

5. 贝叶斯公式应用实例

写作话题: 

贝叶斯预测模型在矿物含量预测中的应用
贝叶斯预测模型在气温变化预测中的应用
贝叶斯学习原理及其在预测未来地震危险中的应用
基于稀疏贝叶斯分类器的汽车车型识别
信号估计中的贝叶斯方法及应用
贝叶斯神经网络在生物序列分析中的应用
基于贝叶斯网络的海上目标识别
贝叶斯原理在发动机标定中的应用
贝叶斯法在继电器可靠性评估中的应用


相关书籍: 

Arnold Zellner 《Bayesian Econometrics: Past, Present and Future》
Springer 《贝叶斯决策》
黄晓榕 《经济信息价格评估以及贝叶斯方法的应用》
张丽 , 闫善文 , 刘亚东 《全概率公式与贝叶斯公式的应用及推广》
周丽琴 《贝叶斯均衡的应用》
王辉 , 张剑飞 , 王双成 《基于预测能力的贝叶斯网络结构学习》
张旭东 , 陈锋 , 高隽 , 方廷健 《稀疏贝叶斯及其在时间序列预测中的应用》
邹林全 《贝叶斯方法在会计决策中的应用》
周丽华 《市场预测中的贝叶斯公式应用》
夏敏轶 , 张焱 《贝叶斯公式在风险决策中的应用》
臧玉卫 , 王萍 , 吴育华 《贝叶斯网络在股指期货风险预警中的应用》
党佳瑞 , 胡杉杉 , 蓝伯雄 《基于贝叶斯决策方法的证券历史数据有效性分析》
肖玉山 , 王海东 《无偏预测理论在经验贝叶斯分析中的应用》
严惠云 , 师义民 《Linex损失下股票投资的贝叶斯预测》
卜祥志 , 王绍绵 , 陈文斌 , 余贻鑫 , 岳顺民 《贝叶斯拍卖定价方法在配电市场定价中的应用》
刘嘉焜 , 范贻昌 , 刘波 《分整模型在商品价格预测中的应用》
《Bayes方法在经营决策中的应用》
《决策有用性的信息观》
《统计预测和决策课件》
《贝叶斯经济时间序列预测模型及其应用研究》
《贝叶斯统计推断》
《决策分析理论与实务》

6. 贝叶斯的理论概述

贝叶斯决策理论是主观贝叶斯派归纳理论的重要组成部分。贝叶斯决策就是在不完全情报下，对部分未知的状态用主观概率估计，然后用贝叶斯公式对发生概率进行修正，最后再利用期望值和修正概率做出最优决策。贝叶斯决策理论方法是统计模型决策中的一个基本方法，其基本思想是：1、已知类条件概率密度参数表达式和先验概率。2、利用贝叶斯公式转换成后验概率。3、根据后验概率大小进行决策分类。他对统计推理的主要贡献是使用了逆概率这个概念，并把它作为一种普遍的推理方法提出来。贝叶斯定理原本是概率论中的一个定理，这一定理可用一个数学公式来表达，这个公式就是著名的贝叶斯公式。 贝叶斯公式是1763年被发现后提出来的：假定B1,B2,……是某个过程的若干可能的前提，则P(Bi)是人们事先对各前提条件出现可能性大小的估计，称之为先验概率。如果这个过程得到了一个结果A，那么贝叶斯公式提供了我们根据A的出现而对前提条件做出新评价的方法。P(Bi∣A)即是对以A为前提下Bi的出现概率的重新认识，称 P(Bi∣A)为后验概率。经过多年的发展与完善，贝叶斯公式以及由此发展起来的一整套理论与方法，已经成为概率统计中的一个冠以“贝叶斯”名字的学派，在自然科学及国民经济的许多领域中有着广泛应用。

7. 贝叶斯公式的原理

通常，事件A在事件B(发生)的条件下的概率，与事件B在事件A的条件下的概率是不一样的；然而，这两者是有确定的关系,贝叶斯法则就是这种关系的陈述。作为一个规范的原理，贝叶斯法则对于所有概率的解释是有效的；然而，频率主义者和贝叶斯主义者对于在应用中概率如何被赋值有着不同的看法：频率主义者根据随机事件发生的频率，或者总体样本里面的个数来赋值概率；贝叶斯主义者要根据未知的命题来赋值概率。一个结果就是，贝叶斯主义者有更多的机会使用贝叶斯法则。贝叶斯法则是关于随机事件A和B的条件概率和边缘概率的。其中L(A|B)是在B发生的情况下A发生的可能性。在贝叶斯法则中，每个名词都有约定俗成的名称：Pr(A)是A的先验概率或边缘概率。之所以称为先验是因为它不考虑任何B方面的因素。Pr(A|B)是已知B发生后A的条件概率，也由于得自B的取值而被称作A的后验概率。Pr(B|A)是已知A发生后B的条件概率，也由于得自A的取值而被称作B的后验概率。Pr(B)是B的先验概率或边缘概率，也作标准化常量（normalized constant）。按这些术语，Bayes法则可表述为：后验概率 = (似然度 * 先验概率)/标准化常量　也就是说，后验概率与先验概率和似然度的乘积成正比。另外，比例Pr(B|A)/Pr(B)也有时被称作标准似然度（standardised likelihood），Bayes法则可表述为：后验概率 = 标准似然度 * 先验概率 其中为完备事件组，即

8. 贝叶斯的理论分析

 （1）如果我们已知被分类类别概率分布的形式和已经标记类别的训练样本集合，那我们就需要从训练样本集合中来估计概率分布的参数。在现实世界中有时会出现这种情况。（如已知为正态分布了，根据标记好类别的样本来估计参数，常见的是极大似然率和贝叶斯参数估计方法）（2）如果我们不知道任何有关被分类类别概率分布的知识，已知已经标记类别的训练样本集合和判别式函数的形式，那我们就需要从训练样本集合中来估计判别式函数的参数。在现实世界中有时会出现这种情况。（如已知判别式函数为线性或二次的，那么就要根据训练样本来估计判别式的参数，常见的是线性判别式和神经网络）（3）如果我们既不知道任何有关被分类类别概率分布的知识，也不知道判别式函数的形式，只有已经标记类别的训练样本集合。那我们就需要从训练样本集合中来估计概率分布函数的参数。在现实世界中经常出现这种情况。（如首先要估计是什么分布，再估计参数。常见的是非参数估计） （4）只有没有标记类别的训练样本集合。这是经常发生的情形。我们需要对训练样本集合进行聚类，从而估计它们概率分布的参数。（这是无监督的学习）（5）如果我们已知被分类类别的概率分布，那么，我们不需要训练样本集合，利用贝叶斯决策理论就可以设计最优分类器。但是，在现实世界中从没有出现过这种情况。这里是贝叶斯决策理论常用的地方。 结论：对于任何给定问题，可以通过似然率测试决策规则得到最小的错误概率。此错误概率称为贝叶斯错误率，且是所有分类器中可以得到的最好结果。最小化错误概率的决策规则就是最大化后验概率判据。