admin 管理员组文章数量: 1087649
贝叶斯统计推断（一）
-
概率与统计的区别
概率论是自我完善的数学课题，通常假设有一个完整的特定概率模型满足这些概率公理．然后运用数学方法对这个概率模型进行量化， 以及回答感兴趣的问题。结论具有唯一性。
而对一个具体的问题，统计学存在很多合理的方法，可得出不同的结论． 一般而言， 除非人们可对所研究的问题施加一些假设或者附加约束条件， 在这些条件下进行推断， 得到“理想”的结论，否则没有一个绝对的准则来选择“最好”的方法。 -
贝叶斯统计与经典统计
在统计领域内有两个突出的学派：贝叶斯学派和经典学派，他们之间最重要的区别是：如何看待未知模型或者变量。贝叶斯学派将其看成是已知分布的随机变量；而经典统计学派将其看成未知的待估计量。
贝叶斯方法将统计拉回概率论范畴，使得每个问题都有唯一答案。当欲对未知模型进行推断时，贝叶斯方法将该模型看成是随机地从已知的一类模型中选出来的。处理方法是引入一个随机变量来刻画该模型，然后构造一个先验概率分布，在已知数据的情况下用贝叶斯公式推导后验概率分布。
相反，经典统计方法将未知参数视为常数，但是未知就需要估计，然后经典统计方法提出估计方法，它处理的将不上一个概率模型，而是多个待选的概率模型，每个标记为待估参数的一个可能值。 -
模型推断和变量推断
在模型推断中，研究目标是物理现象或过程，基于得到的数据为这些物理现象或过程构造或验证一个模型。利用这样的模型就可以对未来进行预测，或者推知许多未知的原因。
在变量推断中，人们使用许多相关的，或者带有噪声的信息估计一个或者多个变量值。 -
主要术语
贝叶斯统计：将未知参数视为已知先验分布的随机变量；
参数估计：对参数进行估计，使得某种概率意义下估计值接近真实值；
贝叶斯推荐的主要方法：
（1）最大后验概率（MAP)准则：在可能的参数/假设的取值范围内，选择一个在给定数据下，具有最大化条件概率/后验概率的值；
（2）最小均方（LMS)估计：选择数据的一个估计量或者函数，使得参数与估计之间的均方误差达到最小；
（3）线性最小均方（LLMS)估计：选择数据的一个线性函数，使得参数与估计之间的均方误差达到最小 -
贝叶斯推断
（1） 起点是未知随机变量 Θ \Theta Θ的先验分布 p Θ p_{\Theta} pΘ或者 f Θ f_{\Theta} fΘ.
（2）得到测量向量X的条件分布 p X ∣ Θ p_{X | \Theta} pX∣Θ或者 f X ∣ Θ f_{X | \Theta} fX∣Θ
（3）一旦X的一个特定值x观测到后，运用贝叶斯法则计算 Θ \Theta Θ的后验分布。 -
举例1
设随机变量观测值 X = ( X 1 , ⋯ , X n ) X=\left(X_{1}, \cdots, X_{n}\right) X=(X1,⋯,Xn) 具有相同的均值, 但是均值未知, 需要估计. 假设给定均值的条件下，X i _{i} i 是正态的 且相互独立, 方差分别为 σ 1 2 , ⋯ , σ n 2 . \sigma_{1}^{2}, \cdots, \sigma_{n}^{2} . σ12,⋯,σn2. 使用贝叶斯方法, 我们对均值进行建模, 设 X i X_{i} Xi 的公共均值为随机变量 Θ \Theta Θ, 且己知其先验分布. 具体而言, 我们假设随机变量 Θ \Theta Θ的 分布为正态分布, 均值已知为 x 0 , x_{0}, x0, 方差为已知 σ 0 2 \sigma_{0}^{2} σ02
先验概率密度： f Θ ( θ ) = 1 2 π σ 0 exp { − ( θ − x 0 ) 2 2 σ 0 2 } f_{\Theta}(\theta)=\frac{1}{\sqrt{2 \pi} \sigma_{0}}\exp \left\{-\frac{\left(\theta-x_{0}\right)^{2}}{2 \sigma_{0}^{2}}\right\} fΘ(θ)=2π σ01exp{−2σ02(θ−x0)2}
条件概率密度： f X ∣ Θ ( x ∣ θ ) = ∏ i ∈ [ 1 , n ] 1 2 π σ i exp { − ( x i − θ ) 2 2 σ i 2 } f_{X | \Theta}(x | \theta)=\prod_{\mathbf i \in \mathcal[1,n]} \frac{1}{\sqrt{2 \pi} \sigma_{i}}\exp \left\{-\frac{\left(x_{i}-\theta\right)^{2}}{2 \sigma_{i}^{2}}\right\} fX∣Θ(x∣θ)=∏i∈[1,n]2π σi1exp{−2σi2(xi−θ)2}
运用贝叶斯公式：
f Θ ∣ X ( θ ∣ x ) = f Θ ( θ ) f X ∣ Θ ( x ∣ θ ) ∫ f Θ ( θ ′ ) f X ∣ Θ ( x ∣ θ ′ ) d θ ′ f_{\Theta | X}(\theta | x)=\frac{f_{\Theta}(\theta) f_{X | \Theta}(x | \theta)}{\int f_{\Theta}\left(\theta^{\prime}\right) f_{X | \Theta}\left(x | \theta^{\prime}\right) \mathrm{d} \theta^{\prime}} fΘ∣X(θ∣x)=∫fΘ(θ′)fX∣Θ(x∣θ′)dθ′fΘ(θ)fX∣Θ(x∣θ)
注意, 分子项 f Θ ( θ ) f X ∣ Θ ( x ∣ θ ) f_{\Theta}(\theta) f_{X | \Theta}(x | \theta) fΘ(θ)fX∣Θ(x∣θ) 的形式是 c 1 c 2 ⋅ exp { − ∑ i = 0 n ( x i − θ ) 2 2 σ i 2 } c_{1} c_{2} \cdot \exp \left\{-\sum_{i=0}^{n} \frac{\left(x_{i}-\theta\right)^{2}}{2 \sigma_{i}^{2}}\right\} c1c2⋅exp{−∑i=0n2σi2(xi−θ)2}
其中 c 1 = 1 2 π σ 0 c_{1}=\frac{1}{\sqrt{2 \pi} \sigma_{0}} c1=2π σ01, c 2 = ∏ i ∈ [ 1 , n ] 1 2 π σ i c_{2}=\prod_{\mathbf i \in \mathcal[1,n]} \frac{1}{\sqrt{2 \pi} \sigma_{i}} c2=∏i∈[1,n]2π σi1
通过代数运算, 对指数的肩膀上的求和部分进行配平方, 可以算出分子项的形式是 d ⋅ exp { − ( θ − m ) 2 2 v } d \cdot \exp \left\{-\frac{(\theta-m)^{2}}{2 v}\right\} d⋅exp{−2v(θ−m)2}
其中
m = ∑ i = 0 n x i / σ i 2 ∑ i = 0 n 1 / σ i 2 m=\frac{\sum_{i=0}^{n} x_{i} / \sigma_{i}^{2}}{\sum_{i=0}^{n} 1 / \sigma_{i}^{2}} m=∑i=0n1/σi2∑i=0nxi/σi2， v = 1 ∑ i = 0 n 1 / σ i 2 \quad v=\frac{1}{\sum_{i=0}^{n} 1 / \sigma_{i}^{2}} v=∑i=0n1/σi21
然后根据计算得到后验密度函数。
本文标签： 贝叶斯统计推断（一）
版权声明：本文标题：贝叶斯统计推断（一） 内容由网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：http://www.roclinux.cn/b/1686560146a10343.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。
发表评论