先验和后验概率以及估计
先验概率与后验概率
先验概率是指事件尚未发生,对该事件发生的概率的估计,是在缺乏某个事情的情况下描述一个变量。后验概率是指在 事件已经发生的条件下,求该事件发生原因是由某个因素引起的可能性的大小,是考虑一个事件之后的条件概率。
先验概率可以通过已知的关于事件本身的先验知识得到,蒙特卡洛方法也可以用于计算先验概率。后验概率可以基于 贝叶斯定理,通过先验概率乘以似然度,再归一化得到。具体来说,贝叶斯公式:
其中
最大似然估计与最大后验估计
似然函数(likelihood function)是关于参数的函数,表示在参数给定的条件下,随机变量的值的条件概率。对于随机变量
假设
因此,似然函数以及对数似然函数为
并且取
最大似然估计
最大似然估计是指求当似然函数取得最大时参数
想要求解参数
可见,似然函数的值表达式是某个模型能够产生某个给定观察序列的概率,最大似然即能产生该给定观察序列的最大概率。
最大似然估计是在参数
最大后验估计
最大后验估计引入了参数的先验分布
同时
而由贝叶斯定理,后验概率可以表示为
对比
最大似然估计与最大后验估计最大的区别在于最大后验估计引入了模型参数本身的概率分布,或者说最大似然估计认为参数本身满足均匀分布。 当数据量足够大时,最大似然估计和最大后验估计趋于一致,当数据量为0时,后验概率仅有先验概率决定,二者一致。
统计推断理论体系中,频率学派把需要推断的参数