贝叶斯的两个理解角度
When you have eliminated the impossible, whatever remains, however improbable, must be the truth...
时间线： 托马斯·贝叶斯（Thomas Bayes）在1763提出，用来解决逆概率问题
贝叶斯：
- 根据证据修正先验
- 推断因子
下面具体解释这两个角度
-
\(P(A|B) = P(A)\frac{P(B|A)}{P(B)}\)
P(A)是先验概率。 P(B|A)/P(B)称为"可能性函数"（Likelyhood），这是一个调整因子，也就是新信息B带来的调整，作用是将先验概率（之前的主观判断）调整到更接近真实概率。
如果"可能性函数"P(B|A)/P(B)>1，意味着"先验概率"被增强，事件A的发生的可能性变大；
如果"可能性函数"=1，意味着B事件无助于判断事件A的可能性；
如果"可能性函数"<1，意味着"先验概率"被削弱，事件A的可能性变小。
\(P(z_j|x) = \frac{P(z_j,x)}{\sum_z P(x|z_i)P(z_i)}\)
事实上，当初统计学家在回归问题中引入L2正则，只是出于防止矩阵病态造成不可求逆矩阵，后来才发现结果居然更好了。
当我们对抛硬币做做参数估计的时候，加入10次都是正的那很容易得到一个很不准的MLE
参数估计：
点估计:MLE，MAP(通常是优化问题)，矩估计，贝叶斯估计
reference：
https://www.zhihu.com/question/61298823/answer/1545994922
