概率论的贝叶斯公式

概率论是深度学习的基础，但是我发现已经忘记了概率论中很多知识，所以复习了一下，做一下记录，也算是想起一些以前疑惑的东西。

关于贝叶斯与全概率，

数学上张宇讲的比较透彻，也比较容易理解：https://www.bilibili.com/video/av9735632?p=5

但是可以从另外一个给人启发的角度看待：https://www.bilibili.com/video/av84799361

互斥与独立

• 两个事件互斥 == 两个事件互不相容 , 这一点可以从几何关系理解，也就是说两个集合没有交集；
• 两个事件独立则是从概率的角度来讲的，举一个简单的公式，若A、B事件互相独立，则：

$$P(AB)=P(A)\ast P(B)$$

然后由条件概率可以知道，在A发生的条件下，B发生的概率为：

$$\begin{gathered} P(B|A)=\frac{P(AB)}{P(A)} \\ P(AB)=P(A)\ast P(B|A) \end{gathered}$$

若AB事件独立，可以推出

$$P(B)=P(B|A)$$

通俗来说，就是B发生的概率与在A发生的条件下B发生的概率相同，也就是A事件发生并不影响B，这就是AB相互独立。

这两者其实是没什么关系的，不用刻意去区分这两个概念。

贝叶斯公式

数学上理解，贝叶斯公式就是条件概率，执果索因：

$$P(H|E)=\frac{P(H)P(E|H)}{P(E)}=\frac{P(H)P(E|H)}{P(H)P(E|H)+P(\neg H)P(E|\neg H)}$$

其中，

1. P(H)也叫先验概率，H常被视为导致试验结果E发生的”原因“

2. P(E|H)也叫似然概率，likelyhood

3. P(H|E)这个计算出来的概率则成为后验概率，当试验产生了结果A之后，再对各种原因概率的新认识，故称后验概率。

贝叶斯公式给我们的思考是：

• 见到所有的证据从而限制了概率空间之后，在考虑比例，这就是贝叶斯公式的精髓
• 证据不应该直接决定了你的看法，而是应该更新你的看法