【机器学习】003--事件的关系:深入理解独立性

Posted by ShawnD on August 1, 2020

对立、互斥与独立性

互斥一定不独立,因为A发生, B一定不发生,A的发生对B产生影响, 因此A、B一定不独立。

对立是特殊的互斥。

条件独立

在给定事件C发生的前提条件之下, 若事件A和事件B满足等式:

\[P(A \cap B \mid C) = P(A \mid C)P(B \mid C)\] \[P(A \cap B \mid C) = \frac{P(A \cap B \cap C)}{P(C)} = \frac{P(C)P(B \mid C)P(A \mid B \cap C)}{P(C)} = P(B \mid C)P(A \mid B \cap C)\]

由条件概率:

\[P(A \cap B \mid C) = \frac{P(A \cap B \cap C)}{P(C)}\]

由链式法则:

\[P(A \cap B \cap C) = P(B \cap C)P(A \mid B \cap C) = P(C)P(B \mid C)P(A \mid B \cap C)\]

上面的推导是不用相互独立的

\[P(A \cap B \mid C) = P(B \mid C)P(A \mid B \cap C)\]

条件独立的定义式:

\[P(A \cap B \mid C) = P(A \mid C)P(B \mid C)\]

联立上面两式:

\[P(B \mid C)P(A \mid B \cap C) = P(A \mid C)P(B \mid C)\]

化简得:

\[P(A \mid B \cap C) = P(A \mid C)\]

上式为条件独立的另一个等价定义。 在给定事件C发生的前提条件下, 进一步假定此时如果事件B也发生, 并不会影响事件A的发生概率。

独立与条件独立

事件A和事件B相护独立 和 事件A和事件B在事件C发生的基础上条件独立 是否等价?

例子:

依次抛掷两枚均匀的硬币, 事件A表示第一枚硬币正面向上, 事件B表示第二枚硬币正面向上。

事件A与事件B显然相互独立, 但是引入条件事件C, 事件C表示两次实验的结果不同, 此时事件A和事件B不条件独立。

用公式来表示:

\[P(A \cap B \mid C) = 0\] \[P(A \mid C) \neq 0, P(B \mid C) \neq 0\] \[P(A \cap B \mid C) \neq P(A \mid C) P(B \mid C)\]

那么, 有没有条件独立,但是两个事件却不独立的例子呢?

即两个事件不相互独立, 但是加了条件之后, 条件独立。

QA

Q1: 不相关和相互独立之间的联系?

Q2: 在只知道P(ABC) = P(A) * P(B) * P(C)的条件下,举一个ABC不相互独立的例子?

Q3: 独立一定相容 但相容不一定独立 举个栗子?

Q4: 能否举个例子 说明两个事件不独立 但是在某条件下形成条件独立?

Q5: 两两独立和相互独立之间的关系,能否举出一个既是两两独立、但不是相互独立的例子?

Reference