第 3–5 章 · 条件概率与独立性

已知部分信息后概率怎么更新？——条件概率是概率论里最重要的概念操作：贝叶斯公式（信息更新）、全概率公式（分而治之）、独立性（信息互不相扰）全在这一站。

条件概率与乘法公式

"已知 $B$ 发生后 $A$ 的概率" = 把样本空间压缩到 $B$ 内重新算。链式乘法 $P(ABC) = P(A)P(B|A)P(C|AB)$ 处理逐段展开的试验（摸球不放回、抽牌不还）。

全概率与贝叶斯：信息更新的账本

划分 $\{B_i\}$ 互斥穷举：

贝叶斯公式的语义：由果溯因——观测到 $A$ 后，各"原因" $B_i$ 的概率重排。医学检测问题（患病率 0.1%、检测准确率 99%，阳性后真患病概率仅约 9%）是必备例题：基础比率被直觉忽略是贝叶斯思维的永恒考点。法庭误证、垃圾邮件过滤、雷达检测都是同一公式的马甲。

独立性：不是"不相干"的口语

$A, B$ 独立 ⟺ $P(AB) = P(A)P(B)$。要点：

• 独立 ⟹ $P(A|B) = P(A)$，反之亦然；
• 互斥与独立几乎相反：互斥且都正概率的事件绝不独立（一个发生则另一个必不发生，信息量巨大）；
• 多事件独立（任意子集联合分布因子化）强于两两独立——三个经典反例（两两独立但不独立）必须见过。

老师的提醒

• 树状图是条件概率的万能底盘：试验分步、每步分支标条件概率，全概率 = 各叶子概率之和、贝叶斯 = 柿子挑叶。图比公式不易错。
• "独立"必须验证 $P(AB)=P(A)P(B)$，尤其对象是自造事件（比如"第一次正面 & 总共一次正面"）——朴素的"感觉独立"经常错。

自检

• 全概率公式与贝叶斯公式的分工？
• 算医学检测问题并解释基础比率谬误。
• 举一个两两独立但不独立的三事件例。

更深一层：条件概率是"换样本空间"

条件概率 $P(A|B) = \frac{P(AB)}{P(B)}$ 的本质动作是把样本空间压缩到 $B$ 上重新归一化——原来的分母 $\Omega$ 换成 $B$。这个视角让三个看似不同的公式成为一家的三兄弟：乘法公式（链式法则 = 逐步换空间）、全概率公式（对划分 $\{B_i\}$ 各空间加权平均）、贝叶斯公式（换空间后再换回来）。一切条件概率计算都可以画成一棵树：根是先验、每条边标条件概率、叶是联合——全概率 = 叶子求和、贝叶斯 = 选中一片叶后追问根的来路。

树图的纪律价值在医学检测问题上一览无余：患病率 0.1% → 10 万人里 100 患者中 99 阳性、99,900 健康者中 1,998 误报——阳性后真患病概率 $99/2097 \approx 4.7\%$。基础比率谬误 = 只看"灵敏度 99%"这根枝、忘掉"患病率 0.1%"这根干。

推导细读：独立性的"三层楼"与反例

独立性 defined by $P(AB) = P(A)P(B)$，但它的层级常被误解。一楼：两两独立（任意对满足乘法）——三个经典反例证明两两推不出整体独立（伯恩斯坦例子：均匀四面体，三面特殊标记）；二楼：相互独立（任意子集联合分布因子化）——只有它支持"概率相乘"的全套算法；三楼：条件独立（给定 $C$ 时独立）——朴素贝叶斯假设的真实身份、马尔可夫网络的基础。"看起来无关"在数学上一律无效，独立必须验证乘法定义或从生成机制证明——Feller 反复强调的纪律。

在真实世界里：贝叶斯更新的工业流水线

贝叶斯公式在工业里的流水线形态：垃圾邮件过滤（每个词是证据，朴素独立假设下后验对数几率的线性累加——"朴素贝叶斯分类器"，百万邮件级实时运行）、医学多次检测（连续阳性使后验迭代跳升：4.7% → 一次复测后 ~70%——"独立复测"的信息量按对数似然比累加）、雷达/声呐检测（先验 + 似然比 + 决策阈值，Neyman-Pearson 框架）。三者的共同语法：先验 × 似然 ∝ 后验——证据不改变真相，只改变我们对真相的分配。

专题深入：条件概率是"换样本空间"完整版

条件概率 $P(A|B) = \frac{P(AB)}{P(B)}$ 的本质动作是把样本空间压缩到 $B$ 上重新归一化——原来的分母 $\Omega$ 换成 $B$。这个视角让三个看似不同的公式成为一家的三兄弟：乘法公式（链式法则 = 逐步换空间）、全概率公式（对划分 $\{B_i\}$ 各空间加权平均）、贝叶斯公式（换空间后再换回来）。一切条件概率计算都可以画成一棵树：根是先验、每条边标条件概率、叶是联合——全概率 = 叶子求和、贝叶斯 = 选中一片叶后追问根的来路。

树图的纪律价值在医学检测问题上一览无余：患病率 0.1% → 10 万人里 100 患者中 99 阳性、99,900 健康者中 1,998 误报——阳性后真患病概率 $99/2097 \approx 4.7\%$。基础比率谬误 = 只看"灵敏度 99%"这根枝、忘掉"患病率 0.1%"这根干。

数学细节展开：独立性的"三层楼"与反例完整版

独立性 defined by $P(AB) = P(A)P(B)$，但它的层级常被误解。一楼：两两独立（任意对满足乘法）——三个经典反例证明两两推不出整体独立（伯恩斯坦例子：均匀四面体，三面特殊标记）；二楼：相互独立（任意子集联合分布因子化）——只有它支持"概率相乘"的全套算法；三楼：条件独立（给定 $C$ 时独立）——朴素贝叶斯假设的真实身份、马尔可夫网络的基础。"看起来无关"在数学上一律无效，独立必须验证乘法定义或从生成机制证明——Feller 反复强调的纪律。

工程案例细节：贝叶斯更新的工业流水线（工程版）

贝叶斯公式在工业里的流水线形态：垃圾邮件过滤（每个词是证据，朴素独立假设下后验对数几率的线性累加——"朴素贝叶斯分类器"，百万邮件级实时运行）；医学多次检测（连续阳性使后验迭代跳升：4.7% → 一次复测后 ~70%——"独立复测"的信息量按对数似然比累加）；雷达/声呐检测（先验 + 似然比 + 决策阈值，Neyman-Pearson 框架）。三者的共同语法：先验 × 似然 ∝ 后验——证据不改变真相，只改变我们对真相的分配。