生成式与判别式：朴素贝叶斯与逻辑回归对照

导读：李航第 1、6、12 章的暗线：生成式建模联合分布，判别式直接建模条件分布。同一份数据，两条路线的收敛速度与渐近性能不同。

方法论对照

生成式（朴素贝叶斯）先学类条件分布再由贝叶斯公式得后验；判别式（逻辑回归、SVM）直接学判别边界。生成式收敛快（小样本占优）、判别式渐近误差更低（大样本占优）——Ng 与 Jordan 的著名对照结论。

朴素贝叶斯的朴素等于特征条件独立假设。文本分类（词袋）里这个假设意外地好用；相关特征场景会系统性偏移置信度（但排序常常仍对）。

sigmoid 把线性函数映射为概率，交叉熵损失是凸的且校准良好（输出即概率）。特征工程加正则化的组合让它在小到中型表格数据上仍是强基线。

两者在指数族假设下的等价：生成式（类条件高斯同协方差）推出的后验恰是逻辑回归形式——生成式的边界是判别式模型的特例。这解释了判别式渐近更优的机制（生成式为拟合联合分布浪费了参数预算）。

特征强相关或大样本用判别式；样本极少、需要新类检测、需要数据生成用生成式。现代扩展：判别式的深度模型加生成式的自监督预训练（GPT 与扩散模型复兴了生成式路线）。