第 6 章 · 逻辑回归与最大熵：判别式的主力

逻辑回归把线性模型包进 sigmoid 变成概率输出，用对数似然（= 交叉熵）训练；最大熵原理从信息论出发得到同一个模型——两个出发点，一个终点。它是工业界至今最常用的线性分类器。

逻辑回归的模型与学习

对数几率 $\log\frac{p}{1-p} = w\cdot x + b$ 线性——系数可解释为特征的对数几率增量（可解释性的来源）。训练 = 极大化对数似然（凸优化！全局最优保证）：

求解用梯度下降/牛顿法（IRLS）。多分类的两种扩展：one-vs-rest、softmax 回归（多项逻辑回归）。

最大熵原理：最不偏不倚的分布

在约束（特征期望匹配经验期望）下选熵最大的分布：

拉格朗日对偶解出的最优解形式恰好是逻辑回归形的指数族（softmax over 特征加权）——"最大熵模型"与逻辑回归在数学上合体。直觉版：已知的约束满足，其余可能性均匀摊开——不过度自信。

对比与分工

• LR vs 朴素贝叶斯：判别 vs 生成；大数据下 LR 常胜（不假设特征独立），小数据下 NB 稳（先验拉平）；两家的"收敛差异"（NB 收敛快但上限低，LR 慢但上限高）是经典经验规律；
• LR vs 线性 SVM：同为线性，损失不同（对数 vs 合页）——概率输出 vs 间隔几何；实践差异小，LR 多出校准概率。

老师的提醒

• LR 的特征工程红利：离散特征 one-hot + 交叉特征（CTR 模型的祖传手艺），配合 L1/L2 正则——简单、稳、可解释。
• 类别极不平衡时看 AUC/PR 曲线而不是准确率，阈值按业务代价调——LR 的概率输出在这里最值钱。

自检

• 为什么 LR 的训练是凸优化？对数几率解释？
• 最大熵模型的最优解形式与约束含义？
• LR 与朴素贝叶斯/线性 SVM 的对比要点？

更深一层：逻辑回归的"可解释性"是工业刚需

逻辑回归的可解释性值得单独强调：系数 $w_i$ 直接读作特征的对数几率增量（$\log\frac{p}{1-p} = w\cdot x + b$——每单位特征增加改变对数几率 $w_i$）。这个可解释性在金融风控与医疗里是法律级刚需——监管要求模型给出"为什么拒绝"的量化解释，LR 的系数表直接满足。复杂的深度学习模型在这些领域落地时的最大障碍就是"不可解释"，SHAP/LIME 等事后解释工具就是为了给复杂模型补上 LR 级别的可解释性。

凸优化保证（对数似然是凸函数——全局最优保证）是 LR 的另一张王牌：没有局部极小、没有鞍点、收敛有保证——这与神经网络的非凸地狱形成对比，解释了为什么 LR 至今是工业基线的"不败起点"。

推导细读：最大熵原理与逻辑回归的"合体"

最大熵原理（在约束下选熵最大的分布）与逻辑回归的合体推导值得走一遍：拉格朗日对偶解出的最优解形式恰好是softmax 形的指数族——"最大熵模型"与逻辑回归在数学上是同一件事。"已知约束满足，其余可能性均匀摊开——不过度自信"是最大熵原理的哲学，它是"最不偏不倚"的分布选择原则。这个原理在物理（统计力学的最大熵推导）、经济学（最大熵投资组合）、自然语言处理（最大熵模型）里反复出现——一个原理，四个学科。

在真实世界里：LR 的"特征工程红利"

LR 的特征工程红利是工业 CTR 预估的祖传手艺：离散特征 one-hot + 交叉特征（特征组合）+ L1/L2 正则——简单、稳、可解释、训练快。"好特征 + 简单模型 > 差特征 + 复杂模型"是工业 ML 的铁律，LR 是它的执行器。深度学习的 Wide & Deep 架构（Wide 部分就是 LR）正是 LR 红利的现代继承——逻辑回归从未过时，它只是换了个工位。

专题深入：逻辑回归与最大熵的"同构"完整版

第六章的隐藏主线是逻辑回归 = 最大熵模型的二类特例：最大熵原理（在满足特征的约束下熵最大的分布 = 最少假设的分布）配上特征约束 $\sum p(f_i, y) = \tilde p(f_i)$ 的拉格朗日对偶，解出的模型形式恰是 softmax/ sigmoid——"逻辑回归不是拍脑袋的 sigmoid，是最大熵原理的解"——这是本章最深的推导。对偶问题的完整推导（原始问题：最大化熵 s.t. 特征约束 + 归一化；引入拉格朗日乘子 $w_i$；对偶后 $\max_w \tilde L(w)$ 恰是对数似然——"最大熵 = 最大似然"在指数族上的等价是信息论的里程碑结果）。逻辑回归的完整账：sigmoid 的来源（odds 的对数线性 $\ln\frac{p}{1-p} = w\cdot x$）、交叉熵损失的凸性、评分卡（scorecard）的 WOE 编码 + 分数换算——信贷行业把 LR 做成了产业标准。

推导细读：多类推广与校准的"概率质量"完整版

第六章的工程延伸推导：多类 softmax 与二类 LR 的统一（K 类 softmax 是二类的自然推广，梯度 $\nabla = p - y$ 同样干净）；概率校准（LR 输出的概率"天然较准"（凸损失 + 线性模型），复杂模型（树/NN）需要 Platt scaling 或 isotonic regression 校准——"校准曲线 + Brier 分数"是概率型产品的质检标准：风控要的 0.7 概率就必须是 70% 发生率）；不平衡数据的阈值经济学（类权重 = 损失重加权、阈值移动 = 后处理——KS 统计量与 PR 曲线在低正率场景（欺诈 0.1%）比 ROC 更诚实）。优化细节：LR 的高维训练用 L-BFGS 或 SGD+FTRL（FTRL 在线学习是广告系统的招牌）、正则选 L1（特征筛选）还是 L2（稳定）由特征预算决定。

工程案例细节：LR 的工业帝国工程版

第六章的工程出口：广告 CTR 预估的 LR 帝国（大规模离散特征 + one-hot + FTRL 在线 LR 统治了 2010 年代——"特征工程 + 简单模型"路线的巅峰；FM/深度模型是它的后继而非否定）；信贷评分卡的国家标准（WOE 分箱 → LR → PDO 分数刻度（分数每翻倍 bad 率减半）——银行风控几十年的合规标准件，可解释性是监管硬要求）；医疗预测的概率输出（并发症风险评分需要校准概率——LR 仍是首选因为它"概率诚实"）；CTR 模型的现代混合（LR base + embedding 树特征 + 深度塔——"简单模型打底、复杂模型增益"的分层架构）。LR 的帝国证明：可解释 + 可校准 + 可在线 + 可扩展 = 生产环境的四种刚需，优雅的复杂模型不一定全占。