人工智能

高斯过程:核函数即先验

导读:PRML 第 6 章的高斯过程把回归推到函数空间:不学参数,直接在函数的分布上做贝叶斯。核函数选择即先验选择。

定义与机制

GP 是函数上的高斯分布:任意点集的函数值联合高斯,由均值函数与协方差核完全指定。预测等于条件高斯,均值与方差有闭式解(核矩阵求逆)。

核的语义:RBF 核平滑、Matérn 粗糙度可调、周期核、线性核。核相加相乘构造复合结构——数据是平滑趋势加周期波动加噪声,可直译成核表达式。

与贝叶斯线性回归的联系

把贝叶斯线性回归的基函数换成无限维(核技巧),权重积分掉之后正是 GP——两者是同一模型的参数空间与函数空间双视角。基函数视角解释核的来源,GP 视角给计算路线。

超参(核的长度尺度等)用证据最大化学习:长度尺度自动反映输入的相关距离——这是 GP 自带不确定度加可解释超参的双卖点。

代价与适用

核矩阵求逆立方级复杂度:超过一万样本需近似(稀疏诱导点、随机特征)。适用:小数据且需要不确定度的场景——贝叶斯优化、实验设计、校准。

常见误区

  • 核矩阵不加抖动项导致数值奇异。
  • 在大数据上硬上精确 GP。

吃透自检

  • 能推导 GP 预测的均值方差公式
  • 能设计复合核并解释每项含义
  • 能说明 GP 与贝叶斯线性回归的等价

← 人工智能 书目精读列表 经典研读