空间插值问题可以这样描述：在若干已知位置 x 1 , … , x n x_1, \ldots, x_n x 1 , … , x n y 1 , … , y n y_1, \ldots, y_n y 1 , … , y n x ∗ x^* x ∗
考虑线性回归模型 f ( x ) = ϕ ( x ) ⊤ w f(x) = \phi(x)^{\top} w f ( x ) = ϕ ( x ) ⊤ w ϕ ( x ) \phi(x) ϕ ( x ) w w w w ∼ N ( 0 , Σ p ) w \sim \mathcal{N}(0, \Sigma_p) w ∼ N ( 0 , Σ p ) y = f ( x ) + ε y = f(x) + \varepsilon y = f ( x ) + ε ε ∼ N ( 0 , σ n 2 ) \varepsilon \sim \mathcal{N}(0, \sigma_n^2) ε ∼ N ( 0 , σ n 2 )
f ˉ ∗ = ϕ ( x ∗ ) ⊤ Σ p Φ ⊤ ( Φ Σ p Φ ⊤ + σ n 2 I ) − 1 y \bar{f}_* = \phi(x_*)^{\top} \Sigma_p \Phi^{\top} \left( \Phi \Sigma_p \Phi^{\top} + \sigma_n^2 I \right)^{-1} y
f ˉ ∗ = ϕ ( x ∗ ) ⊤ Σ p Φ ⊤ ( Φ Σ p Φ ⊤ + σ n 2 I ) − 1 y
V [ f ∗ ] = ϕ ( x ∗ ) ⊤ Σ p ϕ ( x ∗ ) − ϕ ( x ∗ ) ⊤ Σ p Φ ⊤ ( Φ Σ p Φ ⊤ + σ n 2 I ) − 1 Φ Σ p ϕ ( x ∗ ) \mathbb{V}[f_*] = \phi(x_*)^{\top} \Sigma_p \phi(x_*) - \phi(x_*)^{\top} \Sigma_p \Phi^{\top} \left( \Phi \Sigma_p \Phi^{\top} + \sigma_n^2 I \right)^{-1} \Phi \Sigma_p \phi(x_*)
V [ f ∗ ] = ϕ ( x ∗ ) ⊤ Σ p ϕ ( x ∗ ) − ϕ ( x ∗ ) ⊤ Σ p Φ ⊤ ( Φ Σ p Φ ⊤ + σ n 2 I ) − 1 Φ Σ p ϕ ( x ∗ )
其中 Φ \Phi Φ 特征映射 ϕ \phi ϕ ，特征维度可能很高甚至无限。
注意到上面公式里特征只以内积 形式出现：Φ Σ p Φ ⊤ \Phi \Sigma_p \Phi^{\top} Φ Σ p Φ ⊤ ϕ ( x ∗ ) ⊤ Σ p ϕ ( x ∗ ) \phi(x_*)^{\top} \Sigma_p \phi(x_*) ϕ ( x ∗ ) ⊤ Σ p ϕ ( x ∗ )
k ( x , x ′ ) = ϕ ( x ) ⊤ Σ p ϕ ( x ′ ) k(x, x') = \phi(x)^{\top} \Sigma_p \phi(x')
k ( x , x ′ ) = ϕ ( x ) ⊤ Σ p ϕ ( x ′ )
核函数是特征空间的内积，它让我们无需显式构造 ϕ \phi ϕ 。这就是高斯过程的核技巧视角：一个高斯过程就是定义在函数空间上的高斯分布，由均值函数 m ( x ) m(x) m ( x ) k ( x , x ′ ) k(x, x') k ( x , x ′ )
f ∼ G P ( m ( x ) , k ( x , x ′ ) ) f \sim \mathcal{GP}(m(x), k(x, x'))
f ∼ G P ( m ( x ) , k ( x , x ′ ) )
高斯过程的直觉 ：它不是输出一个函数，而是输出一个"函数的分布"。任意有限个点处的函数值服从多元高斯分布：
[ f ( x 1 ) , … , f ( x n ) ] ∼ N ( μ , K ) [f(x_1), \ldots, f(x_n)] \sim \mathcal{N}(\mu, K)
[ f ( x 1 ) , … , f ( x n ) ] ∼ N ( μ , K )
其中 K i j = k ( x i , x j ) K_{ij} = k(x_i, x_j) K i j = k ( x i , x j ) k k k
给定训练数据 ( X , y ) (X, y) ( X , y ) y = f ( X ) + ε y = f(X) + \varepsilon y = f ( X ) + ε X ∗ X_* X ∗ f ∗ f_* f ∗
[ y f ∗ ] ∼ N ( 0 , [ K ( X , X ) + σ n 2 I K ( X , X ∗ ) K ( X ∗ , X ) K ( X ∗ , X ∗ ) ] ) \begin{bmatrix} y \\ f_* \end{bmatrix} \sim \mathcal{N}\left( 0, \begin{bmatrix} K(X, X) + \sigma_n^2 I & K(X, X_*) \\ K(X_*, X) & K(X_*, X_*) \end{bmatrix} \right)
[ y f ∗ ] ∼ N ( 0 , [ K ( X , X ) + σ n 2 I K ( X ∗ , X ) K ( X , X ∗ ) K ( X ∗ , X ∗ ) ] )
条件分布（高斯条件公式）给出预测：
预测均值 ：
f ˉ ∗ = K ( X ∗ , X ) [ K ( X , X ) + σ n 2 I ] − 1 y \bar{f}_* = K(X_*, X) \left[ K(X, X) + \sigma_n^2 I \right]^{-1} y
f ˉ ∗ = K ( X ∗ , X ) [ K ( X , X ) + σ n 2 I ] − 1 y
预测方差 ：
V [ f ∗ ] = K ( X ∗ , X ∗ ) − K ( X ∗ , X ) [ K ( X , X ) + σ n 2 I ] − 1 K ( X , X ∗ ) \mathbb{V}[f_*] = K(X_*, X_*) - K(X_*, X) \left[ K(X, X) + \sigma_n^2 I \right]^{-1} K(X, X_*)
V [ f ∗ ] = K ( X ∗ , X ∗ ) − K ( X ∗ , X ) [ K ( X , X ) + σ n 2 I ] − 1 K ( X , X ∗ )
预测均值是训练观测的核加权线性组合，权重由核矩阵的逆决定；预测方差给出每个预测点的不确定性估计 ，这是高斯过程区别于普通插值方法的核心能力：它不仅给出插值结果，还给出"这个结果有多可信" 。
径向基核（RBF） ：最常用，对应无限维特征空间：
k ( x , x ′ ) = σ f 2 exp ( − ∥ x − x ′ ∥ 2 2 l 2 ) k(x, x') = \sigma_f^2 \exp\left( -\frac{\|x - x'\|^2}{2l^2} \right)
k ( x , x ′ ) = σ f 2 exp ( − 2 l 2 ∥ x − x ′ ∥ 2 )
其中 l l l σ f 2 \sigma_f^2 σ f 2 在空间插值语境下，l l l ：l l l l l l
Matérn 核 ：更灵活，通过参数 ν \nu ν ν → ∞ \nu \to \infty ν → ∞
k ν ( x , x ′ ) = σ f 2 2 1 − ν Γ ( ν ) ( 2 ν ∥ x − x ′ ∥ l ) ν K ν ( 2 ν ∥ x − x ′ ∥ l ) k_\nu(x, x') = \sigma_f^2 \frac{2^{1-\nu}}{\Gamma(\nu)} \left( \frac{\sqrt{2\nu}\|x - x'\|}{l} \right)^\nu K_\nu\left( \frac{\sqrt{2\nu}\|x - x'\|}{l} \right)
k ν ( x , x ′ ) = σ f 2 Γ ( ν ) 2 1 − ν ( l 2 ν ∥ x − x ′ ∥ ) ν K ν ( l 2 ν ∥ x − x ′ ∥ )
ν = 3 / 2 \nu = 3/2 ν = 3 / 2 ν = 5 / 2 \nu = 5/2 ν = 5 / 2
核函数中的超参数（l l l σ f 2 \sigma_f^2 σ f 2 σ n 2 \sigma_n^2 σ n 2
log p ( y ∣ X ) = − 1 2 y ⊤ ( K + σ n 2 I ) − 1 y − 1 2 log ∣ K + σ n 2 I ∣ − n 2 log 2 π \log p(y \mid X) = -\frac{1}{2} y^{\top} \left( K + \sigma_n^2 I \right)^{-1} y - \frac{1}{2} \log \left| K + \sigma_n^2 I \right| - \frac{n}{2} \log 2\pi
log p ( y ∣ X ) = − 2 1 y ⊤ ( K + σ n 2 I ) − 1 y − 2 1 log ∣ ∣ ∣ K + σ n 2 I ∣ ∣ ∣ − 2 n log 2 π
边际似然自动实现奥卡姆剃刀 ：过复杂的模型（核太"活泼"）拟合噪声需要更高的复杂度惩罚项 log ∣ K ∣ \log|K| log ∣ K ∣
高斯过程 vs 克里金：同一个数学，两个名字
克里金的预测公式与高斯过程回归的预测均值完全一致：克里金的变差函数（variogram）对应高斯过程的核函数，克里金的权重求解就是核矩阵求逆。区别在于学科语言与扩展方向：地理学强调空间相关结构分析（变差函数拟合），机器学习强调核选择与边际似然优化。理解等价性后，两边的文献可以互相翻译。
高斯过程回归需要求 n × n n \times n n × n O ( n 3 ) O(n^3) O ( n 3 ) O ( n 2 ) O(n^2) O ( n 2 )
稀疏近似（Inducing Points） ：用 m ≪ n m \ll n m ≪ n O ( n m 2 ) O(nm^2) O ( n m 2 ) 随机特征 ：用随机傅里叶特征近似核函数，把 GP 变成线性模型。可扩展变分（SVGP） ：结合变分推断与诱导点，支持小批量训练，适合大规模数据。
以气象站点数据插值为例：站点位置 x i x_i x i y i y_i y i
选核函数（Matérn 5/2 常用），初始化超参数。
最大化边际似然学习 l l l σ f 2 \sigma_f^2 σ f 2 σ n 2 \sigma_n^2 σ n 2
对每个网格点计算预测均值与方差，得到温度场与不确定性场。
高斯过程相比确定性插值（IDW、样条）的优势是自带不确定性 ：站点稀疏区域的预测方差大，这在决策场景（哪里需要补测站点）中直接可用。相比普通克里金，GP 框架更容易扩展：加异方差噪声、多任务联合插值、与深度学习特征结合（深度核学习）。
[1] Rasmussen, C. E., & Williams, C. K. I. Gaussian Processes for Machine Learning. MIT Press, 2006.