均方誤差

在統計學中，平均平方誤差（英語：mean-square error、MSE）是對於無法觀察的參數 $\theta$ 的一個估計函數T；其定義為：

$\operatorname {MSE} (T)=\operatorname {E} ((T-\theta )^{2}),$

即，它是「誤差」的平方的期望值。誤差就是估計值與被估計量的差。均方誤差滿足等式

\operatorname {MSE} (T)=\operatorname {var} (T)+(\operatorname {bias} (T))^{2}

其中

\operatorname {bias} (T)=\operatorname {E} (T)-\theta ,

也就是說，偏差 $\operatorname {bias} (T)$ 是估計函數的期望值與那個無法觀察的參數的差。

下邊是一個具體例子。假設

X_{1},\dots ,X_{n}\sim \operatorname {N} (\mu ,\sigma ^{2}),

即 $X_{1},\dots ,X_{n}$ 是一組來自正態分布的樣本。常用的兩個對σ²估計函數為：

{\frac {1}{n}}\sum _{i=1}^{n}\left(X_{i}-{\overline {X}}\,\right)^{2}\

　和　

{\frac {1}{n-1}}\sum _{i=1}^{n}\left(X_{i}-{\overline {X}}\,\right)^{2}

其中

{\overline {X}}=(X_{1}+\cdots +X_{n})/n

為樣本均值。

第一個估計函數為最大似然估計，它是有偏的，即偏差不為零，但是它的方差比第二個小。而第二個估計函數是無偏的。較大的方差某種程度上補償了偏差，因此第二個估計函數的均方誤差比第一個要大。

另外，這兩個估計函數的均方誤差都比下邊這個有偏估計函數大： ${\frac {1}{n+1}}\sum _{i=1}^{n}\left(X_{i}-{\overline {X}}\,\right)^{2}$

這個估計函數使得形如 $c\sum _{i=1}^{n}\left(X_{i}-{\overline {X}}\,\right)^{2}$ （其中c是常數）的均方誤差最小。

參見

這是一篇與統計學相關的小作品。您可以透過編輯或修訂擴充其內容。