平滑最大值

平滑最大值是最大值函数$\max(x_{1},\ldots ,x_{n}),$的光滑函数。其是一个参数族，在 $m_{\alpha }(x_{1},\ldots ,x_{n})$中，对于每个参数α，函数 $m_{\alpha }$ 都是平滑的。参数族内包含最大值函数，并且$m_{\alpha }\to \max$ 当 $\alpha \to \infty$。 平滑最小值的概念也是类似的。 在大多数情况下，一个族满足两个条件：当参数趋向于正无穷大时为函数变为最大值函数，当参数变为负无穷大时函数变为最小值函数；符号表示为： $m_{\alpha }\to \max$ 当 $\alpha \to \infty$ ，$m_{\alpha }\to \min$ 当 $\alpha \to -\infty$。平滑最大值也可以用于描述行为类似于最大值函数的其他平滑函数，而不一定必须在此参数族中。

例子

平滑最大值应用于具有各种系数的'-x'和x函数。 非常光滑当$\alpha$ = 0.5，而$\alpha$ = 8更加平滑。

当正值参数较大时，且$\alpha >0$ ，下列公式是最大函数的平滑函数，可微、近似于最大值函数。 对于绝对值较大的负值参数，其近似最小值函数。

${\mathcal {S}}_{\alpha }(x_{1},\ldots ,x_{n})={\frac {\sum _{i=1}^{n}x_{i}e^{\alpha x_{i}}}{\sum _{i=1}^{n}e^{\alpha x_{i}}}}$

${\mathcal {S}}_{\alpha }$具有以下属性：

1. ${\mathcal {S}}_{\alpha }\to \max$当$\alpha \to \infty$
2. ${\mathcal {S}}_{0}$是其输入的算术平均值
3. ${\mathcal {S}}_{\alpha }\to \min$当$\alpha \to -\infty$

${\mathcal {S}}_{\alpha }$的梯度近似于softmax函数，由以下公式可得：

$\nabla _{x_{i}}{\mathcal {S}}_{\alpha }(x_{1},\ldots ,x_{n})={\frac {e^{\alpha x_{i}}}{\sum _{j=1}^{n}e^{\alpha x_{j}}}}[1+\alpha (x_{i}-{\mathcal {S}}_{\alpha }(x_{1},\ldots ,x_{n}))].$

这使softmax函数使用梯度下降的优化时很有用。

LogSumExp

主条目：LogSumExp

另一个平滑最大值函数例子是LogSumExp ：

$\mathrm {LSE} (x_{1},\ldots ,x_{n})=\log(\exp(x_{1})+\ldots +\exp(x_{n}))$

如果$x_{i}$都是非负的，可产生定义域是$[0,\infty )^{n}$和值域是$[0,\infty )$的函数 ：

$g(x_{1},\ldots ,x_{n})=\log(\exp(x_{1})+\ldots +\exp(x_{n})-(n-1))$

$(n-1)$项通过消除除零以外的所有零指数使得$\exp(0)=1$，以及$\log 1=0$当$x_{i}$为零。

p范数函数

另一个平滑最大值函数是p范数 ：

$||(x_{1},\ldots ,x_{n})||_{p}=\left(|x_{1}|^{p}+\cdots +|x_{n}|^{p}\right)^{1/p}$

当$p\to \infty$ ，收敛到$||(x_{1},\ldots ,x_{n})||_{\infty }=\max _{1\leq i\leq n}|x_{i}|$。

p范数的一个优点是它是一个范数 。 因此，它是“尺度不变”的（同质的）： $||(\lambda x_{1},\ldots ,\lambda x_{n})||_{p}=|\lambda |\times ||(x_{1},\ldots ,x_{n})||_{p}$ ，它满足三角不等式。

平滑函数的其他例子

${\mathcal {max}}_{\alpha }(x_{1},x_{2})=0.5\left((x_{1}+x_{2})+{\sqrt {(x_{1}-x_{2})^{2}+\alpha }}\right)$

参见

• LogSumExp
• Softmax函数
• 广义均值

参考文献

M. Lange, D. Zühlke, O. Holz, and T. Villmann, "Applications of lp-norms and their smooth approximations for gradient based learning vector quantization," in Proc. ESANN, Apr. 2014, pp. 271-276. (https://www.elen.ucl.ac.be/Proceedings/esann/esannpdf/es2014-153.pdf （页面存档备份，存于互联网档案馆）)