跳转到内容

凸函数

维基百科,自由的百科全书
凸函数的图像上任取两点,连成的线段必在图像上方。
二元二次多项式函数的图像,形如开口向上的碗。

凸函数(英文:Convex function)是指函数图形上,任意两点连成的线段,皆位于图形的上方的实值函数[1]如单变数的二次函数指数函数。二阶可导的一元函数为凸,当且仅当其定义域为凸集,且函数的二阶导数在整个定义域上非负。直观理解,凸函数的图像形如开口向上的杯,而相反,凹函数则形如开口向下的帽

最优化研究中,凸函数的最小化问题有唯一性,即凸开集上的严格凸函数,至多只有一个极小值。

概率论中,凸函数作用在某随机变量期望值所得的结果,总不大于对随机变量先取函数值再取期望,即

称为延森不等式。该不等式可以推导出均值不等式赫尔德不等式等结果。

定义

[编辑]
形像理解凸函数与延森不等式

为某向量空间凸子集,若实值函数 对任意 及任意,皆有

称为凸函数

,然后在 图像上任取两点 连线,则连线上某点 座标可以想成从 出发,前进了 这整段的一部分而已,也就是说

循着同样的比例 座标就可以写成

但同样的 座标下,对应的 函数值就是

所以,凸函数的定义意为, 的图像上,任意相异两点的连线不能低于中间 的曲线。[2]换言之,函数的上境图英语Epigraph (mathematics)(图像上方的点的集合)为凸集

严格凸函数

[编辑]

若将定义的号换成,则得到严格凸的定义:

称为严格凸,意思是对和任意不相等的,皆有

,在严格凸函数的图像曲线上,任意两相异点的连线,除端点外皆高于曲线。

几乎凸函数

[编辑]

实值函数 对于任意三实数 ,都有,则称 几乎凸的。

性质

[编辑]

凸函数的某些性质,多元情况的叙述与一元情况同样简单。此种性质,可能仅于多元情况列举,恕不在一元情况赘述。

一元情况

[编辑]
函数(蓝色)是凸的,当且仅当其上方的区域(绿色)是一个凸集
  • 是一元实函数定义域区间。考虑割线斜率则函数对称函数粤语對稱函數,即关于为凸,当且仅当对每个固定的,皆有关于单调不减(或由对称性,可将此句中互换)。此刻划有助证明以下的结果。
  • 若一元凸函数定义在开区间内,则在C连续,且处处有左侧及右侧的单边导数英语Semi-differentiability。如此定义的两个单边导函数,皆为单调不减。由此推出,除可数个点外,在其他点皆可微(不过不可导的点组成的集合,仍有可能稠密)。如果闭区间,那么有可能在的端点不连续,见例子
  • 一元可微函数在区间上是凸的,当且仅当函数位于所有它的切线的上方:[3]:69对于区间内的所有,都有特别地,如果,则上式化为,故最小值
  • 一元可微函数在某个区间上是凸的,当且仅当它的导数在该区间上单调不减。若一元函数既凸又可导,则其导数也连续
  • 一元二阶可微的函数在区间上是凸的,当且仅当它的二阶导数英语second derivative是非负的;这是判断某个函数是否凸的实用方法。直观地,二阶可导的凸函数“向上弯”,而不会屈向另一边(即无拐点)。如果它的二阶导数是正数,那么函数就是严格凸的,但反过来不成立。例如,的二阶导数是,当时为零,但是严格凸的。
    • 此性质的条件“二阶导数非负”与前一个性质的条件“导数单调不减”有差异。若在区间非负,则的确单调不减。反之则不然,因为可能有单调不减,但在某点不可导,即中某点无定义。
  • 为一元凸函数,且,则正数集内为超可加函数英语Superadditivity,即对任意正实数成立。

多元情况

[编辑]

更一般地,多元二次可微的连续函数在凸集上是凸的,当且仅当它的黑塞矩阵在凸集的内部是半正定的。

凸函数的任何极小值也是最小值。严格凸函数最多有一个最小值。

对于凸函数f水平子集{x | f(x) < a}和{x | f(x) ≤ a}(aR)是凸集。然而,水平子集是凸集的函数不一定是凸函数;这样的函数称为拟凸函数

延森不等式对于每一个凸函数f都成立。如果是一个随机变量,在f的定义域内取值,那么(在这里,表示数学期望。)

凸函数的初等运算

[编辑]
  • 如果是凸函数,那么也是凸函数。
  • 如果是凸函数,且递增,那么是凸函数。
  • 凸性在仿射映射下不变:也就是说,如果是凸函数(),那么也是凸函数,其中
  • 如果内是凸函数,且是一个凸的非空集,那么内是凸函数,只要对于某个,有

例子

[编辑]
  • 函数处处有,因此f是一个(严格的)凸函数。
  • 绝对值函数是凸函数,虽然它在点x = 0没有导数。
  • 时,函数是凸函数。
  • 定义域为[0,1]的函数f,定义为f(0)=f(1)=1,当0<x<1时f(x)=0,是凸函数;它在开区间(0,1)内连续,但在0和1不连续。
  • 函数的二阶导数为,因此它在x ≥ 0的集合上是凸函数,在x ≤ 0的集合上是凹函数
  • 每一个在内取值的线性变换都是凸函数,但不是严格凸函数,因为如果f是线性函数,那么。如果将“凸”替换为“凹”,该命题也成立。
  • 每一个在内取值的仿射变换,也就是说,每一个形如的函数,既是凸函数又是凹函数。
  • 每一个范数都是凸函数,这是由于三角不等式
  • 如果是凸函数,那么当时,是凸函数。
  • 单调递增但非凸的函数。
  • 函数f(x) = 1/x2f(0)=+∞,在区间(0,+∞)内是凸函数,在区间(-∞,0)内也是凸函数,但是在区间(-∞,+∞)内不是凸函数,这是由于x = 0处的奇点。

参见

[编辑]

参考文献

[编辑]
  1. ^ 36-705 Intermediate Statistics: Lecture Notes 2 [中级统计学:讲义2] (PDF). www.stat.cmu.edu. [3 March 2017]. (原始内容存档 (PDF)于2021-05-06) (英语). 
  2. ^ Concave Upward and Downward [上凸与下凸]. mathsisfun.com. (原始内容存档于2013-12-18) (英语). 
  3. ^ Boyd, Stephen P.; Vandenberghe, Lieven. Convex Optimization [凸优化] (pdf). Cambridge University Press. 2004 [October 15, 2011]. ISBN 978-0-521-83378-3. (原始内容存档 (PDF)于2021-05-09) (英语). 
  • Moon, Todd. Tutorial: Convexity and Jensen's inequality. [2008-09-04]. (原始内容存档于2008-04-20). 
  • Rockafellar, R. T. Convex analysis. Princeton: Princeton University Press. 1970. 
  • Luenberger, David. Linear and Nonlinear Programming. Addison-Wesley. 1984. 
  • Luenberger, David. Optimization by Vector Space Methods. Wiley & Sons. 1969. 
  • Bertsekas, Dimitri. Convex Analysis and Optimization. Athena Scientific. 2003. 
  • Thomson, Brian. Symmetric Properties of Real Functions. CRC Press. 1994. 
  • Hiriart-Urruty, Jean-Baptiste, and Lemaréchal, Claude. (2004). Fundamentals of Convex analysis. Berlin: Springer.
  • Krasnosel'skii M.A., Rutickii Ya.B. Convex Functions and Orlicz Spaces. Groningen: P.Noordhoff Ltd. 1961. 
  • Borwein, Jonathan, and Lewis, Adrian. (2000). Convex Analysis and Nonlinear Optimization. Springer.