实验环境

Matlab 2018b.

非线性优化

非线性优化算法主要有梯度类算法和牛顿法两大类，包括DFP方法，BFGS方法，约束变尺度(SQP)算法（Han, Powell）和Lagrange乘子法（Powell，Hestenes），随着计算机技术的发展，80年代出现了信赖域算法，稀疏拟牛顿法，大规模问题求解算法和并行计算算法，90年代出现了内点法和有限存储算法，目前免费的非线性求解软件包括LANCELOT，MINPAC，TENMIN，SNOPT等.

无约束非线性优化

无约束优化的一般形式为
$$\min f(x),x\in {\mathbb{R}}^n$$
其中$f$为非线性函数.
一个典型的非线性函数banana function
$$f(x)=100\times (x_2-x_1^2{)}^2-(1-x_1{)}^2$$
函数图像绘制如下

绘图代码

%% Banana function
axis off;
x=-2:0.2:2;
y=-1:0.2:3;
[xx, yy]=meshgrid(x, y); % 网格化操作
zz=100*(yy-xx.^2).^2+(1-xx).^2;
% 绘制三维图
surfc(xx, yy, zz);

约束非线性优化

约束非线性优化的一般形式为
$$\begin{gathered} \min f(x) \\ s.t.\{\begin{array}{l}{g}_i(x)\le 0,i=1,2,\dots ,m\\ h_j(x)=0,j=1,2,\dots ,l\end{array} \end{gathered}$$

Matlab求解函数

fminunc(无约束)

优化计算中需要使用函数的导数，如果用户没有提供目标函数的导数，那么matlab会采用差分方法计算函数的导数值.
函数语法：

x=fminunc(fun, x0)
x=fminunc(fun, x0, options)
[x, fval, exitflag, output, grad, hessian]=fminunc(...)

输出信息中
grad表示最优点/迭代最终点的导数
hessian表示最优点/迭代最终点的二阶导数
求解代码

clear all;
clc;
close all;
Bana_Func=@(x)(100*(x(2)-x(1)^2)^2+(1-x(1))^2);

options=optimset('display', 'iter');
x=[-1.9, 2];
[x, fval, exitflag, output]=fminunc(Bana_Func, x, options)

提供导数信息计算
目标函数及导函数

function [f, g]=BanaFuncGrad(x)
f=100*(x(2)-x(1)^2)^2+(1-x(2))^2;
g=[100*(4*x(1)^3-4*x(1)*x(2))+2*x(1)-2; 100*(2*x(2)-2*x(1)^2)];

求解函数

options=optimset('HessUpdate', 'bfgs', 'gradobj', 'on', 'display', 'iter');
x=[-1.9, 2];
[x, fval, exitflag, output]=fminunc(@BanaFuncGrad, x, options)

从求解信息中可以发现，提供目标函数的导函数信息会减少迭代次数.

fminsearch

fminsearch函数求解算法是可变多面体算法（Neldero-Mead Simplex）
函数语法

x=fminsearch(fun, x0)
x=fminsearch(fun, x0, options)
[x, fval, exitflag, output]=fminsearch(...)

目标函数文件BanaFunc.m

function f=BanaFunc(x)
f=100*(x(2)-x(1)^2)^2+(1-x(1))^2

求解函数

options=optimset('display', 'iter');
x=[-1.9, 2];
[x, fval, exitflag, output]=fminsearch(@BanaFunc, x, options)

fmincon

fmincon是matlab主要的内置约束最优化求解函数，该函数的求解的优化问题的主要形式为
$$\begin{gathered} \min f(x) \\ s.t.\{\begin{array}{l}c(x)\le 0\\ ceq(x)=0\\ A\cdot x\le b\\ Aeq\cdot x=beq\\ lb\le x\le ub\end{array} \end{gathered}$$
对于中等约束优化问题，使用序列二次优化(SQP)算法，对于大规模约束优化使用基于内点反射牛顿法的信赖域算法，对于大规模线性系统使用共轭梯度算法（PCG）.
例 1：求解优化问题
$$\begin{gathered} \min f(x)=x_1^2+x_2^2+x_3^2 \\ s.t.\{\begin{array}{l}-x_1-x_2-x_3+72\le 0\\ x_i\ge 0\end{array} \end{gathered}$$
函数文件func_1.m

function f = func_1(x)
f=x(1)^2+x(2)^2+x(3)^2;

约束文件con_1.m

function [c, ceq]=con_1(x)
c=72-x(1)-x(2)-x(3); % 不等式约束
ceq=[]; % 等式约束

求解函数

%% 非线性约束优化
options=optimset('display', 'iter');
x0=[10, 10, 10]; % 起始迭代点
lb=[0, 0, 0];
[x, fval, exitflag, output]=fmincon(@func_1, x0, [], [], [], [], lb, [], @con_1, options)

求解结果

大规模优化问题

测试大规模优化问题
$$\min f=\sum _{i=1}^{100}[x(i)-\frac{1}{i}{]}^2$$
目标函数文件func_2.m

function f=func_2(x)
v=x-1./(1:100);
f=v*v';

求解函数

%% 大规模优化
x0=1*ones(1,100);
options=optimset('LargeScale', 'on', 'display', 'iter', 'TolFun', 1e-8);
[x, fval, exitflag, output]=fminunc(@func_2, x0, options)

含参数优化

函数为
$$\underset{x}{\min }f(x,a)=a_1\sin (x_1)+a_2{x}_2^2$$
参数函数文件为func_3.m

function f=func_3(x, a)
f=a(1)*sin(x(1))+a(2)*x(2)^2;

求解函数

%% 参数优化
a=[1, 1];
x0=[0, 0];
[x, fval, exitflag, output]=fminsearch(@(x)func_3(x, a), x0)

参考资料

金融数量分析 北京航天航空大学出版社 郑志勇