python求解二次规划问题

一时失言乱红尘 2022-04-13 09:26 512阅读 0赞

Python中支持Convex Optimization（凸规划）的模块为CVXOPT,其安装方式为：

pip install  cvxopt

# 一、数学基础 #

1.  二次型

二次型（quadratic form）：n个变量的二次多项式称为二次型，即在一个多项式中，未知数的个数为任意多个，但每一项的次数都为2的多项式。其基本形式如下

![20181128201349553.png][]

亦可写作，![f(\\overrightarrow\{x\})=\\mathbf\{\\overrightarrow\{x\}\}^\\mathrm\{T\}\\mathbf\{A\}\\overrightarrow\{x\}][f_overrightarrow_x_mathbf_overrightarrow_x_mathrm_T_mathbf_A_overrightarrow_x] ，称作二次型的矩阵表示，其中A是对称矩阵。仿照如下的定义，我们可以直接在其基本形式和矩阵表示之间相互转化。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dvb2R4aW5faWU_size_16_color_FFFFFF_t_70][]

2.正定矩阵

设A是n阶实对称矩阵， 如果对任意一非零实向量X，都使二次型 ![f(\\overrightarrow\{x\})=\\mathbf\{\\overrightarrow\{x\}\}^\\mathrm\{T\}\\mathbf\{A\}\\overrightarrow\{x\}>0][f_overrightarrow_x_mathbf_overrightarrow_x_mathrm_T_mathbf_A_overrightarrow_x_0]成立，则称f(X)为正定二次型，矩阵A称为正定矩阵(Positive Definite)，A为正定矩阵。

相应的，如果对任意一非零实向量X，都使二次型 ![f(\\overrightarrow\{x\})=\\mathbf\{\\overrightarrow\{x\}\}^\\mathrm\{T\}\\mathbf\{A\}\\overrightarrow\{x\}\\geq 0][f_overrightarrow_x_mathbf_overrightarrow_x_mathrm_T_mathbf_A_overrightarrow_x_geq 0]成立，则称f(X)为半正定二次型，A为半正定矩阵。

3.二次规划问题

二次规划是指，带有二次型目标函数和约束条件的最优化问题。其标准形式如下：

![20181128203200860.png][]

即在Gx<h 和Ax=b的约束下，最小化目标函数。其中，当P是正定矩阵时，目标函数存在全局唯一最优解；P是半正定矩阵时，目标函数是凸函数，存在全局最优解（不唯一）;P是不定矩阵时，目标函数非凸，存在多个局部最小值和稳定点，为np难问题。（本篇博客中我们不考虑非正定情况）。

# 二、python程序求解 #

工具包：Cvxopt  python 凸优化包

函数原型：Cvxopt.solvers.qp(P,q,G,h,A,b)

P,q,G,h,A,b的含义参见上面的二次规划问题标准形式。

编程求解思路：

1.对于一个给定的二次规划问题，先转换为标准形式（参见数学基础中所讲的二次型二中形式转换）

2.对照标准形势，构建出矩阵P,q,G,h,A,b

3.调用result=Cvxopt.solvers.qp(P,q,G,h,A,b)求解

4.print（result）查看结果，其中result是一个字典，我们可直接获得其某个属性，e.g. print(result\['x'\])

下面我们来看一个例子

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dvb2R4aW5faWU_size_16_color_FFFFFF_t_70 1][]

import pprint
    from cvxopt import matrix, solvers
    P = matrix([[4.0,1.0],[1.0,2.0]])
    q = matrix([1.0,1.0])
    G = matrix([[-1.0,0.0],[0.0,-1.0]])
    h = matrix([0.0,0.0])
    A = matrix([1.0,1.0],(1,2))#原型为cvxopt.matrix(array,dims)，等价于A = matrix([[1.0],[1.0]]）
    b = matrix([1.0])
    result = solvers.qp(P,q,G,h,A,b)
    
    print('x\n',result['x'])

运行结果：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dvb2R4aW5faWU_size_16_color_FFFFFF_t_70 2][]

注意事项：

cvxopt.matrix与numpy.matrix的排列顺序不同，其中cvxopt.matrix是列优先，numpy.matrix是行优先。具体可见下面实例

import numpy as np
    from cvxopt import matrix
    a = np.matrix([[1,2],[3,4]])
    b = matrix([[1,2],[3,4]])
    print('numpy.matrix',a)
    print('cvxopt.matrix',b)

运行结果：

![20181128211210146.png][]

[20181128201349553.png]: /images/20220413/52146037608545deae938af7dd90d28b.png
[f_overrightarrow_x_mathbf_overrightarrow_x_mathrm_T_mathbf_A_overrightarrow_x]: https://private.codecogs.com/gif.latex?f%28%5Coverrightarrow%7Bx%7D%29%3D%5Cmathbf%7B%5Coverrightarrow%7Bx%7D%7D%5E%5Cmathrm%7BT%7D%5Cmathbf%7BA%7D%5Coverrightarrow%7Bx%7D
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dvb2R4aW5faWU_size_16_color_FFFFFF_t_70]: /images/20220413/10ba98ab165842e5875b78313187188d.png
[f_overrightarrow_x_mathbf_overrightarrow_x_mathrm_T_mathbf_A_overrightarrow_x_0]: https://private.codecogs.com/gif.latex?f%28%5Coverrightarrow%7Bx%7D%29%3D%5Cmathbf%7B%5Coverrightarrow%7Bx%7D%7D%5E%5Cmathrm%7BT%7D%5Cmathbf%7BA%7D%5Coverrightarrow%7Bx%7D%3E0
[f_overrightarrow_x_mathbf_overrightarrow_x_mathrm_T_mathbf_A_overrightarrow_x_geq 0]: https://private.codecogs.com/gif.latex?f%28%5Coverrightarrow%7Bx%7D%29%3D%5Cmathbf%7B%5Coverrightarrow%7Bx%7D%7D%5E%5Cmathrm%7BT%7D%5Cmathbf%7BA%7D%5Coverrightarrow%7Bx%7D%5Cgeq%200
[20181128203200860.png]: /images/20220413/410d8bb72c544523b759c175d8edd51c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dvb2R4aW5faWU_size_16_color_FFFFFF_t_70 1]: /images/20220413/78e4431de39b4e71b4d61e410b7f096b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dvb2R4aW5faWU_size_16_color_FFFFFF_t_70 2]: /images/20220413/6ce1dff9cfa547838a9ec649a9e7f0ec.png
[20181128211210146.png]: /images/20220413/0d3a6b6c17d44cdf943a4574809b2f7c.png