多目标优化
目标优化问题一般地就是指通过一定的优化算法获得目标函数的最优化解.当优化的目标函数为一个时称之为单目标优化(Single-
objective Optimization Problem,
SOP).当优化的目标函数有两个或两个以上时称为多目标优化(Multi-objective Optimization Problem,
MOP).不同于单目标优化的解为有限解,多目标优化的解通常是一组均衡解.
多目标优化算法归结起来有传统优化算法和智能优化算法两大类.
① 传统优化算法包括加权法、约束法和线性规划法等,实质上就是将多目标函数转化为单目标函数,通过采用单目标优化的方法达到对多目标函数的求解.
Pareto最优解：
若x*∈C*,且在C中不存在比x更优越的解x,则称x*是多目标最优化模型式的Pareto最优解,又称为有效解.
一般来说,多目标优化问题并不存在一个最优解,所有可能的解都称为非劣解,也称为Pareto解.传统优化技术一般每次能得到Pareo解集中的一个,而
用智能算法来求解,可以得到更多的Pareto解,这些解构成了一个最优解集,称为Pareto最优解.它是由那些任一个目标函数值的提高都必须以牺牲其
他目标函数值为代价的解组成的集合,称为Pareto最优域,简称Pareto集.
Pareto有效(最优)解非劣解集是指由这样一些解组成的集合：与集合之外的任何解相比它们至少有一个目标函数比集合之外的解好.
求解多目标优化问题最有名的就是NSGA-II了,是多目标遗传算法,但其对解的选择过程可以用在其他优化算法上,例如粒子群,蜂群等等.这里简单介绍一下NSGA-II的选择算法.主要包含三个部分：
① 快速非支配排序
为了使计算结果在目标空间比较均匀的分布,维持种群多样性,对每个个体计算拥挤距离,选择拥挤距离大的个体,拥挤距离的定义为：
L[i]d=L[i]d+(L[i+1]m?L[i?1]m)/(fmaxm?fminm)
L[i+1]m是第i+1个个体的第m目标函数值,fmaxm 和 fminm是集合中第m个目标函数的最大和最小值.
精英策略就是保留父代中的优良个体直接进入子代,防止获得的Pareto最优解丢失.将第t次产生的子代种群和父代种群合并,然后对合并后的新种群进行非支配排序,然后按照非支配顺序添加到规模为N的种群中作为新的父代.
def do_POST(self):
mpath,margs=urllib.splitquery(self.path)
datas = self.rfile.read(int(self.headers['content-length']))
self.do_action(mpath, datas)
def do_action(self, path, args):
self.outputtxt(path + args )
def outputtxt(self, content):
#指定返回编码
content = content.encode(enc)
f = io.BytesIO()
f.write(content)
f.seek(0)
self.send_header("Content-type", "text/html; charset=%s" % enc)
self.send_header("Content-Length", str(len(content)))
self.end_headers()
shutil.copyfileobj(f,self.wfile)
最优化
为什么要做最优化呢?因为在生活中,人们总是希望幸福值或其它达到一个极值,比如做生意时希望成本最小,收入最大,所以在很多商业情境中,都会遇到求极值的情况.
函数求根
这里「函数的根」也称「方程的根」,或「函数的零点」.
先把我们需要的包加载进来.import numpy as npimport scipy as spimport scipy.optimize as optimport matplotlib.pyplot as plt%matplotlib inline
函数求根和最优化的关系?什么时候函数是最小值或最大值?
两个问题一起回答：最优化就是求函数的最小值或最大值,同时也是极值,在求一个函数最小值或最大值时,它所在的位置肯定是导数为 0 的位置,所以要求一个函数的极值,必然要先求导,使其为 0,所以函数求根就是为了得到最大值最小值.
scipy.optimize 有什么方法可以求根?
函数求最小化
求最小值就是一个最优化问题.求最大值时只需对函数做一个转换,比如加一个负号,或者取倒数,就可转成求最小值问题.所以两者是同一问题.
初始值对最优化的影响是什么?
由上图可见,当初始值为 10 时,函数找到的是局部最小值点,可见 minimize 的默认算法对起始点的依赖性.
那么怎么才能不管初始值在哪个位置,都能找到全局最小值点呢?
如何找到全局最优点?
可以使用 basinhopping 函数找到全局最优点,相关背后算法,可以看帮助文件,有提供论文的索引和出处.
当起始点在比较远的位置,依然成功找到了全局最小值点.
如何求多元函数最小值?
曲线拟合
曲线拟合和最优化有什么关系?
曲线拟合的问题是,给定一组数据,它可能是沿着一条线散布的,这时要找到一条最优的曲线来拟合这些数据,也就是要找到最好的线来代表这些点,这里的最优是指这些点和线之间的距离是最小的,这就是为什么要用最优化问题来解决曲线拟合问题.
举例说明,给一些点,找到一条线,来拟合这些点.
上面的点整体上呈现一个线性关系,要找到一条斜线来代表这些点,这就是经典的一元线性回归.目标就是找到最好的线,使点和线的距离最短.要优化的函数是点和线之间的距离,使其最小.点是确定的,而线是可变的,线是由参数值,斜率和截距决定的,这里就是要通过优化距离找到最优的斜率和截距.
上式就是误差平方和.
误差平方和是什么?有什么作用?
误差平方和公式为：
误差平方和大,表示真实的点和预测的线之间距离太远,说明拟合得不好,最好的线,应该是使误差平方和最小,即最优的拟合线,这里是条直线.
误差平方和就是要最小化的目标函数.
最小二乘（Least Square）是什么?
上面用的是 minimize 方法,这个问题的目标函数是误差平方和,这就又有一个特定的解法,即最小二乘.
最小二乘的思想就是要使得观测点和估计点的距离的平方和达到最小,这里的"二乘"指的是用平方来度量观测点与估计点的远近（在古汉语中"平方"称为"二乘"）,"最小"指的是参数的估计值要保证各个观测点与估计点的距离的平方和达到最小.
非线性最小二乘
有约束的最小化
有约束的最小化是指,要求函数最小化之外,还要满足约束条件,举例说明.
不等式约束
介绍下相关理论,先来看下存在等式约束的极值问题求法,比如下面的优化问题.
目标函数是 f(w),下面是等式约束,通常解法是引入拉格朗日算子,这里使用 bb 来表示算子,得到拉格朗日公式为
l 是等式约束的个数.
然后分别对 w 和bb 求偏导,使得偏导数等于 0,然后解出 w 和bibi,至于为什么引入拉格朗日算子可以求出极值,原因是 f(w) 的 dw 变化方向受其他不等式的约束,dw的变化方向与f(w)的梯度垂直时才能获得极值,而且在极值处,f(w) 的梯度与其他等式梯度的线性组合平行,所以呢他们之间存在线性关系.（参考<<最优化与KKT条件>>）
对于不等式约束的极值问题
scipy.optimize.minimize 中包括了多种最优化算法,每种算法使用范围不同,详细参考官方文档.
函数详见rres,此代码使该算法运行了两次
收获：
这是我第一个实现的代码.学习完该算法以后,逻辑框架基本上就有了,剩下需要明确的就是对应的python的语言.于是我就开始了查找"如何定义函数"（详见mofan的优酷）,"循环体"和"if条件语句"的格式（）"数学符号"（详见mofan的优酷）,以及print的使用
①def是python中指定义,一般用来定义函数,如果需要深度学习搭建网络可用来定义网络.值得注意的一点是
我不清楚为什么,但是如果没有加的话,那个函数公式就是一个花瓶,就像一个结果输不出去.
或者不再mid1前面加float,直接将输入量后面点个点就行
真的很想吐槽一下print,好麻烦啊啊啊啊每次都得弄个%s,而且有时候还不能放一起！！！！
不要问我掌握了什么,要问我现在写完这个代码后有多么的爱python的精度表示 :-)我决定以后只要再编写数学公式的代码都将输入量的小数学点后面补很多0
fibonacci函数定义,每次debug后我的手都是抖的O( _ )O~
不知道自己什么时候有的强迫症,只要是代码下面有"~"我就必须要消掉.笑哭.这个很简单,前四个除了费波纳茨,都很简单.
虽然代码很长,但是主要是因为print太多.本打算在开头print,最后结果会漏掉最后一部分.懒得想其他办法了,直接就这样吧
这是我第一组自己实现的python代码,就是数学公式用python语言组装起来.刚开始的时候知道大概需要在语言中体现什么,但不太清楚.于是我就在网上找了几个二分法的,他们都各有不同,但框架都差不多,不过如果要用到我们的那个公式里还需要改变很多.然后我就开始分析我们的题,我发现大体需要两部分,一部分函数定义,一部分循环体.但我不知道如何定义函数,如何写数学公式,如何弄变量,也就是说一些小点不太会,所以我选择直接百度.因为我知道自己阅读的能力不错,相比于从视频中提取要素,我更擅长通过阅读获得要点.有目的性地找知识点,掌握地更牢固.
于是我就开始了第一个——二分法的编写.我发现,自己出现了很多错误而且有很多地方都很基础.但我依然没选择视频,而是将这些问题直接在百度上找,因为视频讲完或许你也没找到点.当然,这是一步一步走的,不是直接就将程序摆上去,一点一点改.
我还意识到,汇编其实是最难的语言,目前为止所学到的,因为很多都需要自己去定义,去死抠,需要记住大量的指令且不能灵活变通.但是其他的却只需要将一些对应的记下来就好.python真的挺简单的.而且,我发现自己今天似乎打开了新世界的大门,我爱上了这种充满了灵性的东西,充满了严谨的美丽,还有那未知的变化,我发现我似乎爱上了代码.可能不仅仅局限于python,这些语言都充满了挑战性.我觉得当你疑惑的时候,就需要相信直觉,至少我发现它很准