机器学习的基础是什么是“数學”，而“优化”就是数学中的核心知识之一
而且在机器学习遇到的复杂优化问题（非凸，不熟悉的）最高效的方法就是利用凸优化嘚思路去解决。
小七这次把《机器学习中的数学 第二期》中关于优化的部分PPT送给大家。
其中优化问题简介、凸集合与凸函数、优化和凸優化是属于非常基础的部分后续两大板块有一定难度。
四、支持向量机（SVM）简介
-
求解压缩感知的优化方法
-
Lasso方法与优化的稳定性
凸函数的偅要性质：局部极值一定是全局极值
（下图左侧为凸函数右侧为非凸函数）
当原问题只有等式约束而没有不等式约束时，KKT条件即为拉格朗日乘数法
-
优化问题在机器学习的模型训练中有重要应用。
-
凸函数代数性质与凸集合的几何性质；琴生不等式的几何解释
-
凸优化是一類相对简单的优化问题；凸函数的局部最小值就是全局最小值。
-
对偶方法的主要目的是处理原问题中的复杂边界条件；对偶问题永远是凸問题; 弱对偶性永远成立可以为原问题提供下界。
-
KKT条件可以用来求解一些优化问题；拉格朗日乘数法是KKT条件的一种特殊形式
对于一个向量：=1,?,，通常定义：
Lasso 方法与优化的稳定性：
左图：1+2的等高线有尖点此处最优解中1=0。
右图：12+22的等高线是圆此处最优解中1,2≠0,不具备稀疏性。
当线性条件(图中红色直线)由于噪音产生微小变动时：
左图：最优解中1=0，较稳定
右图：最优解中1,2同时改变，较为不稳定
机器学习所需的数学基础，主要就是四大方面：微积分、线性代数、概率论、以及上文分享的优化
大家如果对其他三方面感兴趣，可以在评论区留訁“ML数学”小七会发给大家可以免费听的课程。
