以上课件内容来源于历届全国大学生数学竞赛初赛非数学专业真题解析在线课堂，完整PDF文档下载请加入课程直接下载，，或者点击本文左下角“阅读原文”直接进入在线课堂.

在线课堂教学内容不仅适用于全国、各赛区、省、市、校大学生数学竞赛，同样也适用于备考全国硕士研究生招生考试和高等数学、数学分析课程期中、期末考试和平时巩固、加强提升学习效果！尤其是全国初赛与研究生招生考试，两个考试内容题目经常互相融合，而且有了全国初赛题的求解思路与方法，对于研究生招生考试可以说就得心应手、水到渠成！题源及平时课程学习、考研、竞赛关系可以参见如下三个推文：

完整课程目录如下(合计2700分钟、45小时)：

第一届全国初赛非数学专业真题解析

（合计视频时长297分钟，约5小时）

第1题：二重积分的一般计算思路与方法

●二重积分计算的换元法及实例解析(21分钟)

●二重积分计算一般思路与步骤分析(28分钟)

第2题：包含定积分项定义的函数表达式计算及相关问题

●包含定积分项的函数表达式计算及相关问题(7分钟)

第3题：曲面的切平面计算思路与方法

●曲面的切平面计算思路与方法(11分钟)

第4题：一元函数隐函数的导数计算思路与方法

●一元函数隐函数的导数计算思路与方法(19分钟)

第二题：幂指函数极限式极限计算的对数法与洛必达法则

●幂指函数极限式极限计算对数法与洛必达法则(20分钟)

第三题：定积分定义的函数导数的计算与函数连续性的讨论

●定积分定义的函数导数的计算(19分钟)

●变限积分导数的计算与函数连续性讨论总结(14分钟)

第四题：对坐标的曲线积分的计算法与相关不等式的证明

●对坐标曲线积分计算一般思路探索与实例解析(22分钟)

●对坐标曲线积分不等式证明思路探索与实例(14分钟)

●对坐标曲线积分计算法与相关不等式的证明(11分钟)

第五题：基于解结构求解常系数线性微分方程

●基于线性微分方程解结构性质求解微分方程(11分钟)

●基于求齐次线性微分方程解的特征方程法(11分钟)

第六题：平面区域的面积与旋转体体积的计算实例解析

●平面区域的面积与旋转体体积的计算实例解析(16分钟)

第七题：一阶微分方程的求解与幂级数和函数的计算

●一阶微分方程求解与幂级数和函数计算实例(15分钟)

●求一阶微分方程通解的一般思路与方法(13分钟)

●幂级数和函数计算的一般思路与方法(25分钟)

第八题：无穷级数与无穷限反常积分的关系探索与实例解析

●无穷级数与无穷限反常积分的关系探索与实例(20分钟)

第二届全国初赛非数学专业真题解析

（合计视频时长247分钟，约4个小时）

第1题：变换极限式求数列的极限

●变换极限式求数列的极限(7分钟)

第2题：基于对数函数法和麦克劳林公式计算函数极限

●基于对数函数法和麦克劳林公式计算函数极限(23分钟)

第3题：基于分部积分递推公式计算积分的思路与方法

●基于分部积分递推公式计算积分的思路与方法(16分钟)

第4题：多元复合函数求导的一般思路与方法

●多元复合函数求导的一般思路与方法(19分钟)

第5题：直线间距离的计算的一般思路及其他距离计算方法

●直线间距离计算一般思路及其他距离计算方法(18分钟)

第二题：借助二阶导数大于零的几何性态与罗尔定理验证根的存在性

●验证根的存在性(24分钟)

第三题：构建微分方程求函数表达式

●构建微分方程求函数表达式(22分钟)

第四题：借助比较法与级数基本性质判定级数敛散性

●借助比较法与级数基本性质判定级数敛散性(19分钟)

第五题：积分的物理应用与多元函数的最值计算方法

●基于元素法一般积分应用模型构建思路与方法(16分钟)

●基于元素法的积分应用模型构建实例解析(10分钟)

●多元函数最值计算的一般思路与方法(12分钟)

●积分物理应用与多元函数最值求解综合实例(17分钟)

●目标函数转换与三元函数最值计算实例分析(8分钟)

第六题：对坐标的曲线积分问题思路探索的一般方法与步骤

●积分与路径无关求未知函数与曲线积分(23分钟)

●分割曲线构造条件验证曲线积分等式(13分钟)

第三届全国初赛非数学专业真题解析

（合计视频时长181分钟，约3小时）

第1题：函数极限计算的三类重要方法及应用实例分析

●借助洛必达法则求函数的极限(25分钟)

●应用等价无穷小求极限及其使用原则(19分钟)

●用泰勒公式计算函数极限思路探索与实例解析(15分钟)

第2题：借助正弦函数倍角公式变换极限式求极限

●借助正弦函数倍角公式变换极限式求极限(7分钟)

第3题：分割积分区域借助几何意义高效计算二重积分

●分割积分区域借助几何意义高效计算二重积分(13分钟)

第4题：幂级数和函数的计算和借助幂级数和函数求常值级数的和

●幂级数和函数的计算和求常值级数的和(13分钟)

●构造幂级数求和函数求常值级数的和(8分钟)

第二题：基于极限定义与子数列的敛散性验证极限结论

●基于极限定义与子数列的敛散性验证极限结论(21分钟)

第三题：借助带拉格朗日余项的泰勒公式证明中值等式

●借助带拉格朗日余项的泰勒公式证明中值等式(13分钟)

第四题：积分的物理应用之引力模型的构建与计算方法

●积分的物理应用之引力模型的构建与计算方法(16分钟)

第五题：基于复合函数和隐函数求导验证偏导数恒等式的基本思路

●复合函数和隐函数求导验证基本思路(18分钟)

第六题：借助元素法转换积分模型验证积分等式

●借助元素法转换积分模型验证积分等式(13分钟)

第四届全国初赛非数学专业真题解析

（合计视频时长243分钟，约4个小时）

第1题：幂指函数结构的数列极限计算实例解析

●幂指函数结构的数列极限计算实例解析(18分钟)

第2题：平面束方程及其应用实例解析

●平面束方程及其应用实例分析与讨论(16分钟)

●应用平面束方程求解平面方程实例解析(8分钟)

第3题：多元复合函数求导的基本思路与步骤实例解析

●多元复合函数求导的基本思路与步骤实例解析(20分钟)

第4题：积分与路径无关构建微分方程求解实例解析

●积分与路径无关构建微分方程求解实例解析(15分钟)

第5题：包含变限积分极限式极限的计算思路探索实例解析

●变限积分极限式极限的计算思路探索实例解析(17分钟)

第二题：无穷限反常积分的计算思路与方法实例解析

●无穷限反常积分的计算思路与方法实例解析(18分钟)

第三题：借助麦克劳林公式探索方程近似解

●借助麦克劳林公式探索方程近似解(14分钟)

第四题：根据解题目标改写条件，探索解题思路实例分析

●根据解题目标改写条件探索解题思路实例分析(16分钟)

第五题：求抽象函数积分值最小的上界实例分析与探索

●求抽象函数积分值最小的上界实例分析与探索(13分钟)

第六题：三重积分构建一元函数导函数计算与含参变量常义积分性质

●球坐标计算方法与变限积分求导(21分钟)

●含参变量常义积分的相关性质及应用实例(22分钟)

●柱坐标方法与含参变量积分可微性(16分钟)

●基于导数定义与微元近似方法求导数(9分钟)

第七题：基于比较法的抽象常值级数敛散性判定的思路与方法

●基于比较法抽象常值级数收敛性判定(14分钟)

●基于比较法的抽象常值级数发散性判定(6分钟)

第五届全国初赛非数学专业真题解析

（合计视频时长348分钟，约6小时）

第1题：幂指函数极限计算的一般思路与方法

●幂指函数极限计算的一般思路与方法(13分钟)

●幂指函数极限计算的思路与方法实例解析(21分钟)

第2题：一元函数反常积分敛散性判定的分析与讨论

●无穷限反常积分敛散性判定的定义法(10分钟)

●无穷限反常积分敛散性判定的比较法(21分钟)

●无界函数的反常积分敛散性判定的定义法(11分钟)

●无界函数的反常积分敛散性判定的比较法(15分钟)

●反常积分敛散性判定基本方法与步骤实例分析(14分钟)

第3题：一元函数极值判定的基本思路、步骤与实例解析

●一元函数极值点的判定思路与方法分析(14分钟)

●隐函数极值判定的基本思路与实例解析(10分钟)

第4题：平面曲线的切线与平面区域的面积计算思路与方法

●曲线数学描述形式及切线与法线方程计算方法(17分钟)

●平面曲线的切线与法线方程计算实例解析(10分钟)

●平面区域面积计算的定积分方法分析与讨论(9分钟)

●平面区域面积计算的二重积分方法与实例解析(11分钟)

●切线与平面区域面积计算综合应用实例解析(9分钟)

第二题：对称区间上三角函数的定积分计算思路与方法

●三角函数对称区间上定积分计算思路探索(9分钟)

●对称区间上三角函数定积分与常见三角恒等式(26分钟)

第三题：常值级数收敛性判定的一般思路与方法

●判定常值级数收敛性的一般思路与步骤(13分钟)

●常值级数敛散性判定的基本思路与实例分析(13分钟)

第四题：借助反函数换元计算定积分验证积分不等式

●借助反函数换元计算定积分验证积分不等式(14分钟)

第五题：抽象曲面上的第二型曲面积分的最值问题计算思路与方法

●抽象曲面上第二型曲面积分最值问题计算(18分钟)

第六题：平面上对坐标的曲线积分计算的一般思路分析与讨论

●平面上对坐标的曲线积分计算一般思路与方法(33分钟)

●对坐标的曲线积分的换元直接计算法实例分析(17分钟)

第七题：常值级数敛散性的判定与和的计算

●常值级数敛散性的判定与和的计算(20分钟)

第六届全国初赛非数学专业真题解析

（合计视频时长216分钟，约3个半小时）

第1题：齐次二阶常系数线性微分方程求解的逆问题

●齐次常系数线性微分方程通解计算特征方程法(12分钟)

●线性微分方程特征方程法与解的结构(11分钟)

第2题：空间曲面切平面与法线方程的一般计算思路与方法

●由曲面一般式方程求切平面与法线方程(12分钟)

●由曲面的参数式方程求切平面与法线(11分钟)

●曲面的切平面方程计算实例分析与讨论(6分钟)

第3题：变限积分函数与多元复合函数求导数

●积分上限函数与隐函数求导计算思路实例分析(12分钟)

●变限积分函数求导类型、计算公式与实例(18分钟)

第4题：部分和式极限与常值级数和的计算思路与方法

●基于级数收敛定义部分和数列极限的计算方法(7分钟)

●基于幂级数求和的部分和数列极限的计算方法(10分钟)

第5题：由已知极限推导未知极限的问题求解思路分析与探索

●由已知极限推导未知极限求解思路分析与探索(10分钟)

第二题：利用定积分的换元法与周期函数的定积分性质计算定积分

●定积分换元法与周期函数积分性质计算定积分(11分钟)

第三题：用泰勒公式解题的一般思路与步骤及实例分析

●用泰勒公式求解问题的类型及一般思路与步骤(12分钟)

●用泰勒公式证明导数不等式实例分析与讨论(10分钟)

第四题：立体体积与曲面面积一般计算思路与高斯公式应用实例分析

●体积和面积计算的一般思路与步骤分析与讨论(9分钟)

●立体体积和曲面面积计算思路与步骤实例分析(16分钟)

●对坐标的曲面积分高斯公式计算思路与步骤(4分钟)

●用高斯公式计算对坐标曲面积分实例(13分钟)

第五题：基于数列极限定义与定积分等式的极限证明思路与方法

●基于极限定义与定积分等式的极限证明思路(18分钟)

第六题：借助定积分定义与可加性及微分中值定理求数列极限

●借助定积分定义、可加性及中值定理求极限(14分钟)

第七届全国初赛非数学专业真题解析

（合计视频时长176分钟，约3个小时）

第1题：求和式极限计算的方法分析与讨论

●基于夹逼定理的求和式极限计算(7分钟)

●基于定积分定义的求和式极限计算(5分钟)

●求和式极限计算的级数法与方法总结(7分钟)

第2题多元复合函数求导的一般思路与步骤

●多元复合函数求导的一般思路与步骤(13分钟)

第3题：空间立体体积计算的一般思路与方法

●求空间立体体积的三种思路与方法归纳与总结(6分钟)

●立体体积的二重积分方法与二重积分的计算(11分钟)

●求立体体积的三重积分方法与知识点总结(7分钟)

第4题：傅里叶级数和的计算与傅里叶级数的不确定性

●傅里叶级数和的计算与收敛性讨论(11分钟)

第5题：一元函数表达式的计算思路与方法

●基于概率积分的函数表达式计算方法(9分钟)

●一元函数积分的二重积分计算方法(8分钟)

第二题：构建图形方程的一般思路与方法

●构建图形方程的一般步骤(8分钟)

●基于方程构建图形方程的基本思路与方法(8分钟)

第三题：证明函数无穷次可导的基本思路与方法

●抽象函数无穷次可导的证明思路与方法(7分钟)

第四题：幂级数的收敛域与和函数的讨论与分析

●函数项级数收敛域计算的一般思路与步骤(5分钟)

●幂级数收敛域的计算与简要步骤总结(7分钟)

●基于幂级数和函数计算未知和函数思路与方法(18分钟)

●基于微分方程初值问题求幂级数和函数方法(4分钟)

第五题：反证法及其应用

●与积分问题相关不等式与等式点的存在性讨论(20分钟)

第六题：二元函数的泰勒公式及其应用

●二元函数的泰勒公式与二重积分不等式的证明(15分钟)

第八届全国初赛非数学专业真题解析

（合计视频时长154分钟，约2个半小时）

填空题第1题：函数极限计算的一般思路与方法

●引言-序(5分钟) 免费试学

●极限求解解题思路与重要极限法(8分钟)

●幂指函数的对数函数法与泰勒公式法(8分钟)

●极限方法总结与归纳(16分钟)

填空题第二题：函数极限计算的无穷小与导数定义法

●利用等价无穷小与导数定义求极限(9分钟)

填空题第三题：复合函数求导与微分方程初值问题

●多元抽象复合函数求导与一阶微分方程初值问题(12分钟)

填空题四题：一元函数高阶导数的计算方法

●求一元函数高阶导数的几种方法(17分钟)

填空题第五题：空间曲面的切平面法向量的一般计算思路

●空间曲面的切平面与法向量(9分钟)

第二大题：定积分不等式的证明一般思路与方法

●定积分不等式的证明思路与方法(12分钟)

第三大题：三重积分计算的一般思路与方法

●三重积分计算的一般思路和换元法及球坐标计算方法(15分钟)

第四大题：定积分定义与微分中值定理

●定积分的定义与微分中值定理的应用(16分钟)

第五大题：中值命题的综合应用

●多个中值的中值命题证明的一般思路与方法(15分钟)

第六大题：傅里叶级数的计算与积分换元法

●傅里叶级数与定积分的换元法(12分钟)

第九届全国初赛非数学专业真题解析

（合计视频时长249分钟，约4个小时）

第九届预赛非数学类竞赛试卷整体情况分析

●竞赛整体情况分析(13分钟) 免费试学

●试卷整体情况分析(17分钟) 免费试学

填空题第1题：变限积分与函数表达式求解

●变限积分与函数表达式求解(14分钟)

填空题第2题：三角函数极限式极限计算方法

●三角函数极限式极限计算思路与方法(12分钟)

●利用正弦函数周期性变换公式计算数列极限(13分钟)

填空题第3题：多元抽象函数偏导数的计算

●多元抽象函数偏导数的计算思路与步骤(18分钟)

填空题第4题：抽象函数极限式极限计算方法

●抽象函数极限式极限计算的两种思路与方法(17分钟)

填空题第5题：不定积分计算思路与方法

●不定积分计算的一般思路分析与探索(10分钟)

●不定积分换元法分部积分法综合应用案例解析(14分钟)

填空题第6题：三重积分的计算法

●三重积分球坐标计算方法应用实例分析与探索(12分钟)

●三重积分的直角坐标与柱坐标计算方法实例(14分钟)

第二题：二元抽象函数极值判定思路分析

●借助极值判定充分条件判定二元抽象函数极值(15分钟)

●定义法判定二元函数极值的思路探索与分析(12分钟)

第三题：空间曲线上对坐标积分计算方法

●用直接法计算对坐标的空间曲线积分(14分钟)

●基于斯托克斯公式的对坐标的曲线积分计算(19分钟)

第四题：借助积分性质与改变积分次序证不等式

●借助积分性质与改变积分次序验证积分不等式(14分钟)

第五题：基于极限定义与子数列验证极限结论

●基于极限定义与子数列的敛散性验证极限结论(21分钟)

第十届全国初赛非数学专业真题解析

（合计视频时长396分钟，约6个半小时）

填空题第1题数列极限计算常用思路与方法一

●特殊法及应用注意事项(19分钟) 免费试学

●数列极限几种基本计算方法的应用思路与步骤(25分钟)

●基于海涅定理的函数三大极限计算思路与方法(16分钟)

●基于中值定理极限计算思路与方法(11分钟)

●应用Stolz公式转换极限式计算数列极限(26分钟)

填空题第2题导数的几何意义及具体函数求导的一般思路与方法

●导数几何意义及具体函数求导一般思路与方法(16分钟)

填空题第3题不定积分计算的一般思路与步骤

●换元法与分部积分法计算积分思路探索与分析(16分钟)

●拆项凑微分方法计算不定积分(8分钟)

填空题第4题函数极限计算的一般思路与主要方法

●函数极限的一般思路与等价无穷小方法(15分钟)

●增减项构造等价无穷小结构求极限(10分钟)

●洛必达法则求极限(9分钟)

●函数极限计算的直接泰勒公式法(15分钟)

●函数极限计算的间接泰勒公式法(21分钟)

第二题基于积分与路径无关计算抽象函数表达式

●基于积分与路径无关计算抽象函数表达式(18分钟)

●改写微分方程为指定类型求通解的思路与方法(14分钟)

●全微分方程的求解的一般思路与方法(12分钟)

第三题定积分乘积不等式证明的一般思路与方法

●定积分乘积不等式证明的一般思路与方法(16分钟)

第四题三重积分计算的一般思路与方法

●三重积分一般计算思路与“先一后二”投影法(18分钟)

●三重积分计算“先二后一”的截面法(10分钟)

●三重积分的球坐标计算方法(13分钟)

●基于性质、变换与基本计算方法计算三重积分(27分钟)

第五题多元函数的有限增量公式与中值定理

●多元函数的有限增量公式与中值定理(21分钟)

第六题定积分不等式的证明与几个常用不等式

●定积分不等式证明的一般思路与方法(16分钟)

●积分不等式证明的定义法与几个重要不等式(12分钟)

第七题基于比较判别法判定抽象常值级数敛散性的思路与方法

●比较判别法判定抽象级数敛散性的思路与方法(12分钟)

第十一届全国初赛非数学专业真题解析

（合计视频时长193分钟，约3个小时）

填空题第1题：函数极限的计算思路与方法

●函数极限的计算思路与方法(15分钟)

填空题第2题：不定积分的参数方程计算方法

●不定积分的参数方程计算方法(15分钟)

填空题第3题：定积分的计算思路与方法

●定积分的计算思路与方法(20分钟)

填空题第4题：二元函数原函数的计算思路与方法

●二元函数原函数的计算思路与方法(24分钟)

填空题第5题：曲面的切平面及切点坐标的计算

●曲面的切平面及切点坐标的计算(12分钟)

第二题：三重积分的球坐标计算思路与方法

●三重积分的球坐标计算思路与方法(18分钟)

第三题：函数恒等于常数的证明思路与方法

●函数恒等于常数的证明思路与方法(21分钟)

第四题：已知累次积分表达式计算重积分的思路与方法

●已知累次积分表达式计算重积分的思路与方法(21分钟)

第五题：抽象函数极限和方程根的关系

●抽象函数极限和方程根的关系(21分钟)

第六题：已知抽象函数等式构建微分方程验证函数性质

●已知抽象函数等式构建微分方程验证函数性质(26分钟)

从线性回归函数到逻辑回归函数

逻辑回归是线性分类器，其本质是由线性回归通过一定的数学变化而来的。要理解逻辑回归，得先理解线性回归。线性回归是构造一个预测函数来映射输入的特性矩阵和标签的线性关系。线性回归使用最佳的拟合直线（也就是回归线）在因变量（

）和一个或多个自变量（

）之间建立一种关系。在这种技术中，因变量是连续的，自变量可以是连续的也可以是离散的，回归线的性质是线性的。

可以用矩阵的形式表示该方程，其中 x 与 w 均可以被看作一个列矩阵：

，线性回归使用输入的特征矩阵

来输出一组连续型的标签值 y_pred，以完成各种预测连续型变量的任务。若标签是离散型变量，尤其是满足0-1分布的离散型变量，则可以通过引入联系函数(link function)，将线性回归方程

的值分布在 (0,1) 之间，且当

接近0时样本的标签为类别0，当

接近1时样本的标签为类别1，这样就得到了一个分类模型。而这个联系函数对于逻辑回归来说，就是Sigmoid函数：

趋近于0，它能够将任何实数映射到(0,1) 区间，使其可用于将任意值函数转换为更适合二分类的函数。 因为这个性质，Sigmoid函数也被当作是归一化的一种方法，与我们之前学过的MinMaxSclaer同理，是属于数据预处理中的"缩放"功能，可以将数据压缩到[0,1]之内。区别在于MinMaxScaler归一化之后，是可以取到0和1的，但Sigmoid函数只是无限趋近于0和1。

带入到Sigmoid函数中，即得到二元逻辑回归模型的一半形式：

为逻辑回归的返回的标签值。假设已经训练好一组权值向量

。只要把我们需要预测的特征矩阵

方差中，得到输出值就是标签为类别1的概率，于是就能判断输入特征矩阵是属于哪个类别。

因此逻辑回归是不直接预测标签值，而是去预测标签为类别1的概率。一般地如果标签为类别1的概率大于0.5，就认为其为类别1，否在为类别2。

具有下列分布函数和密度函数：

逻辑回归等分布函数(左)和密度函数(右)

逻辑回归模型一般处理二分类问题，而二分类问题就是给定输入特征矩阵

，判断输出的标签是类别1还是类别2。二分类问题是最简单的分类问题。多分类问题也可以通过一定的方法转化成一组二分类问题。比如最简单的是OVA(One-vs-all)方法，如一个6分类问题，可以判断输入是特征矩阵

否属于某个类，其余的判断属于其他类，依次类推，从而转化为一组6个二分类问题。

二项逻辑回归模型是一种分类模型，由条件概率分布

表示，形式为参数化的逻辑回归。随机变量

取值为1或0。通过监督学习的方法估计模型参数。

定义：二项逻辑回归模型如下回归模型是如下的条件概率分布：

一个事件发生的几率（odds） 指该事件发生的概率与该事件不发生的概率大比值。如果事件发生的概率是

，该事件的对数几率（log odds）或logit 函数是

对于逻辑回归，对数几率（log odd）为：

在逻辑回归模型中，输出

形似几率取对数的本质就是线性回归，实际上是在对线性回归模型的预测结果取对数几率来让其的结果无限逼近0和1。因此，其对应的模型被称为"对数几率回归"(Logistic Regression)，即逻辑回归。

"损失函数"这个评估指标，来衡量参数为

的模型拟合训练集时产生的信息损失的大小，即衡量模型的输出与真实输出的差别。并以此衡量参数

基于极大似然法来推导二元逻辑回归的损失函数

二元逻辑回归的标签服从伯努利分布(即0-1分布)，因此我们可以将一个特征向量为

的预测情况表现为如下形式将样本特征线性表示

，然后输入到 Sigmoid 函数，输出结果在0-1之间，并且输出结果表征了分类结果为1的概率。

组成的预测函数中，样本标签被预测为1的概率为:

组成的预测函数中，样本标签被预测为0的概率为:

被的值为1的时候，代表样本

的值为1的时候，代表样本

这个等式代表同时代表了

非常接近于1，模型的效果就很好，损失就很小。同理，当样本

非常接近于1，模型的效果就很好，损失就很小。因此为了达成让模型拟合好，损失小的目的，则

需达到最大值1。这就将模型拟合中的"最小化损失"问题，转换成了对函数求解极值的问题。

极大似然估计得交叉熵函数：

为了数学上的便利以及更好地定义"损失"的含义，我们希望将极大值问题转换为极小值问题，因此取负并让参数

作为函数的自变量，得到损失函数

似然与概率 似然与概率是一组非常相似的概念，它们都代表着某件事发生的可能性，但它们在统计学和机器学习中有着微妙的不同。以样本i为例，我们有表达式:

对这个表达式而言，如果参数

是在探索不同特征取值下获取所有可能的

的可能性，这种可能性就被称为概率，研究的是自变量和因变量之间的关系。 如果特征向量

是未知的，我们便称P是在探索不同参数下获取所有可能的

的可能性，这种可能性就被称为似然，研究的是参数取值与因变量之间的关系。 在逻辑回归的建模过程中，特征矩阵是已知的，参数是未知的，因此讨论的所有"概率"其实严格来说都应该是"似然"。因此求最大值即为求"极大似然"，所以逻辑回归的损失函数的推导方法叫做"极大似然法"。则"极大似然函数"为

逻辑回归的损失函数是一个连续的凸函数（conveiently convex）。凸函数的特征是它只会有一个全局最优的点，不存在局部最优。对于GD与SGD的最大问题是其可能会陷入局部最优。因此使用梯度下降法收敛后得到的极值点就一定是全局最优点。

一元函数的导数与泰勒级数

的极值（最大值或者最小值），通常方法令其导数为零

，就可以得到函数的临界点，进一步判断这些临界点是否是极值。但是临界点并不一定是全局极值，甚至不是局部的极值。

附近泰勒级数展开得到：

的局部最小值。相反，当

，因此使用上面的方法则无法判断临界点

泰勒公式泰勒公式是一个用函数在某点的信息描述其附近取值的公式。数学家们在柯西中值定理的基础上，推导出了泰勒中值定理（泰勒公式）。

阶的导数，那么对于任一

一般情况下，泰勒公式在

处展开。这样可以简化了泰勒公式得到

阶泰勒公式，也称麦克劳林（Maclaurin）公式

泰勒公式的几何意义是利用多项式函数来逼近原函数。

从数学上的角度来看，梯度的方向是函数增长速度最快的方向，那么梯度的反方向就是函数减少最快的方向。那么，如果想计算一个函数的最小值，就可以使用梯度下降法的思想来做。假设希望求解目标函数

的最小值，可以从一个初始点

一旦达到收敛条件，迭代即结束 。从梯度下降法的迭代公式来看，下一个点的选择与当前点的位置和它的梯度相关。

迭代过程中构建迭代关系

随机梯度下降是在每次更新过程中，加入噪声扰动，这可能会更加快速地逼近最优值。因此采用一个输出为随机变量的替代函数

，相当于这个函数围绕着

的输出值随机波动。因此迭代过程中构建的关系为：

如上图所示的三维图像上随机放一个小球，当松手时，小球就会顺着三维平面滚落，直到滚到深红色的区域——损失函数的最低点。可以设置小球每次滚动的距离，不让他一次性滚到最低点，并且最多只允许它滚动有限步，还要记下它每次滚动的方向，直到它滚到图像上的最低点。

可见，小球从高处滑落，在红色的区域中来回震荡，最终停留在了图像凹陷处的某个点上。可以观察到几个现象：

• 首先，小球并不是一开始就直向着最低点去的，它先一口气冲到了红色区域边缘，后来又折回来，前面已经规定了小球是多次滚动，且小球每次滚动的方向都是不同的。
• 另外，小球在进入红色区域后，并没有直接找到某个点，而是在红色区域中来回震荡了数次才停下。这有两种可能：
  • 小球已经滚到了图像的最低点，所以停下了，
  • 由于我设定的步数限制，小球还没有找到最低点，但在有限步的时候停下了。即小球不一定滚到了图像的最低处。

但无论如何，小球停下的就是我们在现有状况下可以获得的唯一点了。如果够幸运，这个点就是图像的最低点，若找到这个点的对应坐标，就可以获取能够让损失函数最小的参数取值了。如此，梯度下降的过程就已经完成。

下图为二维平面的求导三角型图。类比损失函数和梯度概念，图中的抛物线就是损失函数

就是小球最初在的位置，

就是一次滚动后小球移动到的位置。从

的方向就是梯度向量的反方向，指向损失函数在

点下降最快的方向。而梯度向量的大小是点

导后的结果，也是点A切线方向的斜率。

梯度下降每迭代一步，损失函数减小的量

，即是损失函数在变化之后的取值的变化 ，这是二维 平面的求导三角型中的"对边"。

梯度下降每迭代一步，参数向量的变化

，根据参数向量的迭代公式，即得到步长 * 梯度向量的大小，记作 ，这是二维平面的求导三角形中的"邻边"。

梯度下降每迭代一步，下降的距离是

，是对边和邻边的根号下平方和，是二维平 面的求导三角型中的"斜边"。

所以，步长不是任何物理距离，它甚至不是梯度下降过程中任何距离的直接变化，它是梯度向量的大小上的一个 比例，影响着参数向量每次迭代后改变的部分。

步长调节损失函数下降的速率

参数迭代是靠梯度向量的大小

调节来实现的，所以步长可以调节损失函数下降的速率。在损失函数降低的方向上，步长越长，

的变动就越大。相对的，步长如果很短，

的每次变动就很小。具体地说，如果步长太大，损失函数下降得就非常快，需要的迭代次数就很少，但梯度下降过程可能跳过损失函数的最低点，无法获取最优值。而步长太小，虽然函数会逐渐逼近我们需要的最低点，但迭代的速度却很缓慢，迭代次数就需要很多。

线性回归对数据的要求很严格，比如标签必须满足正态分布，特征之间的多重共线性需要消除等等，而现实中很多真实情景的数据无法满足这些要求，因此线性回归在很多现实情境的应用效果有限。逻辑回归是由线性回归变化而来，因此它对数据也有一些要求，而我们之前已经学过了强大的分类模型决策树和随机森林，它们的分类效力很强，并且不需要对数据做任何预处理。

逻辑回归的原理其实并不简单。一个人要理解逻辑回归，必须要有一定的数学础，必须理解损失函数，正则化，梯度下降，海森矩阵等等这些复杂的概念，才能够对逻辑回归进行调优。在面试中，尽量不要那逻辑回归出来举例，因为其设计到的点实在太多。其涉及到的数学理念，不比支持向量机少多少。况且，要计算概率，朴素贝叶斯可以计算出真正意义上的概率，要进行分类，机器学习中能够完成二分类功能的模型简直多如牛毛。因此，在数据挖掘，人工智能所涉及到的医疗，教育，人脸识别，语音识别这些领域，逻辑回归没有太多的出场机会。

但是，逻辑回归依然是一个受工业商业热爱，使用广泛的模型，因为它有着不可替代的优点。

逻辑回归对线性关系的拟合极好

特征与标签之间的线性关系极强的数据，比如金融领域中的信用卡欺诈，评分卡制作，电商中的营销预测等等相关的数据，都是逻辑回归的强项。虽然现在有了梯度提升树GDBT，其效果比逻辑回归更好，也被许多数据咨询公司启用，但逻辑回归在金融领域，尤其是银行业中的统治地位依然不可动摇（相对的，逻辑回归在非线性数据的效果非常糟糕）。

对于线性数据，逻辑回归的拟合和计算都非常快，计算效率优于SVM和随机森林，且在大型数据上尤其能够看得出区别。

逻辑回归返回类概率数字

逻辑回归返回的分类结果不是固定的0,1，而是以小数形式概率数字呈现的。因此可以把逻辑回归返回的结果当成连续型数据来利用。比如在评分卡制作时，我们不仅需要判断客户是否会违约，还需要给出确定的"信用分"，而这个"信用分"的计算就需要使用类概率计算出的对数几率，而决策树和随机森林这样的分类器，可以产出分类结果，却无法帮助我们计算分数（当然，在sklearn中，决策树也可以产生概率，使用接口predict_proba调用就好，但一般来说，正常的决策树没有这个功能）。

逻辑回归的本质，在线性数据上表现优异的分类器，它是一个返回对数几率的，且可以获得一组

。其数学目的是求解能够让模型对数据拟合程度最高的权值向量

的值，以此构建预测函数

，然后将特征矩阵输入预测函数来计算出逻辑回归的结果

。根据逻辑回归的权值向量

的值在每个特征上面的大小，就能够对每个特征的重要程度有一个量化的认识。

另外，逻辑回归还有抗噪能力强的优点。福布斯杂志在讨论逻辑回归的优点时，甚至有着技术上来说，最佳模型的AUC面积低于0.8时，逻辑回归非常明显优于树模型的说法。并且，逻辑回归在小数据集上表现更好，在大型的数据集上，树模型有着更好的表现。

逻辑回归是一种广义线性回归模型，是Sigmoid函数归一化后的线性回归模型，常用来解决二元分类问题，可解释性强。它假设数据服从伯努利分布，通过梯度下降法对其损失函数（极大似然函数）求解，以达到数据二分类的目的。

逻辑回归是用来计算"事件=Success"和"事件=Failure"的概率。逻辑回归不要求自变量和因变量是线性关系。它可以处理各种类型的关系，因为它对预测的相对风险指数或使用了一个非线性的

转换。它广泛的用于分类问题。

其函数表达式为对数几率函数，通过Sigmoid函数将线性回归方程转化，将任何实数映射到（0，1）之间。

通过观测样本的极大似然估计值来选择参数。

表征模型预测值与真实值的不一致程度。LR损失函数为负的对数损失函数。逻辑回归，假设样本服从伯努利分布（0-1分布），然后求得满足该分布的似然函数，接着取对数求极值最小化负的似然函数 应用极大似然估计法估计模型参数，从而得到逻辑回归模型。逻辑回归的损失函数求最小值，就是根据最大似然估计的方法来的。

让总体分布尽量与样本的分布趋同，就是总体的分布与样本分布具有最大的相似性，然后再来求取模型中的参数

，这样就可以得到比较符合最大似然估计的模型。

逻辑回归和朴素贝叶斯区别

在这里是代表“特征”的集合,

二分类问题最总目的是判断为1的概率比判断为0的概率比大于1即可，于是

为了避免浮点数下溢，两边同时取

左边公式称逻辑发生比，又称作logit，逻辑发生比大于0就说明是好瓜的概率较大 。

在朴素贝叶斯里有一个很强的假设，就是 条件独立假设 。条件独立假设特征之间都是相互独立的，没有耦合的，互不干扰的。

贝叶斯公式 + 条件独立假设 = 朴素贝叶斯方法

逻辑回归实际上是用线性回归模型的预测结果去逼近后验概率的逻辑发生比

为特征值，可以是连续变量，也可以是离散变量。

表达式相似。但两种方法求出的权重是不一样的。

• 朴素贝叶斯方法是条件独立的，因为条件独立假设，朴素贝叶斯可以不使用梯度下降法，而直接通过统计每个特征的逻辑发生比当权重。
• 逻辑回归，条件独立假设并不成立，通过梯度下降方得到特征间的耦合信息，从而得到相应的权重。
• 朴素贝叶斯是生成模型，逻辑回归是判别模型；朴素贝叶斯运用的贝叶斯理论，逻辑回归是最大化对数似然，这是两种概率哲学的区别。