机器学习 | 逻辑回归

一.基本原理

面对一个分类问题，建立代价函数，通过优化方法迭代求解出最优的模型参数，然后测试验证我们这个求解的模型的好坏。逻辑回归是一种分类方法，主要用于二分类问题，应用于研究某些事件发生的概率

二.优缺点

优点

• 计算代价不高，易于理解和实现
• 速度快，适合二分类问题
• 简单易于理解，直接看到各个特征的权重
• 能容易更新模型吸收新的数据
• 不受多重共线性的影响（可通过正则化消除）

缺点

• 容易产生欠拟合
• 分类精度不高
• 很难处理样本不平衡问题
• 准确率不是很高，因为形式简单（类似于线性模型），很难拟合数据的真实分布
• 很难解决非线性问题，因为逻辑决策面是线性的
• 无法筛选特征，应用中常用GBDT（筛选特征）+ 逻辑回归组合
• 对数据和场景的适应能力有局限性，不如决策树算法适应性那么强

三.适用场景

• 是很多分类算法的基础组件：它的好处是输出值自然地落在0到1之间，并且有概率意义。因为它本质上是一个线性的分类器，所以处理不好特征之间相关的情况。虽然效果一般，却胜在模型清晰，背后的概率学经得住推敲。它拟合出来的参数就代表了每一个特征对结果的影响。也是一个理解数据的好工具
• 一般分类问题都可以使用，尤其因变量是二分类
• 不要求自变量和因变量是线性关系
• 信用评分卡
• 计算营销活动成功率
• 特定某天是否发生地震
• 广告点击预测
• 概率辅助决策
• 寻找危险因素

四.推导