逻辑斯蒂回归
介绍逻辑斯蒂回归基本原理
Logistic回归(逻辑斯蒂回归)
[toc]
首先明确一点Logistic回归虽然叫回归，但是一般用于二分类问题，也就是说还是分类算法的一种！
数学理论准备
- 线性回归
是利用称为线性回归方程的最小二乘函数对一个或多个自变量和因变量之间关系进行建模的一种回归分析 - Sigmoid函数
因其函数图像形状像字母S得名。其形状曲线至少有2个焦点，也叫“二焦点曲线函数”。S型函数是有界、可微的实函数，在实数范围内均有取值，且导数恒为非负 ，有且只有一个拐点。
逻辑斯蒂回归
我们先看百度百科关于他的解释：logistic回归是一种广义线性回归（generalized linear model），因此与多重线性回归分析有很多相同之处。它们的模型形式基本上相同，都具有 wx+b，其中w和b是待求参数，其区别在于他们的因变量的不同，多重线性回归直接将wx+b作为因变量，即y =wx+b，而logistic回归则通过函数L将wx+b对应一个隐状态p，p =L(wx+b)，然后根据p 与1-p的大小决定因变量的值。如果L是logistic函数，就是logistic回归。
什么意思？听我给你解释！首先我们目的是利用这个算法做什么？分类！没错既然是分类算法，那么我必须就有一个进行分类的标准！比如说：KNN(K近邻算法)我们就是直接计算测试集与训练集之间的距离而后进行划分。贝叶斯分类器：就是直接通过计算概率而后进行分类。也就是说：分类算法模型的大致流程如下：
graph LR
A[数据]--->B{模型}--->c[结果]
结果：通过模型我们得到的结果应该大致在一个区间内部（比如：0-1），这样我们就可以建立一个分类的标准，比如：>0.5的时候分类结果为1，＜0.5的时候分类结果为0
我们知道如果仅仅只使用$wx+b$我们是得不到上述结果，因此我们借助函数L，对$wx+b$的结果进行处理。
逻辑斯蒂函数
通过上述对逻辑斯蒂回归定义的了解我们得知，仅仅只借助$wx+b$是得不到我们需要的结果，我们还需要一个函数对$wx+b$进行处理，此处所用的函数就是逻辑斯蒂函数：
$$
y=\frac{1}{1+e^{-z}}\z=wx+b,那么将z代入上式得到：\y=\frac{1}{1+e^{-(wx+b)}}
$$
我们上式变形可以得到：
$$
y=\frac{1}{1+e^{-(wx+b)}}则：\frac{1}{y}-1=e^{-(wx+b)}同时取对数:ln(\frac{y}{1-y})=wx+b
$$
此时我们只需要求解参数w和b就可以进行分类了
参数求解
此处介绍两种求解方法：梯度下降算法、牛顿迭代算法
梯度上升算法
$$
\theta=\theta-\eta\nabla_θ J(θ)\\eta:学习率，\nabla:求导
$$