1. 逻辑回归算法描述（是什么？）

1.1 逻辑回归的定义

可以答作用：
用于分类的回归算法，被广泛用于估算一个实例属于某个特定类别的概率。

比如：

• 这封电子邮件属于垃圾邮件的概率是什么？
• 某人患病的概率?
• 明天下雨的概率明天下雨的概率

如果预估概率超过50%，则模型预测该实例属于该类别（称为正类，标记为“1”），反之，则预测不是；也就是负类，标记为“0”。这样它就成了一个二分类器。

逻辑回归处理的常见的时二分类或二项分布问题，也可以处理多分类问题。

1.2 逻辑回归的优点

逻辑回归不仅能够进行分类，而且还能够获取属于该类别的概率。这在现实中是非常实用的。

注意：逻辑回归，我们不要被其名字所误导，实际上，逻辑回归是一个分类算法！

2. 逻辑回归算法的分类思想（思路）

逻辑回归实现分类的思想为：

将每条样本进行“打分”，然后设置一个阈值，达到这个阈值的，分为一个类别，而没有达到这个阈值的，分为另外一个类别。

（打分，阈值）

对于阈值，比较随意，划分为哪个类别都可以，但是，要保证阈值划分的一致性。

3. 逻辑回归分类到概率，举例理解？

直接举两个例子：

eg. 学生的成绩，分数是连续值，然后根据分数分类成优良差。
分类算法，可以说是基于线性回归基础上进行的分类。
需要对每一个样本进行打分，打分后，以一个点进行分割，高于这个点的，算一个类别。以一个中间点，作为分类 。

eg. 学生考试，只知道能考上 ，不知道考上的概率是多少？
只是进行了分类，少了信心指数，少了衡量这种类别多大的可能。以分数是60作为分界，分数是100也是优等，分数是60也是优等，但是100是优等的可能性肯定是大于分数是60的可能性。

采用最大似然估计的方法，求出损失函数

4. 逻辑回归的算法模型

4.1 sigmoid函数带入

二分类问题的概率与自变量之间的关系图形往往是一个S形曲线，常采用数学上的Sigmoid函数实现，其函数定义如下

逻辑回归来源于线性回归。
对于逻辑回归，模型的前面与线性回归类似：
所以，逻辑回归虽然是分类，但回归也不是白叫的，有回归的成分。

不过，z的值是一个连续的值（z就是对样本的打分，就是线性回归的连续值的输出），取值范围为$(-\infty ,+\infty )$我们需要将其转换为概率值，逻辑回归使用sigmoid函数来实现转换，该函数的原型为：
$sigmoid(z)=\frac{1}{1+e^{-z}}$

why引入sigmoid函数 ?
我们想让这个z更直观，变成概率[0,1]之间

当z的值从$-\infty$向$+\infty$过度时，sigmoid函数的取值范围为[0, 1]，这正好是概率的取值范围，当$z=0$时，sigmoid(0)的值为0.5。因此，模型就可以将sigmoid的输出p作为正例的概率，而1 - p作为负例的概率。以阈值0.5作为两个分类的标准，假设真实的分类y的值为1与0，则：

以上3个关于y_hat的表达式都是一个意思
z不是以一个有直观意义的分值，而是通过sigmoid转化为与概率相同的区间。

对于 0-1 型变量， y=1的概率分布公式定义如下：
P( y = 1) = p
对应的 y = 0 的概率分布公式定义如下：
P( y = 0) = 1 - p
如果采用线性模型进行分析，其公式变换如下：
P( y = 1 | x) = θ0 + θ1x1+ θ2x2 +…+ θnxn

实际应用中，概率p与因变量往往是非线性的，为了解决该类问题，可以引入logit变换，使logit§与自变量之间存在线性相关的关系，逻辑回归模型定义如下：

4.2 辅助理解：绘制sigmoid函数图像(with codes)

现在，我们通过Python程序来绘制sigmoid函数在[-10, 10]区间的图像。

import numpy as np
import matplotlib.pyplot as plt

# 定义sigmoid函数的原型。作为绘图的y值
def sigmoid(a):
    return 1/(1+np.exp(-a))

# 定义 a或者z，作为绘图的值
a = np.linspace(-10, 10, 100)
plt.plot(a, sigmoid(a))

# 绘制垂直线
plt.axvline(x=0, ls='dashed', c='k')
plt.axvline(x=-10, ls='dashed', c='k')
plt.axvline(x=10, ls='dashed', c='k')

# 绘制水平线
plt.axhline(y=0.0, ls='dotted', c='k')
plt.axhline(y=0.5, ls="dotted", c="k")
plt.axhline(y=1, ls="dotted", c="k")

np.exp(100)
# 以自然常数e为底的指数函数
# numpy.exp()：返回e的幂次方，e是一个常数为2.71828
# 2.6881171418161356e+43

4.3 样本概率表示

根据之前的介绍，我们可以将类别y（1与0）的概率表示如下（这里使用s代表sigmoid函数）：

综合式子

$p(y|x;w)=s(z{)}^y(1-s(z){)}^{1-y}$

4.4 得到交叉熵损失函数，by最大似然估计

以上是一个样本的概率，我们要求解能够使所有样本联合密度最大的w值，因此，根据极大似然估计，所有样本的联合概率密度函数（即似然函数）为：

$$\begin{gathered} L(w)={\prod }_{i=1}^{m}p(y^{(i)}|x^{(i)};w) \\ ={\prod }_{i=1}^{m}s(z^{(i)}{)}^{y^{(i)}}(1-s(z^{(i)}){)}^{1-y^{(i)}} \end{gathered}$$

为了方便求解，我们取对数似然函数，让累计乘积变成累计求和：

我们要使得上式的值最大(概率最大)，可以采用梯度上升的方式。
不过，这里我们为了引入损失函数的概念，我们采用相反的方式，即只需要使得该值的相反数最小即可，因此，我们可以将上式的相反数作为逻辑回归的损失函数（交叉熵损失函数）：

4.5 交叉熵损失函数介绍，大神传送门： https://blog.csdn.net/weixin_42078618/article/details/81736329

交叉熵：取对数，然后取负数，目的是为了平滑和直观