逻辑回归推导（逻辑回归的实例）

## 逻辑回归推导

简介

逻辑回归是一种广泛用于二分类问题的统计模型。它通过拟合一个逻辑函数将输入特征映射到二进制输出。

导数

1. 逻辑函数

逻辑函数（又称 sigmoid 函数）定义为：``` sigmoid(x) = 1 / (1 + e^(-x)) ```它将输入值映射到 0 和 1 之间。

2. 逻辑回归模型

逻辑回归模型将输入特征 x 映射到概率 p：``` p = sigmoid(w^T x + b) ```其中：

w 是权重向量

b 是偏置项

最大似然估计

我们通过最大化似然函数来估计模型参数：``` L(w, b) = ∏[y_i

log(p_i) + (1 - y_i)

log(1 - p_i)] ```其中：

y_i 是第 i 个样本的真实标签

p_i 是第 i 个样本的预测概率

梯度下降

通过求似然函数的梯度，我们可以使用梯度下降算法来更新权重和偏差：``` w = w - α

∇_w L b = b - α

∇_b L ```其中：

α 是学习率

计算梯度

逻辑函数的导数为：``` sigmoid'(x) = sigmoid(x)

(1 - sigmoid(x)) ```似然函数的梯度为：``` ∇_w L = ∑[(y_i - p_i)

x_i] ∇_b L = ∑[(y_i - p_i)] ```

交叉熵损失

交叉熵损失是一种替代似然函数的损失函数，定义为：``` J(w, b) = -∑[y_i

log(p_i) + (1 - y_i)

log(1 - p_i)] ```交叉熵损失函数的梯度与似然函数的梯度相同。

分类阈值

一旦我们拟合了逻辑回归模型，我们使用阈值将概率映射到二进制预测：``` y_hat = 1 if p > 0.5 y_hat = 0 if p <= 0.5 ```

总结

逻辑回归是通过最大化似然函数或最小化交叉熵损失来训练的，通过使用梯度下降算法更新模型参数。它采用逻辑函数将输入特征映射到二进制预测，并使用阈值进行分类。

逻辑回归推导**简介**逻辑回归是一种广泛用于二分类问题的统计模型。它通过拟合一个逻辑函数将输入特征映射到二进制输出。**导数****1. 逻辑函数**逻辑函数（又称 sigmoid 函数）定义为：``` sigmoid(x) = 1 / (1 + e^(-x)) ```它将输入值映射到 0 和 1 之间。**2. 逻辑回归模型**逻辑回归模型将输入特征 x 映射到概率 p：``` p = sigmoid(w^T x + b) ```其中：* w 是权重向量 * b 是偏置项**最大似然估计**我们通过最大化似然函数来估计模型参数：``` L(w, b) = ∏[y_i * log(p_i) + (1 - y_i) * log(1 - p_i)] ```其中：* y_i 是第 i 个样本的真实标签 * p_i 是第 i 个样本的预测概率**梯度下降**通过求似然函数的梯度，我们可以使用梯度下降算法来更新权重和偏差：``` w = w - α * ∇_w L b = b - α * ∇_b L ```其中：* α 是学习率**计算梯度**逻辑函数的导数为：``` sigmoid'(x) = sigmoid(x) * (1 - sigmoid(x)) ```似然函数的梯度为：``` ∇_w L = ∑[(y_i - p_i) * x_i] ∇_b L = ∑[(y_i - p_i)] ```**交叉熵损失**交叉熵损失是一种替代似然函数的损失函数，定义为：``` J(w, b) = -∑[y_i * log(p_i) + (1 - y_i) * log(1 - p_i)] ```交叉熵损失函数的梯度与似然函数的梯度相同。**分类阈值**一旦我们拟合了逻辑回归模型，我们使用阈值将概率映射到二进制预测：``` y_hat = 1 if p > 0.5 y_hat = 0 if p <= 0.5 ```**总结**逻辑回归是通过最大化似然函数或最小化交叉熵损失来训练的，通过使用梯度下降算法更新模型参数。它采用逻辑函数将输入特征映射到二进制预测，并使用阈值进行分类。