逻辑回归原理（逻辑回归原理详细步骤）

## 逻辑回归原理### 简介逻辑回归（Logistic Regression）是一种广泛应用于

二分类问题

的机器学习算法。它虽然名称中带有“回归”，但实际上是一种

分类算法

。与线性回归预测连续值不同，逻辑回归预测的是样本属于某一类别的

概率

。### 一、核心思想：线性回归 + Sigmoid 函数逻辑回归的核心思想可以概括为两步：1.

线性回归:

利用线性回归模型对输入特征进行线性组合，得到一个预测值。```z = w1

x1 + w2

x2 + ... + wn

xn + b ```其中：- `z` 是线性回归模型的预测值- `x1, x2, ..., xn` 是输入特征- `w1, w2, ..., wn` 是特征对应的权重- `b` 是偏置项2.

Sigmoid 函数:

将线性回归模型的预测值映射到 (0, 1) 区间，得到属于正类的概率。```P(y=1|x) = sigmoid(z) = 1 / (1 + exp(-z))```其中：- `P(y=1|x)` 表示在给定特征 x 的情况下，样本属于类别 1 的概率- `sigmoid(z)` 是 Sigmoid 函数，也称为逻辑函数Sigmoid 函数图像呈 S 形，可以将任何实数映射到 (0, 1) 区间。### 二、Sigmoid 函数：概率映射的关键Sigmoid 函数在逻辑回归中起着至关重要的作用，它将线性回归模型的预测值转换为概率值。其特点包括:-

值域在 (0, 1) 之间:

符合概率的定义 -

单调递增:

保证了线性回归预测值越大，样本属于正类的概率越高 -

可微:

方便模型参数的学习和优化### 三、损失函数：衡量预测与实际的差距逻辑回归使用

对数损失函数（Log Loss）

来衡量模型预测值与真实标签之间的差距。``` Cost(w, b) = -1/m

Σ[ y(i)

log(h(x(i))) + (1-y(i))

log(1-h(x(i))) ] ```其中:- `m` 是样本数量 - `y(i)` 是第 i 个样本的真实标签 (0 或 1) - `h(x(i))` 是模型对第 i 个样本的预测概率 - `w, b` 是模型参数对数损失函数的特性：-

当真实标签为 1，预测概率接近 1 时，损失函数接近 0

-

当真实标签为 1，预测概率接近 0 时，损失函数趋近于无穷大

-

对于真实标签为 0 的情况，损失函数变化趋势相反

### 四、模型训练：梯度下降优化参数逻辑回归的模型训练目标是找到一组最优的模型参数 (w, b)，使得损失函数最小化。常用的优化算法是

梯度下降法

，其基本步骤如下：1. 初始化模型参数 (w, b) 2. 计算损失函数关于参数的梯度 3. 沿着负梯度方向更新参数 4. 重复步骤 2 和 3，直至损失函数收敛### 五、应用场景：广泛的二分类问题逻辑回归是一种简单高效的分类算法，适用于各种二分类问题，例如：

垃圾邮件识别

信用风险评估

疾病诊断

广告点击率预测

### 总结逻辑回归是一种基于线性回归和 Sigmoid 函数的分类算法，通过梯度下降法优化模型参数，最小化对数损失函数，从而实现对样本属于某一类别的概率预测。它具有简单、易实现、可解释性强等优点，在实际应用中发挥着重要作用.

逻辑回归原理

简介逻辑回归（Logistic Regression）是一种广泛应用于**二分类问题**的机器学习算法。它虽然名称中带有“回归”，但实际上是一种**分类算法**。与线性回归预测连续值不同，逻辑回归预测的是样本属于某一类别的**概率**。

一、核心思想：线性回归 + Sigmoid 函数逻辑回归的核心思想可以概括为两步：1. **线性回归:** 利用线性回归模型对输入特征进行线性组合，得到一个预测值。```z = w1*x1 + w2*x2 + ... + wn*xn + b ```其中：- `z` 是线性回归模型的预测值- `x1, x2, ..., xn` 是输入特征- `w1, w2, ..., wn` 是特征对应的权重- `b` 是偏置项2. **Sigmoid 函数:** 将线性回归模型的预测值映射到 (0, 1) 区间，得到属于正类的概率。```P(y=1|x) = sigmoid(z) = 1 / (1 + exp(-z))```其中：- `P(y=1|x)` 表示在给定特征 x 的情况下，样本属于类别 1 的概率- `sigmoid(z)` 是 Sigmoid 函数，也称为逻辑函数Sigmoid 函数图像呈 S 形，可以将任何实数映射到 (0, 1) 区间。

二、Sigmoid 函数：概率映射的关键Sigmoid 函数在逻辑回归中起着至关重要的作用，它将线性回归模型的预测值转换为概率值。其特点包括:- **值域在 (0, 1) 之间:** 符合概率的定义 - **单调递增:** 保证了线性回归预测值越大，样本属于正类的概率越高 - **可微:** 方便模型参数的学习和优化

三、损失函数：衡量预测与实际的差距逻辑回归使用**对数损失函数（Log Loss）**来衡量模型预测值与真实标签之间的差距。``` Cost(w, b) = -1/m * Σ[ y(i)*log(h(x(i))) + (1-y(i))*log(1-h(x(i))) ] ```其中:- `m` 是样本数量 - `y(i)` 是第 i 个样本的真实标签 (0 或 1) - `h(x(i))` 是模型对第 i 个样本的预测概率 - `w, b` 是模型参数对数损失函数的特性：- **当真实标签为 1，预测概率接近 1 时，损失函数接近 0** - **当真实标签为 1，预测概率接近 0 时，损失函数趋近于无穷大** - **对于真实标签为 0 的情况，损失函数变化趋势相反**

四、模型训练：梯度下降优化参数逻辑回归的模型训练目标是找到一组最优的模型参数 (w, b)，使得损失函数最小化。常用的优化算法是**梯度下降法**，其基本步骤如下：1. 初始化模型参数 (w, b) 2. 计算损失函数关于参数的梯度 3. 沿着负梯度方向更新参数 4. 重复步骤 2 和 3，直至损失函数收敛

五、应用场景：广泛的二分类问题逻辑回归是一种简单高效的分类算法，适用于各种二分类问题，例如：* **垃圾邮件识别** * **信用风险评估** * **疾病诊断** * **广告点击率预测**

总结逻辑回归是一种基于线性回归和 Sigmoid 函数的分类算法，通过梯度下降法优化模型参数，最小化对数损失函数，从而实现对样本属于某一类别的概率预测。它具有简单、易实现、可解释性强等优点，在实际应用中发挥着重要作用.