计算机基础-P4 · Furthe77oad‘s Gallery

来源：04_09-22_P4-课件.pptx

参考教材：《Python语言程序设计基础（第三版）》

本文件按原课件的内容顺序归纳结构，并标注与教材知识点的对应关系，未修改原 PPT。PPT 页码指 PowerPoint 中从 1 开始的幻灯片顺序；教材页码指书本正文印刷页码，不等同于 PDF 阅读器显示的文件页序。

本课件讲授监督学习中的二分类和逻辑回归。教材正文主要提供实现这些算法所需的 Python 基础。因此，下文将“主题直接相关”和“编程基础支撑”分开标注。

一、整体结构

原课件共 17 页，全部属于 Chapter 3: Classification (Supervised learning)，没有单独的目录页或隐藏页。为便于查找与复习，将内容归纳为以下 5 个模块。

模块	原课件页码	页数	内容范围
章节封面	1	1	Chapter 3：分类与监督学习
1. 二分类与逻辑回归模型	2–5	4	二分类、线性回归的局限、Sigmoid、概率与阈值
2. 线性与非线性决策边界	6–8	3	`z=0`、线性边界、多项式特征、非线性边界
3. 训练集与代价函数选择	9–10	2	训练集记号、参数选择、平方误差的非凸问题
4. 逻辑损失与交叉熵代价	11–15	5	分段对数损失、统一公式、平均代价、凸性、最大似然
5. 逻辑回归的梯度下降	16–17	2	训练目标、偏导数、同步更新及与线性回归的共通方法

二、分节索引

章节封面（第 1 页）

第 1 页为 Chapter 3: Classification (Supervised learning) 标题页。本文件没有课程目录，正文从第 2 页直接开始。

模块 1：二分类与逻辑回归模型（第 2–5 页）

页码	内容要点
2	分类问题和类别标签；以垃圾邮件、图片中是否为狗为例说明二分类；`y∈{0,1}`
3	把线性回归输出按 0.5 阈值分类的问题；远端样本可能移动拟合直线和分类位置
4	逻辑回归模型：`z=w·x+b`，再用 Sigmoid `g(z)=1/(1+e⁻ᶻ)` 把输出压缩到 0–1
5	把模型输出解释为 `P(y=1｜x;w,b)` 的估计，并用阈值转换为类别预测

逻辑回归虽然名称中含有“回归”，本课件用它解决分类问题。模型先计算线性组合 z，再由 Sigmoid 产生概率型输出。

模块 2：线性与非线性决策边界（第 6–8 页）

页码	内容要点
6	当分类阈值为 0.5 时，决策边界满足 `z=w·x+b=0`；示例边界为 `x₁+x₂=3`
7	加入平方特征后形成圆形边界；示例为 `x₁²+x₂²=1`
8	通过平方项、交叉项等多项式特征构造更一般的非线性决策边界

“非线性决策边界”指边界在原始输入空间中呈曲线。模型对变换后的特征和参数仍保持线性组合形式。

模块 3：训练集与代价函数选择（第 9–10 页）

页码	内容要点
9	训练集记号：`m` 个样本、`n` 个特征、二元目标 `y`；训练目标是选择参数向量 `w` 和偏置 `b`
10	平方误差用于线性回归时得到凸代价；与 Sigmoid 组合后，逻辑回归的平方误差目标一般可能非凸

第 10 页解释了为什么逻辑回归不继续使用前一课的平方误差，而要改用对数损失。

模块 4：逻辑损失与交叉熵代价（第 11–15 页）

页码	内容要点
11	当 `y=1` 时，单样本损失为 `-log(f(x))`；预测越接近 1，损失越小
12	当 `y=0` 时，单样本损失为 `-log(1-f(x))`；预测越接近 0，损失越小
13	总代价 `J(w,b)` 是全部训练样本损失的平均值，训练目标是最小化代价
14	把两个分段公式合并为二元交叉熵：`-y log(f)-(1-y)log(1-f)`
15	完整交叉熵代价函数、凸性和最大似然解释

单个样本使用 loss，整个训练集的平均损失使用 cost。交叉熵会对“非常自信但预测错误”的结果施加很大惩罚。

模块 5：逻辑回归的梯度下降（第 16–17 页）

页码	内容要点
16	汇总预测函数、交叉熵代价、`wⱼ` 与 `b` 的偏导数，并强调参数同步更新
17	梯度下降更新公式；对比线性回归与逻辑回归的预测函数；列出可继续沿用的训练方法

逻辑回归梯度公式的外形与线性回归相似，但两者的预测函数不同：线性回归直接使用线性组合，逻辑回归还要经过 Sigmoid。

三、PPT 知识点与教材对应

PPT 页码	PPT 知识点	教材对应章节	教材印刷页码	对应层级与说明
2–3	二分类、0/1 标签、分类与回归的区别	3.1.4 真假无值；4.1 分支结构；附录 C 数据处理和挖掘（数字版）	89–90、130–133、395	主题直接相关 + 实现基础。附录 C 学习目标明确列出分类和回归；布尔值与条件分支可实现类别编码和阈值判断
4–5	Sigmoid、`f(x)=g(w·x+b)`、概率解释和分类阈值	2.2.4 表达式和赋值语句；2.5 Python 库引用方法；3.2 数字运算；5.1–5.2 函数定义与调用	55–56、65–68、91–95、164–170	编程基础支撑。教材可支持实现指数运算和预测函数，但不讲 Sigmoid、逻辑回归或概率估计理论
6–8	线性和非线性决策边界、多项式特征、阈值判别	3.2 数字运算；4.1 分支结构；5.1 函数定义	91–95、130–133、164–167	编程基础支撑。平方、乘法、条件和函数可实现边界计算；决策边界理论不在教材正文中
9	样本、特征、标签及二维训练数据	6.2 列表类型；6.4 元组类型；7.5 二维数据格式化	205–215、251–253	编程基础支撑。列表、元组和二维数据可表示训练样本与特征矩阵
10–15	平方误差的局限、对数损失、交叉熵、平均代价、凸性和最大似然	2.5 Python 库引用方法；3.2 数字运算；4.1 分支结构；4.4 循环结构；5.1 函数定义；6.2 列表类型	65–68、91–95、130–133、144–148、164–167、205–210	编程基础支撑。教材可支持分段损失、对数计算和样本汇总；逻辑损失、凸优化及最大似然理论由 PPT 提供
16–17	梯度下降、偏导数、同步更新、学习曲线、向量化、特征缩放	2.2.4 表达式和赋值语句；4.4.2 条件循环：`while`；5.2.3 函数的执行过程；6.2 列表类型；7.5 二维数据格式化	55–56、146、169–170、205–210、251–253	算法实现基础。循环、函数和二维数据支持参数迭代；梯度公式及这些方法在机器学习中的作用未由教材正文展开

对应关系总结

机器学习理论以 PPT 为主：教材附录 C 的数字版涉及分类、回归和机器学习，但当前 PDF 只保留学习目标与二维码。
教材提供实现工具：数值运算、条件分支、循环、函数、列表及二维数据可用于编写逻辑回归的基础实现。
配套阅读重点：第 3 章数字运算、第 4 章程序控制结构、第 5 章函数、第 6 章组合数据类型和第 7 章二维数据格式化。
使用库实现时的补充：教材第 8.5.2 节介绍第三方库安装（第 286 页）；附录 C 的学习目标提到使用 scikit-learn 完成分类和回归。

四、课件末页列出、但未继续展开的内容

第 17 页列出以下三个可与逻辑回归共用的训练方法，但本文件到此结束，没有后续页面讲解：

课件原文	中文说明	前一份课件中的位置
Monitor gradient descent (Learning curve)	用代价随迭代次数变化的曲线监控收敛	P3 第 51–53 页
Vectorized implementation	用向量和矩阵运算代替逐样本循环	P3 总目录提到，正文未展开
Feature scaling	把不同特征调整到相近数值范围	P3 第 45–50 页

五、复习时的关键辨析

二分类编码：第 2 页的 true 0 → 1 多了一个 0，应读作 false → 0, true → 1。0 和 1 只是编码约定，哪个类别是正类要由具体任务定义。
逻辑回归的用途：逻辑回归本质上是分类模型。它把线性组合输入 Sigmoid，得到属于正类的概率型估计。
概率与类别：模型输出 0.7 表示模型估计 y=1 的概率为 70%，不是已经输出类别 1。还需选择阈值；0.5 是常用默认值，并非所有任务都必须采用。
阈值与决策边界：只有在阈值为 0.5 时，边界才对应 w·x+b=0。改变阈值会改变决策边界的位置。
非线性边界的来源：加入 x₁²、x₁x₂ 等特征后，边界在原始空间中可以弯曲；模型对扩展后的特征仍是线性的。高阶特征也会增加过拟合风险。
Loss 与 cost：loss 衡量一个样本，cost 汇总整个训练集。二元交叉熵是二元标签的负对数似然；最小化它等价于最大化训练数据的似然。
凸性不等于唯一有限解：逻辑回归的交叉熵目标是凸的，但“必有唯一有限全局最低点”还需要额外条件。完全线性可分或特征共线时，课件第 13、15 页的表述需要谨慎理解。
梯度公式的相似性：逻辑回归和线性回归的梯度更新形式相似，但 f(x) 的定义不同，不能把两个模型视为同一个预测函数。
数值计算：实际编程时应优先使用库提供的稳定交叉熵实现，避免直接计算 log(0) 或因极端概率产生数值溢出。

六、使用说明

按主线复习：依次学习“二分类 → Sigmoid → 决策边界 → 交叉熵 → 梯度下降”。
联系前一课：第 3、9、16–17 页大量复用了 P3 课件中的线性回归、训练集记号和梯度下降概念。
结合教材实现：需要把公式写成 Python 时，重点查教材第 3–7 章；机器学习理论和公式推导仍应以 PPT 为主。
注意图片页：第 2–17 页正文均为整页图片，无法通过普通文本搜索定位。本整理根据全部 17 页的渲染结果建立索引，不代替对原图和公式的逐页学习。