type
Page
status
Invisible
date
Feb 10, 2026
slug
Machine_Learning/deep-learning-study-notes/3_4
summary
动手深度学习v2课程
tags
机器学习
深度学习
category
icon
password
回归可以用于预测多少的问题。比如预测房屋被售出价格，或者棒球队可能获得的胜场数，又或者患者住院的天数。
事实上，我们也对分类问题感兴趣：不是问“多少”，而是问“哪一个”：
- 某个电子邮件是否属于垃圾邮件文件夹？
- 某个用户可能注册或不注册订阅服务？
- 某个图像描绘的是驴、狗、猫、还是鸡？
- 某人接下来最有可能看哪部电影？
通常，机器学习实践者用分类这个词来描述两个有微妙差别的问题：
- 我们只对样本的“硬性”类别感兴趣，即属于哪个类别
- 我们希望得到“软性”类别，即得到属于每个类别的概率。这两者的界限往往很模糊。其中的一个原因是：即使我们只关心硬类别，我们仍然使用软类别的模型。
3.4.1. 分类问题
我们从一个图像分类问题开始。假设每次输入是一个的灰度图像。我们可以用一个标量表示每个像素值，每个图像对应四个特征。此外，假设每个图像属于类别“猫”“鸡”和“狗”中的一个。
接下来，我们要选择如何表示标签。有两个明显的选择：最直接的想法是选择，其中整数分别代表。这是在计算机上存储此类信息的有效方法。如果类别间有一些自然顺序， 比如说我们试图预测，那么将这个问题转变为回归问题，并且保留这种格式是有意义的。
但是一般的分类问题并不与类别之间的自然顺序有关。幸运的是，统计学家很早以前就发明了一种表示分类数据的简单方法：独热编码（one-hot encoding）。独热编码是一个向量，它的分量和类别一样多。 类别对应的分量设置为1，其他所有分量设置为0。在我们的例子中，标签将是一个三维向量，其中对应于“猫”、对应于“鸡”、对应于“狗”：
3.4.2. 网络架构
我们需要一个多输出的模型，每个类别对应一个输出。为了解决线性模型的分类问题，需要和输出一样多的仿射函数（affine function）。每个输出对应于它自己的仿射函数。在下图的例子中，由于我们有4个特征和3个可能的输出类别，我们将需要12个标量来表示权重（带下标的），3个标量来表示偏置（带下标的）。下面我们为每个输入计算三个未规范化的预测（logit）：、和。
可以用神经网络图来描述这个计算过程。 与线性回归一样，softmax回归也是一个单层神经网络。
为了更简洁地表达模型，我们仍然使用线性代数符号。通过向量形式表达为。
3.4.3. 全连接层的参数开销
顾名思义，全连接层是“完全”连接的，可能有很多可学习的参数。 具体来说，对于任何具有个输入和个输出的全连接层，参数开销为。每个输出都要连到每个输入，一共就是 “输入数 × 输出数” 条连接，每条连接一个权重。实际中可将个输入转换为个输出的成本可以减少到， 其中超参数可以由我们灵活指定，以在实际应用中平衡参数节约和模型有效性。
3.4.4. softmax运算
现在我们将优化参数以最大化观测数据的概率。为了得到预测结果，我们将设置一个阈值，如选择具有最大概率的标签。
我们希望模型的输出可以视为属于类的概率，然后选择具有最大输出值的类别作为预测。
未经规范化的预测不能直接视为我们希望的输出，要将输出视为概率，必须满足在任何数据上的输出都是非负的且总和为1。
此外，我们需要一个训练的目标函数，来激励模型精准地估计概率。例如，模型说“我有0.9的把握是猫”时，长期来看确实大约90%的时候是猫。
社会科学家邓肯·卢斯于1959年在选择模型（choice model）的理论基础上发明的softmax函数正是这样做的：softmax函数能够将未规范化的预测变换为非负数并且总和为1，同时让模型保持 可导的性质。为了完成这一目标，我们首先对每个未规范化的预测求幂，这样可以确保输出非负。为了确保最终输出的概率值总和为1，我们再让每个求幂后的结果除以它们的总和。如下式：
这里，对于所有的总有。 因此，可以视为一个正确的概率分布。softmax运算不会改变未规范化的预测之间的大小次序，只会确定分配给每个类别的概率。因此，在预测过程中，我们仍然可以用下式来选择最有可能的类别。
尽管softmax是一个非线性函数，但softmax回归的输出仍然由输入特征的仿射变换决定。因此，softmax回归是一个线性模型（linear model）。
3.4.5. 小批量样本的矢量化
为了提高计算效率并且充分利用GPU，我们通常会对小批量样本的数据执行矢量计算。假设我们读取了一个批量的样本，其中特征维度（输入数量）为，批量大小为。此外，假设我们在输出中有个类别。那么小批量样本的特征为，权重为，偏置为。softmax回归的矢量计算表达式为：
相对于一次处理一个样本，小批量样本的矢量化加快了和的矩阵-向量乘法。由于中的每一行代表一个数据样本，那么softmax运算可以按行（rowwise）执行：对于的每一行，我们先对所有项进行幂运算，然后通过求和对它们进行标准化。公式3.4.5中，的求和会使用广播机制，小批量的未规范化预测和输出概率都是形状为的矩阵。
3.4.6. 损失函数
接下来，需要一个损失函数来度量预测的效果。我们将使用最大似然估计，这与在线性回归中的方法相同。
3.4.6.1. 对数似然
softmax函数给出了一个向量，我们可以将其视为“对给定任意输入的每个类的条件概率”。
例如，=。假设整个数据集具有个样本，其中索引的样本由特征向量
和独热标签组成。我们可以将估计值和实际值进行比较：
根据最大似然估计，最大化。，相当于最小化负对数似然：
其中，对于任何标签和模型预测，损失函数为：
公式3.4.8中的损失函数通常被称为交叉熵损失（cross-entropy loss）。
因为 one-hot 向量只有真实类别那一项是 1、其他都是 0，所以这个式子实际上就等价于只取真实类别的预测概率：。当模型把真实类别的概率预测为1时，，损失达到最小值，表示“已经完美”。但在真实数据中常常做不到每个样本都预测到100%正确，因为可能存在标签噪声（样本被误标）或特征信息不足（输入无法完全区分各类），所以损失一般不可能一直降到0。
3.4.6.2. softmax及其导数
由于softmax和相关的损失函数很常见，因此我们需要更好地理解它的计算方式。将公式3.4.3带入损失3.4.8中。利用softmax的定义，可以得到：
考虑相对于任何未规范化的预测的导数，我们得到：
换句话说，导数是我们softmax模型分配的概率与实际发生的情况（由独热标签向量表示）之间的差异。从这个意义上讲，这与我们在回归中看到的非常相似，其中梯度是观测值和估计值之间的差异。
3.4.6.3. 交叉熵损失
现在让我们考虑整个结果分布的情况，即观察到的不仅仅是一个结果。对于标签，我们可以使用与以前相同的表示形式。唯一的区别是，我们现在用一个概率向量表示，如，而不是仅包含二元项的向量。使用公式3.4.8来定义损失，它是所有标签分布的预期损失值。该损失称为交叉熵损失（cross-entropy loss），它是分类问题最常用的损失之一。
3.4.7. 信息论基础
信息论（information theory）涉及编码、解码、发送以及尽可能简洁地处理信息或数据。
3.4.7.1. 熵
信息论的核心思想是量化数据中的信息内容。在信息论中，该数值被称为分布的熵（entropy）。可以通过以下方程得到，其中是一个下标，表示可能发生的每一种结果/类别：
信息论的基本定理之一指出，为了对从分布中随机抽取的数据进行编码，我们至少需要“纳特（nat）”对其进行编码。“纳特”相当于比特（bit），但是对数底为而不是2。因此，一个纳特是比特。
3.4.7.2. 信息量
压缩与预测有什么关系呢？想象一下，我们有一个要压缩的数据流。如果我们很容易预测下一个数据，那么这个数据就很容易压缩。为什么呢？举一个极端的例子，假如数据流中的每个数据完全相同，这会是一个非常无聊的数据流。由于它们总是相同的，我们总是知道下一个数据是什么。所以，为了传递数据流的内容，我们不必传输任何信息。也就是说，“下一个数据是xx”这个事件毫无信息量。
但是，如果我们不能完全预测每一个事件，那么我们有时可能会感到“惊异”。克劳德·香农决定用信息量来量化这种惊异程度。
在观察一个事件时，并赋予它（主观）概率。当我们赋予一个事件较低的概率时，我们的惊异会更大，该事件的信息量也就更大。在公式3.4.11中定义的熵，是当分配的概率真正匹配数据生成过程时的信息量的期望。
3.4.7.3. 重新审视交叉熵
如果把熵想象为“知道真实概率的人所经历的惊异程度”，那么什么是交叉熵？交叉熵从到记为。可以把交叉熵想象为“主观概率为的观察者在看到根据概率生成的数据时的预期惊异”。当时，交叉熵达到最低。在这种情况下，从到的交叉熵是。
简而言之，我们可以从两方面来考虑交叉熵分类目标：
- 最大化观测数据的似然
- 最小化传达标签所需的惊异
3.4.8. 模型预测和评估
在训练softmax回归模型后，给出任何样本特征，我们可以预测每个输出类别的概率。通常我们使用预测概率最高的类别作为输出类别。如果预测与实际类别（标签）一致，则预测是正确的。在接下来的实验中，我们将使用精度（accuracy）来评估模型的性能。精度等于正确预测数与预测总数之间的比率。
3.4.9. 小结
- softmax运算获取一个向量并将其映射为概率。
- softmax回归适用于分类问题，它使用了softmax运算中输出类别的概率分布。
- 交叉熵是一个衡量两个概率分布之间差异的很好的度量，它测量给定模型编码数据所需的比特数。