type
Page
status
Invisible
date
Dec 27, 2025
slug
summary
动手深度学习v2课程
tags
机器学习
深度学习
category
icon
password
2.3.1 标量
标量由只有一个元素的张量表示。标量字母由普通小写字母表示（例如，、和）
2.3.2 向量
向量可以被视为由标量值组成的列表。这些标量值被称为元素（element）或者分量（component）。在数学表示法中，标量通常标记为粗体、小写的符号（例如，、和）
人们通过一维张量表示向量。一般来说，张量可以具有任意长度，取决于机器的内存限制。
我们可以使用下标来引用向量的任一元素，例如可以通过$x_i$来引用第$i$个元素。
注意，元素$x_i$是一个标量，所以我们在引用它时不会加粗。
大量文献认为列向量是向量的默认方向，在本书中也是如此。
在数学中，向量可以写为：
其中是向量的元素。在代码中，我们(通过张量的索引来访问任一元素)。
2.3.2.1 长度、维度和形状
向量只是一个数字数组，就像每个数组都有一个长度一样，每个向量也是如此。
在数学表示法中，如果我们想说一个向量由个实值标量组成，
可以将其表示为。向量的长度通常称为向量的维度（dimension）。
与普通的Python数组一样，我们可以通过调用Python的内置
len()函数来访问张量的长度。当用张量表示一个向量（只有一个轴）时，我们也可以通过
.shape属性访问向量的长度。
形状（shape）是一个元素组，列出了张量沿每个轴的长度（维数）。
对于(只有一个轴的张量，形状只有一个元素)。请注意，维度（dimension）这个词在不同上下文时往往会有不同的含义，这经常会使人感到困惑。
为了清楚起见，我们在此明确一下：向量或轴的维度被用来表示向量或轴的长度，即向量或轴的元素数量。然而，张量的维度用来表示张量具有的轴数。在这个意义上，张量的某个轴的维数就是这个轴的长度。
2.3.3 矩阵
正如向量将标量从零阶推广到一阶，矩阵将向量从一阶推广到二阶。
矩阵，我们通常用粗体、大写字母来表示（例如，、和），在代码中表示为具有两个轴的张量。
数学表示法使用来表示矩阵，其由行和列的实值标量组成。
我们可以将任意矩阵视为一个表格，其中每个元素属于第行第列：
对于任意，的形状是（）或。当矩阵具有相同数量的行和列时，其形状将变为正方形；因此，它被称为方阵（square matrix）。
当调用函数来实例化张量时，我们可以通过指定两个分量和来创建一个形状为的矩阵。
我们可以通过行索引（）和列索引（）来访问矩阵中的标量元素，例如。如果没有给出矩阵的标量元素，如在公式2.3.2中那样，我们可以简单地使用矩阵的小写字母索引下标来引用。为了表示起来简单，只有在必要时才会将逗号插入到单独的索引中，
例如和。
当我们交换矩阵的行和列时，结果称为矩阵的转置（transpose）。通常用来表示矩阵的转置，如果，则对于任意和，都有。因此，在公式2.3.2中的转置是一个形状为的矩阵：
现在在代码中访问(矩阵的转置)。
作为方阵的一种特殊类型，对称矩阵（symmetric matrix）等于其转置：。
这里定义一个对称矩阵：
将的转置与进行比较:
尽管单个向量的默认方向是列向量，但在表示表格数据集的矩阵中， 将每个数据样本作为矩阵中的行向量更为常见。
2.3.4 张量
就像向量是标量的推广，矩阵是向量的推广一样，我们可以构建具有更多轴的数据结构。
张量（本小节中的“张量”指代数对象）是描述具有任意数量轴的维数组的通用方法。例如，向量是一阶张量，矩阵是二阶张量。张量用特殊字体的大写字母表示（例如，、和），
它们的索引机制（例如和）与矩阵类似。
当我们开始处理图像时，张量将变得更加重要，图像以$n$维数组形式出现，其中3个轴对应于高度、宽度，以及一个通道（channel）轴，用于表示颜色通道（红色、绿色和蓝色）。现在先将高阶张量暂放一边，而是专注学习其基础知识。
2.3.5 张量算法的基本性质
给定具有相同形状的任意两个张量，任何按元素二元运算的结果都将是相同形状的张量。
两个矩阵的按元素乘法称为Hadamard积（Hadamard product）（数学符号）
对于矩阵，其中第行和第列的元素是。矩阵和的Hadmard积为：
将张量乘以或加上一个标量不会改变张量的形状，其中张量的每个元素都将与标量相加或相乘。
2.3.6 降维
我们可以对任意张量进行的一个有用的操作是计算其元素的和。
数学表示法使用符号表示求和。为了表示长度为的向量中元素的总和，可以记为。
在代码中可以调用计算求和的函数：
我们可以表示任意形状张量的元素和。
例如，矩阵中元素的和可以记为。
默认情况下，调用求和函数会沿所有的轴降低张量的维度，使它变为一个标量。
我们还可以指定张量沿哪一个轴来通过求和降低维度。
以矩阵为例，为了通过求和所有行的元素来降维（轴0），可以在调用函数时指定
axis=0。由于输入矩阵沿0轴降维以生成输出向量，因此输入轴0的维数在输出形状中消失。指定
axis=1将通过汇总所有列的元素降维（轴1）。因此，输入轴1的维数在输出形状中消失。沿着行和列对矩阵求和，等价于对矩阵的所有元素进行求和。
一个与求和相关的量是平均值（mean或average）。
我们通过将总和除以元素总数来计算平均值。在代码中，我们可以调用函数来计算任意形状张量的平均值。
同样，计算平均值的函数也可以沿指定轴降低张量的维度。
2.3.6.1 非降维求和
但是，有时在调用函数来计算总和或均值时保持轴数不变会很有用。
例如，由于
sum_A在对每行进行求和后仍保持两个轴，我们可以(通过广播将A除以sum_A)。如果我们想沿某个轴计算
A元素的累积总和，比如axis=0（按行计算），可以调用cumsum函数。此函数不会沿任何轴降低输入张量的维度。其效果类似前缀和。2.3.7 点积（Dot Product）
一个最基本的操作之一是点积。给定两个向量，它们的点积（dot product）（或）是相同位置的按元素乘积的和：。
可以通过按元素乘法，然后进行求和来得到两个向量的点积：
点积在很多场合都很有用。例如，给定一组由向量表示的值，和一组由表示的权重。中的值根据权重的加权和，可以表示为点积。
当权重为非负数且和为1（即）时，点积表示加权平均（weighted average）。将两个向量规范化得到单位长度后，点积表示它们夹角的余弦。
2.3.8 矩阵-向量积
现在我们知道如何计算点积，可以开始理解矩阵-向量积（matrix-vector product）。
回顾分别在公式2.3.1和公式2.3.2中定义的矩阵和向量。
让我们将矩阵用它的行向量表示：
其中每个都是行向量，表示矩阵的第行。矩阵向量积是一个长度为的列向量，其第个元素是点积：
我们可以把一个矩阵乘法看作一个从到向量的转换。
这些转换是非常有用的，例如可以用方阵的乘法来表示旋转。后续章节将讲到，我们也可以使用矩阵-向量积来描述在给定前一层的值时，求解神经网络每一层所需的复杂计算。
在代码中使用张量表示矩阵-向量积，我们使用
mv函数。当我们为矩阵A和向量x调用torch.mv(A, x)时，会执行矩阵-向量积。注意，A的列维数（沿轴1的长度）必须与x的维数（其长度）相同。2.3.9 矩阵-矩阵乘法
在掌握点积和矩阵-向量积的知识后，那么矩阵-矩阵乘法（matrix-matrix multiplication）应该很简单。
假设有两个矩阵和：
用行向量表示矩阵的第行，并让列向量作为矩阵的第列。要生成矩阵积，最简单的方法是考虑的行向量和的列向量:
当我们简单地将每个元素计算为点积:
我们可以将矩阵-矩阵乘法看作简单地执行次矩阵-向量积，并将结果拼接在一起，形成一个矩阵。
在下面的代码中，我们在
A和B上执行矩阵乘法。这里的A是一个5行4列的矩阵，B是一个4行3列的矩阵。两者相乘后，我们得到了一个5行3列的矩阵。矩阵-矩阵乘法可以简单地称为矩阵乘法，不应与"Hadamard积"混淆。
2.3.10 范数
线性代数中最有用的一些运算符是范数（norm）。非正式地说，向量的范数是表示一个向量有多大。这里考虑的大小（size）概念不涉及维度，而是分量的大小。
范数听起来很像距离的度量。欧几里得距离和毕达哥拉斯定理中的非负性概念和三角不等式可能会给出一些启发。
事实上，欧几里得距离是一个$L_2$范数：
假设维向量中的元素是，其范数是向量元素平方和的平方根：
其中，在范数中常常省略下标，也就是说等同于。
在代码中，我们可以按如下方式计算向量的范数。
深度学习中更经常地使用范数的平方，也会经常遇到范数，它表示为向量元素的绝对值之和：
与范数相比，范数受异常值的影响较小。为了计算范数，我们将绝对值函数和按元素求和组合起来。
范数和范数都是更一般的范数的特例：
类似于向量的范数，矩阵(的Frobenius范数（Frobenius norm）是矩阵元素平方和的平方根：
Frobenius范数满足向量范数的所有性质，它就像是矩阵形向量的范数。
调用以下函数将计算矩阵的Frobenius范数。
2.3.10.1
在深度学习中，我们经常试图解决优化问题：
最大化分配给观测数据的概率;
最小化预测和真实观测之间的距离。
用向量表示物品（如单词、产品或新闻文章），以便最小化相似项目之间的距离，最大化不同项目之间的距离。
目标，或许是深度学习算法最重要的组成部分（除了数据），通常被表达为范数。
2.3.11 小结
- 标量、向量、矩阵和张量是线性代数中的基本数学对象。
- 向量泛化自标量，矩阵泛化自向量。
- 标量、向量、矩阵和张量分别具有零、一、二和任意数量的轴。
- 一个张量可以通过
sum和mean沿指定的轴降低维度。
- 两个矩阵的按元素乘法被称为他们的Hadamard积。它与矩阵乘法不同。
- 在深度学习中，我们经常使用范数，如范数、范数和Frobenius范数。
- 我们可以对标量、向量、矩阵和张量执行各种操作。