超全汇总！机器学习常用术语词汇表——下篇（建议收藏）

男娘i 2022-10-16 07:51 611阅读 0赞

## **N** ##

*  ***NaN 陷阱 (NaN trap)***

模型中的一个数字在训练期间变成 [NaN][]，这会导致模型中的很多或所有其他数字最终也会变成 NaN。

NaN 是“非数字”的缩写。

*  ***负类别 (negative class)***

在[二元分类][Link 1]中，一种类别称为正类别，另一种类别称为负类别。正类别是我们要寻找的类别，负类别则是另一种可能性。例如，在医学检查中，负类别可以是“非肿瘤”。在电子邮件分类器中，负类别可以是“非垃圾邮件”。另请参阅[正类别][Link 2]。

*  ***神经网络 (neural network)***

一种模型，灵感来源于脑部结构，由多个层构成（至少有一个是[隐藏层][Link 3]），每个层都包含简单相连的单元或[神经元][Link 4]（具有非线性关系）。

*  ***神经元 (neuron)***

[神经网络][Link 5]中的节点，通常会接收多个输入值并生成一个输出值。神经元通过将[激活函数][Link 6]（非线性转换）应用于输入值的加权和来计算输出值。

*  ***节点 (node)***

多含义术语，可以理解为下列两种含义之一：

*  [隐藏层][Link 3]中的神经元。
 *  TensorFlow [图][Link 7]中的操作。

*  ***标准化 (normalization)***

将实际的值区间转换为标准的值区间（通常为 -1 到 +1 或 0 到 1）的过程。例如，假设某个特征的自然区间是 800 到 6000。通过减法和除法运算，您可以将这些值标准化为位于 -1 到 +1 区间内。

另请参阅[缩放][Link 8]。

*  ***数值数据 (numerical data)***

用整数或实数表示的[特征][Link 9]。例如，在房地产模型中，您可能会用数值数据表示房子大小（以平方英尺或平方米为单位）。如果用数值数据表示特征，则可以表明特征的值相互之间具有数学关系，并且与标签可能也有数学关系。例如，如果用数值数据表示房子大小，则可以表明面积为 200 平方米的房子是面积为 100 平方米的房子的两倍。此外，房子面积的平方米数可能与房价存在一定的数学关系。

并非所有整数数据都应表示成数值数据。例如，世界上某些地区的邮政编码是整数，但在模型中，不应将整数邮政编码表示成数值数据。这是因为邮政编码 `20000` 在效力上并不是邮政编码 10000 的两倍（或一半）。此外，虽然不同的邮政编码确实与不同的房地产价值有关，但我们也不能假设邮政编码为 20000 的房地产在价值上是邮政编码为 10000 的房地产的两倍。邮政编码应表示成[分类数据][Link 10]。

数值特征有时称为[连续特征][Link 11]。

*  ***Numpy***

一个[开放源代码数学库][Link 12]，在 Python 中提供高效的数组操作。[Pandas][] 建立在 Numpy 之上。

--------------------

## **O** ##

*  ***目标 (objective)***

算法尝试优化的指标。

*  ***离线推断 (offline inference)***

生成一组[预测][Link 13]，存储这些预测，然后根据需求检索这些预测。与[在线推断][Link 14]相对。

*  ***独热编码 (one-hot encoding)***

一种稀疏向量，其中：

*  一个元素设为 1。
 *  所有其他元素均设为 0。

独热编码常用于表示拥有有限个可能值的字符串或标识符。例如，假设某个指定的植物学数据集记录了 15000 个不同的物种，其中每个物种都用独一无二的字符串标识符来表示。在特征工程过程中，您可能需要将这些字符串标识符编码为独热向量，向量的大小为 15000。

*  ***单样本学习（one-shot learning，通常用于对象分类）***

一种机器学习方法，通常用于对象分类，旨在通过单个训练样本学习有效的分类器。

另请参阅[少量样本学习][Link 15]。

*  ***一对多 (one-vs.-all)***

假设某个分类问题有 N 种可能的解决方案，一对多解决方案将包含 N 个单独的[二元分类器][Link 1] - 一个二元分类器对应一种可能的结果。例如，假设某个模型用于区分样本属于动物、蔬菜还是矿物，一对多解决方案将提供下列三个单独的二元分类器：

*  动物和非动物
 *  蔬菜和非蔬菜
 *  矿物和非矿物

*  ***在线推断 (online inference)***

根据需求生成[预测][Link 13]。与[离线推断][Link 16]相对。

*  ***操作 (op, Operation)***

TensorFlow 图中的节点。在 TensorFlow 中，任何创建、操纵或销毁[张量][Link 17]的过程都属于操作。例如，矩阵相乘就是一种操作，该操作以两个张量作为输入，并生成一个张量作为输出。

*  ***优化器 (optimizer)***

[梯度下降法][Link 18]的一种具体实现。TensorFlow 的优化器基类是 [tf.train.Optimizer][]。不同的优化器可能会利用以下一个或多个概念来增强梯度下降法在指定[训练集][Link 19]中的效果：

*  [动量][Link 20] (Momentum)
 *  更新频率（[AdaGrad][] = ADAptive GRADient descent；[Adam][] = ADAptive with Momentum；RMSProp）
 *  稀疏性/正则化 ([Ftrl][])
 *  更复杂的数学方法（[Proximal][]，等等）

甚至还包括 [NN 驱动的优化器][NN]。

*  ***离群值 (outlier)***

与大多数其他值差别很大的值。在机器学习中，下列所有值都是离群值。

*  绝对值很高的[权重][Link 21]。
 *  与实际值相差很大的预测值。
 *  值比平均值高大约 3 个标准偏差的输入数据。

离群值常常会导致模型训练出现问题。

*  ***输出层 (output layer)***

神经网络的“最后”一层，也是包含答案的层。

*  ***过拟合 (overfitting)***

创建的模型与[训练数据][Link 19]过于匹配，以致于模型无法根据新数据做出正确的预测。

--------------------

## **P** ##

*  ***Pandas***

面向列的数据分析 API。很多机器学习框架（包括 TensorFlow）都支持将 Pandas 数据结构作为输入。请参阅 [Pandas 文档][Pandas 1]。

*  ***参数 (parameter)***

机器学习系统自行训练的模型的变量。例如，[权重][Link 21]就是一种参数，它们的值是机器学习系统通过连续的训练迭代逐渐学习到的。与[超参数][Link 22]相对。

*  ***参数服务器 (PS, Parameter Server)***

一种作业，负责在分布式设置中跟踪模型[参数][Link 23]。

*  ***参数更新 (parameter update)***

在训练期间（通常是在[梯度下降法][Link 18]的单次迭代中）调整模型[参数][Link 23]的操作。

*  ***偏导数 (partial derivative)***

一种导数，除一个变量之外的所有变量都被视为常量。例如，f(x, y) 对 x 的偏导数就是 f(x) 的导数（即，使 y 保持恒定）。f 对 x 的偏导数仅关注 x 如何变化，而忽略公式中的所有其他变量。

*  ***划分策略 (partitioning strategy)***

在[参数服务器][Link 24]间分割变量的算法。

*  ***性能 (performance)***

多含义术语，具有以下含义：

*  在软件工程中的传统含义。即：相应软件的运行速度有多快（或有多高效）？
 *  在机器学习中的含义。在机器学习领域，性能旨在回答以下问题：相应[模型][Link 25]的准确度有多高？即模型在预测方面的表现有多好？

*  ***困惑度 (perplexity)***

一种衡量指标，用于衡量[模型][Link 25]能够多好地完成任务。例如，假设任务是读取用户使用智能手机键盘输入字词时输入的前几个字母，然后列出一组可能的完整字词。此任务的困惑度 (P) 是：为了使列出的字词中包含用户尝试输入的实际字词，您需要提供的猜测项的个数。

困惑度与[交叉熵][Link 26]的关系如下：

$$P= 2^\{-\\text\{cross entropy\}\}$$

*  ***流水线 (pipeline)***

机器学习算法的基础架构。流水线包括收集数据、将数据放入训练数据文件、训练一个或多个模型，以及将模型导出到生产环境。

## 池化 (pooling) ##

将一个或多个由前趋的**[卷积层][Link 27]**创建的矩阵压缩为较小的矩阵。池化通常是取整个池化区域的最大值或平均值。以下面的 3x3 矩阵为例：

![882dd6fe297e78c81a8352199ce67cd7.png][]

池化运算与卷积运算类似：将矩阵分割为多个切片，然后按[步长][Link 28]逐个运行卷积运算。例如，假设池化运算按 1x1 步长将卷积矩阵分割为 2x2 个切片。如下图所示，进行了四个池化运算。假设每个池化运算都选择该切片中四个值的最大值：

![fc4dc85b93138af5578cb51c0f965630.png][]

池化有助于在输入矩阵中实现[平移不变性][Link 29]。

对于视觉应用来说，池化的更正式名称为空间池化。时间序列应用通常将池化称为时序池化。按照不太正式的说法，池化通常称为下采样或降采样。

*  ***正类别 (positive class)***

在[二元分类][Link 1]中，两种可能的类别分别被标记为正类别和负类别。正类别结果是我们要测试的对象。（不可否认的是，我们会同时测试这两种结果，但只关注正类别结果。）例如，在医学检查中，正类别可以是“肿瘤”。在电子邮件分类器中，正类别可以是“垃圾邮件”。

与[负类别][Link 30]相对。

*  ***精确率 (precision)***

一种[分类模型][Link 31]指标。精确率指模型正确预测[正类别][Link 2]的频率，即：

精确率正例数正例数假正例数

*  ***预测 (prediction)***

模型在收到输入[样本][Link 32]后的输出。

*  ***预测偏差 (prediction bias)***

一种值，用于表明[预测][Link 13]平均值与数据集中[标签][Link 33]的平均值相差有多大。

*  ***预创建的 Estimator (pre-made Estimator)***

其他人已建好的 [Estimator][]。TensorFlow 提供了一些预创建的 Estimator，包括 `DNNClassifier`、`DNNRegressor` 和 `LinearClassifier`。您可以按照[这些说明][Link 34]构建自己预创建的 Estimator。

*  ***预训练模型 (pre-trained model)***

已经过训练的模型或模型组件（例如[嵌套][Link 35]）。有时，您需要将预训练的嵌套馈送到[神经网络][Link 5]。在其他时候，您的模型将自行训练嵌套，而不依赖于预训练的嵌套。

*  ***先验信念 (prior belief)***

在开始采用相应数据进行训练之前，您对这些数据抱有的信念。例如，href="[https://developers.google.cn/machine-learning/glossary/?hl=zh-CN\#L2\_regularization][https_developers.google.cn_machine-learning_glossary_hl_zh-CN_L2_regularization]">L2 正则化依赖的先验信念是[权重][Link 21]应该很小且应以 0 为中心呈正态分布。

--------------------

## **Q** ##

*  ***队列 (queue)***

一种 TensorFlow [操作][Link 36]，用于实现队列数据结构。通常用于 I/O 中。

--------------------

## **R** ##

*  ***等级 (rank)***

机器学习中的一个多含义术语，可以理解为下列含义之一：

*  [张量][Link 17]中的维数。例如，标量等级为 0，向量等级为 1，矩阵等级为 2。
 *  在将类别从最高到最低进行排序的机器学习问题中，类别的顺序位置。例如，行为排序系统可以将狗狗的奖励从最高（牛排）到最低（枯萎的羽衣甘蓝）进行排序。

*  ***评分者 (rater)***

为[样本][Link 32]提供[标签][Link 33]的人。有时称为“注释者”。

*  ***召回率 (recall)***

一种[分类模型][Link 31]指标，用于回答以下问题：在所有可能的正类别标签中，模型正确地识别出了多少个？即：

$$\\text\{召回率\} = \\frac\{\\text\{正例数\}\} \{\\text\{正例数\} + \\text\{假负例数\}\}$$

*  ***修正线性单元 (ReLU, Rectified Linear Unit)***

一种[激活函数][Link 6]，其规则如下：

*  如果输入为负数或 0，则输出 0。
 *  如果输入为正数，则输出等于输入。

*  ***回归模型 (regression model)***

一种模型，能够输出连续的值（通常为浮点值）。请与[分类模型][Link 31]进行比较，分类模型会输出离散值，例如“黄花菜”或“虎皮百合”。

*  ***正则化 (regularization)***

对模型复杂度的惩罚。正则化有助于防止出现[过拟合][Link 37]，包含以下类型：

*  href="[https://developers.google.cn/machine-learning/glossary/?hl=zh-CN\#L1\_regularization][https_developers.google.cn_machine-learning_glossary_hl_zh-CN_L1_regularization]">L1 正则化
 *  href="[https://developers.google.cn/machine-learning/glossary/?hl=zh-CN\#L2\_regularization][https_developers.google.cn_machine-learning_glossary_hl_zh-CN_L2_regularization]">L2 正则化
 *  [丢弃正则化][Link 38]
 *  [早停法][Link 39]（这不是正式的正则化方法，但可以有效限制过拟合）

*  ***正则化率 (regularization rate)***

一种标量值，以 lambda 表示，用于指定正则化函数的相对重要性。从下面简化的[损失][Link 40]公式中可以看出正则化率的影响：

最小化损失方程正则化方程

提高正则化率可以减少[过拟合][Link 37]，但可能会使模型的[准确率][Link 41]降低。

*  ***表示法 (representation)***

将数据映射到实用[特征][Link 9]的过程。

*  ***受试者工作特征曲线（receiver operating characteristic，简称 ROC 曲线）***

不同[分类阈值][Link 42]下的[正例率][Link 43]和[假正例率][Link 44]构成的曲线。另请参阅[曲线下面积][Link 45]。

*  ***根目录 (root directory)***

您指定的目录，用于托管多个模型的 TensorFlow 检查点和事件文件的子目录。

*  ***均方根误差 (RMSE, Root Mean Squared Error)***

[均方误差][Link 46]的平方根。

*  ***旋转不变性 (rotational invariance)***

在图像分类问题中，即使图像的方向发生变化，算法也能成功地对图像进行分类。例如，无论网球拍朝上、侧向还是朝下放置，该算法仍然可以识别它。请注意，并非总是希望旋转不变；例如，倒置的“9”不应分类为“9”。

另请参阅[平移不变性][Link 29]和[大小不变性][Link 47]。

--------------------

## **S** ##

*  ***SavedModel***

保存和恢复 TensorFlow 模型时建议使用的格式。SavedModel 是一种独立于语言且可恢复的序列化格式，使较高级别的系统和工具可以创建、使用和转换 TensorFlow 模型。

如需完整的详细信息，请参阅《TensorFlow 编程人员指南》中的[保存和恢复][Link 48]。

*  ***Saver***

一种 [TensorFlow 对象][TensorFlow]，负责保存模型检查点。

*  ***缩放 (scaling)***

[特征工程][Link 49]中的一种常用做法，是指对某个特征的值区间进行调整，使之与数据集中其他特征的值区间一致。例如，假设您希望数据集中所有浮点特征的值都位于 0 到 1 区间内，如果某个特征的值位于 0 到 500 区间内，您就可以通过将每个值除以 500 来缩放该特征。

另请参阅[标准化][Link 50]。

*  ***scikit-learn***

一个热门的开放源代码机器学习平台。请访问 [www.scikit-learn.org][]。

*  ***半监督式学习 (semi-supervised learning)***

训练模型时采用的数据中，某些训练样本有标签，而其他样本则没有标签。半监督式学习采用的一种技术是推断无标签样本的标签，然后使用推断出的标签进行训练，以创建新模型。如果获得有标签样本需要高昂的成本，而无标签样本则有很多，那么半监督式学习将非常有用。

*  ***序列模型 (sequence model)***

一种模型，其输入具有序列依赖性。例如，根据之前观看过的一系列视频对观看的下一个视频进行预测。

*  ***会话 (tf.session)***

封装了 TensorFlow 运行时状态的对象，用于运行全部或部分**[图][Link 7]**。在使用底层 TensorFlow API 时，您可以直接创建并管理一个或多个 `tf.session` 对象。在使用 Estimator API 时，Estimator 会为您创建会话对象。

*  ***S 型函数 (sigmoid function)***

一种函数，可将逻辑回归输出或多项回归输出（对数几率）映射到概率，以返回介于 0 到 1 之间的值。S 型函数的公式如下：

$$y = \\frac\{1\}\{1 + e^\{-\\sigma\}\}$$

在[逻辑回归][Link 51]问题中， 非常简单：

$$\\sigma = b + w\_1x\_1 + w\_2x\_2 + … w\_nx\_n$$

换句话说，S 型函数可将 \$\\sigma\$ 转换为介于 0 到 1 之间的概率。

在某些[神经网络][Link 5]中，S 型函数可作为[激活函数][Link 6]使用。

*  ***大小不变性 (size invariance)***

在图像分类问题中，即使图像的大小发生变化，算法也能成功地对图像进行分类。例如，无论一只猫以 200 万像素还是 20 万像素呈现，该算法仍然可以识别它。请注意，即使是最好的图像分类算法，在大小不变性方面仍然会存在切实的限制。例如，对于仅以 20 像素呈现的猫图像，算法（或人）不可能正确对其进行分类。

另请参阅[平移不变性][Link 29]和[旋转不变性][Link 52]。

*  ***softmax***

一种函数，可提供[多类别分类模型][Link 53]中每个可能类别的概率。这些概率的总和正好为 1.0。例如，softmax 可能会得出某个图像是狗、猫和马的概率分别是 0.9、0.08 和 0.02。（也称为完整 softmax。）

与[候选采样][Link 54]相对。

*  ***稀疏特征 (sparse feature)***

一种[特征][Link 9]向量，其中的大多数值都为 0 或为空。例如，某个向量包含一个为 1 的值和一百万个为 0 的值，则该向量就属于稀疏向量。再举一个例子，搜索查询中的单词也可能属于稀疏特征 - 在某种指定语言中有很多可能的单词，但在某个指定的查询中仅包含其中几个。

与[密集特征][Link 55]相对。

*  ***稀疏表示法 (sparse representation)***

一种张量[表示法][Link 56]，仅存储非零元素。

例如，英语中包含约一百万个单词。表示一个英语句子中所用单词的数量，考虑以下两种方式：

*  要采用密集表示法来表示此句子，则必须为所有一百万个单元格设置一个整数，然后在大部分单元格中放入 0，在少数单元格中放入一个非常小的整数。
 *  要采用稀疏表示法来表示此句子，则仅存储象征句子中实际存在的单词的单元格。因此，如果句子只包含 20 个独一无二的单词，那么该句子的稀疏表示法将仅在 20 个单元格中存储一个整数。

例如，假设以两种方式来表示句子“Dogs wag tails.”。如下表所示，密集表示法将使用约一百万个单元格；稀疏表示法则只使用 3 个单元格：

![51defc33dad6e91fda0941d644889e2c.png][]

*  ***稀疏性 (sparsity)***

向量或矩阵中设置为 0（或空）的元素数除以该向量或矩阵中的条目总数。以一个 10x10 矩阵（其中 98 个单元格都包含 0）为例。稀疏性的计算方法如下：

$$\{\\text\{稀疏性\}\} = \\frac\{\\text\{98\}\} \{\\text\{100\}\} = \{\\text\{0.98\}\}$$

特征稀疏性是指特征向量的稀疏性；模型稀疏性是指模型权重的稀疏性。

*  ***空间池化 (spatial pooling)***

请参阅[池化][Link 57]。

*  ***平方合页损失函数 (squared hinge loss)***

[合页损失函数][Link 58]的平方。与常规合页损失函数相比，平方合页损失函数对离群值的惩罚更严厉。

*  ***平方损失函数 (squared loss)***

在[线性回归][Link 59]中使用的[损失][Link 40]函数（也称为 L2 损失函数）。该函数可计算模型为有标签[样本][Link 32]预测的值和[标签][Link 33]的实际值之差的平方。由于取平方值，因此该损失函数会放大不佳预测的影响。也就是说，与 href="[https://developers.google.cn/machine-learning/glossary/?hl=zh-CN\#L1\_loss][https_developers.google.cn_machine-learning_glossary_hl_zh-CN_L1_loss]">L1 损失函数相比，平方损失函数对离群值的反应更强烈。

*  ***静态模型 (static model)***

离线训练的一种模型。

*  ***平稳性 (stationarity)***

数据集中数据的一种属性，表示数据分布在一个或多个维度保持不变。这种维度最常见的是时间，即表明平稳性的数据不随时间而变化。例如，从 9 月到 12 月，表明平稳性的数据没有发生变化。

*  ***步 (step)***

对一个[批次][Link 60]的向前和向后评估。

*  ***步长 (step size)***

与[学习速率][Link 61]的含义相同。

*  ***随机梯度下降法 (SGD, stochastic gradient descent)***

批次大小为 1 的一种[梯度下降法][Link 18]。换句话说，SGD 依赖于从数据集中随机均匀选择的单个样本来计算每步的梯度估算值。

*  ***结构风险最小化 (SRM, structural risk minimization)***

一种算法，用于平衡以下两个目标：

*  期望构建最具预测性的模型（例如损失最低）。
 *  期望使模型尽可能简单（例如强大的正则化）。

例如，旨在将基于训练集的损失和正则化降至最低的函数就是一种结构风险最小化算法。

如需更多信息，请参阅 [http://www.svms.org/srm/][http_www.svms.org_srm]。

与[经验风险最小化][Link 62]相对。

*  ***步长 (stride)***

在卷积运算或池化中，下一个系列的输入切片的每个维度中的增量。例如，下面的动画演示了卷积运算过程中的一个 (1,1) 步长。因此，下一个输入切片是从上一个输入切片向右移动一个步长的位置开始。当运算到达右侧边缘时，下一个切片将回到最左边，但是下移一个位置。

![07f2d12c022f93e44205565fc8b016ea.png][]

前面的示例演示了一个二维步长。如果输入矩阵为三维，那么步长也将是三维。

*  ***下采样 (subsampling)***

请参阅[池化][Link 57]。

*  ***总结 (summary)***

在 TensorFlow 中的某一[步][Link 63]计算出的一个值或一组值，通常用于在训练期间跟踪模型指标。

*  ***监督式机器学习 (supervised machine learning)***

根据输入数据及其对应的[标签][Link 33]来训练[模型][Link 25]。监督式机器学习类似于学生通过研究一系列问题及其对应的答案来学习某个主题。在掌握了问题和答案之间的对应关系后，学生便可以回答关于同一主题的新问题（以前从未见过的问题）。请与[非监督式机器学习][Link 64]进行比较。

*  ***合成特征 (synthetic feature)***

一种[特征][Link 9]，不在输入特征之列，而是从一个或多个输入特征衍生而来。合成特征包括以下类型：

*  对连续特征进行[分桶][Link 65]，以分为多个区间分箱。
 *  将一个特征值与其他特征值或其本身相乘（或相除）。
 *  创建一个[特征组合][Link 66]。

仅通过[标准化][Link 50]或[缩放][Link 8]创建的特征不属于合成特征。

--------------------

## **T** ##

*  ***目标 (target)***

与[标签][Link 33]的含义相同。

*  ***时态数据 (temporal data)***

在不同时间点记录的数据。例如，记录的一年中每一天的冬外套销量就属于时态数据。

*  ***张量 (Tensor)***

TensorFlow 程序中的主要数据结构。张量是 N 维（其中 N 可能非常大）数据结构，最常见的是标量、向量或矩阵。张量的元素可以包含整数值、浮点值或字符串值。

*  ***张量处理单元 (TPU, Tensor Processing Unit)***

一种 ASIC（应用专用集成电路），用于优化 TensorFlow 程序的性能。

*  ***张量等级 (Tensor rank)***

请参阅[等级][Link 67]。

*  ***张量形状 (Tensor shape)***

[张量][Link 17]在各种维度中包含的元素数。例如，张量 \[5, 10\] 在一个维度中的形状为 5，在另一个维度中的形状为 10。

*  ***张量大小 (Tensor size)***

[张量][Link 17]包含的标量总数。例如，张量 \[5, 10\] 的大小为 50。

*  ***TensorBoard***

一个信息中心，用于显示在执行一个或多个 TensorFlow 程序期间保存的摘要信息。

*  ***TensorFlow***

一个大型的分布式机器学习平台。该术语还指 TensorFlow 堆栈中的基本 API 层，该层支持对数据流图进行一般计算。

虽然 TensorFlow 主要应用于机器学习领域，但也可用于需要使用数据流图进行数值计算的非机器学习任务。

*  ***TensorFlow Playground***

一款用于直观呈现不同的[超参数][Link 68]对模型（主要是神经网络）训练的影响的程序。要试用 TensorFlow Playground，请前往 [http://playground.tensorflow.org][http_playground.tensorflow.org]。

*  ***TensorFlow Serving***

一个平台，用于将训练过的模型部署到生产环境。

*  ***测试集 (test set)***

数据集的子集，用于在[模型][Link 25]经由验证集的初步验证之后测试模型。

与[训练集][Link 19]和[验证集][Link 69]相对。

*  ***tf.Example***

一种标准[协议缓冲区][Link 70]，旨在描述用于机器学习模型训练或推断的输入数据。

*  ***时间序列分析 (time series analysis)***

机器学习和统计学的一个子领域，旨在分析[时态数据][Link 71]。很多类型的机器学习问题都需要时间序列分析，其中包括分类、聚类、预测和异常检测。例如，您可以利用时间序列分析根据历史销量数据预测未来每月的冬外套销量。

*  ***训练 (training)***

确定构成模型的理想[参数][Link 23]的过程。

*  ***训练集 (training set)***

数据集的子集，用于训练模型。

与[验证集][Link 69]和[测试集][Link 72]相对。

*  ***迁移学习 (transfer learning)***

将信息从一个机器学习任务迁移到另一个机器学习任务。例如，在多任务学习中，一个模型可以完成多项任务，例如针对不同任务具有不同输出节点的[深度模型][Link 73]。迁移学习可能涉及将知识从较简单任务的解决方案迁移到较复杂的任务，或者将知识从数据较多的任务迁移到数据较少的任务。

大多数机器学习系统都只能完成一项任务。迁移学习是迈向人工智能的一小步；在人工智能中，单个程序可以完成多项任务。

*  ***平移不变性 (translational invariance)***

在图像分类问题中，即使图像中对象的位置发生变化，算法也能成功对图像进行分类。例如，无论一只狗位于画面正中央还是画面左侧，该算法仍然可以识别它。

另请参阅[大小不变性][Link 47]和[旋转不变性][Link 52]。

*  ***负例 (TN, true negative)***

被模型正确地预测为[负类别][Link 30]的样本。例如，模型推断出某封电子邮件不是垃圾邮件，而该电子邮件确实不是垃圾邮件。

*  ***正例 (TP, true positive)***

被模型正确地预测为[正类别][Link 2]的样本。例如，模型推断出某封电子邮件是垃圾邮件，而该电子邮件确实是垃圾邮件。

*  ***正例率（true positive rate, 简称 TP 率）***

与[召回率][Link 74]的含义相同，即：

正例率正例数正例数假负例数

正例率是 [ROC 曲线][ROC]的 y 轴。

--------------------

## **U** ##

*  ***无标签样本 (unlabeled example)***

包含[特征][Link 9]但没有[标签][Link 33]的样本。无标签样本是用于进行[推断][Link 75]的输入内容。在[半监督式][Link 76]和[非监督式][Link 64]学习中，在训练期间会使用无标签样本。

*  ***非监督式机器学习 (unsupervised machine learning)***

训练[模型][Link 25]，以找出数据集（通常是无标签数据集）中的规律。

非监督式机器学习最常见的用途是将数据分为不同的聚类，使相似的样本位于同一组中。例如，非监督式机器学习算法可以根据音乐的各种属性将歌曲分为不同的聚类。所得聚类可以作为其他机器学习算法（例如音乐推荐服务）的输入。在很难获取真标签的领域，聚类可能会非常有用。例如，在反滥用和反欺诈等领域，聚类有助于人们更好地了解相关数据。

非监督式机器学习的另一个例子是[主成分分析 (PCA)][_PCA]。例如，通过对包含数百万购物车中物品的数据集进行主成分分析，可能会发现有柠檬的购物车中往往也有抗酸药。

请与[监督式机器学习][Link 77]进行比较。

--------------------

## **V** ##

*  ***验证集 (validation set)***

数据集的一个子集，从训练集分离而来，用于调整[超参数][Link 22]。

与[训练集][Link 19]和[测试集][Link 72]相对。

--------------------

## **W** ##

*  ***权重 (weight)***

线性模型中[特征][Link 9]的系数，或深度网络中的边。训练线性模型的目标是确定每个特征的理想权重。如果权重为 0，则相应的特征对模型来说没有任何贡献。

*  ***宽度模型 (wide model)***

一种线性模型，通常有很多[稀疏输入特征][Link 78]。我们之所以称之为“宽度模型”，是因为这是一种特殊类型的[神经网络][Link 5]，其大量输入均直接与输出节点相连。与深度模型相比，宽度模型通常更易于调试和检查。虽然宽度模型无法通过[隐藏层][Link 3]来表示非线性关系，但可以利用[特征组合][Link 66]、[分桶][Link 65]等转换以不同的方式为非线性关系建模。

与[深度模型][Link 73]相对。

[NaN]: https://link.zhihu.com/?target=https%3A//en.wikipedia.org/wiki/NaN
[Link 1]: https://link.zhihu.com/?target=https%3A//developers.google.cn/machine-learning/glossary/%3Fhl%3Dzh-CN%23binary_classification
[Link 2]: https://link.zhihu.com/?target=https%3A//developers.google.cn/machine-learning/glossary/%3Fhl%3Dzh-CN%23positive_class
[Link 3]: https://link.zhihu.com/?target=https%3A//developers.google.cn/machine-learning/glossary/%3Fhl%3Dzh-CN%23hidden_layer
[Link 4]: https://link.zhihu.com/?target=https%3A//developers.google.cn/machine-learning/glossary/%3Fhl%3Dzh-CN%23neuron
[Link 5]: https://link.zhihu.com/?target=https%3A//developers.google.cn/machine-learning/glossary/%3Fhl%3Dzh-CN%23neural_network
[Link 6]: https://link.zhihu.com/?target=https%3A//developers.google.cn/machine-learning/glossary/%3Fhl%3Dzh-CN%23activation_function
[Link 7]: https://link.zhihu.com/?target=https%3A//developers.google.cn/machine-learning/glossary/%3Fhl%3Dzh-CN%23graph
[Link 8]: https://link.zhihu.com/?target=https%3A//developers.google.cn/machine-learning/glossary/%3Fhl%3Dzh-CN%23scaling
[Link 9]: https://link.zhihu.com/?target=https%3A//developers.google.cn/machine-learning/glossary/%3Fhl%3Dzh-CN%23feature
[Link 10]: https://link.zhihu.com/?target=https%3A//developers.google.cn/machine-learning/glossary/%3Fhl%3Dzh-CN%23categorical_data
[Link 11]: https://link.zhihu.com/?target=https%3A//developers.google.cn/machine-learning/glossary/%3Fhl%3Dzh-CN%23continuous_feature
[Link 12]: https://link.zhihu.com/?target=http%3A//www.numpy.org/
[Pandas]: https://link.zhihu.com/?target=https%3A//developers.google.cn/machine-learning/glossary/%3Fhl%3Dzh-CN%23pandas
[Link 13]: https://link.zhihu.com/?target=https%3A//developers.google.cn/machine-learning/glossary/%3Fhl%3Dzh-CN%23prediction
[Link 14]: https://link.zhihu.com/?target=https%3A//developers.google.cn/machine-learning/glossary/%3Fhl%3Dzh-CN%23online_inference
[Link 15]: https://link.zhihu.com/?target=https%3A//developers.google.cn/machine-learning/glossary/%3Fhl%3Dzh-CN%23few-shot_learning
[Link 16]: https://link.zhihu.com/?target=https%3A//developers.google.cn/machine-learning/glossary/%3Fhl%3Dzh-CN%23offline_inference
[Link 17]: https://link.zhihu.com/?target=https%3A//developers.google.cn/machine-learning/glossary/%3Fhl%3Dzh-CN%23tensor
[Link 18]: https://link.zhihu.com/?target=https%3A//developers.google.cn/machine-learning/glossary/%3Fhl%3Dzh-CN%23gradient_descent
[tf.train.Optimizer]: https://link.zhihu.com/?target=https%3A//tensorflow.google.cn/api_docs/python/tf/train/Optimizer%3Fhl%3Dzh-CN
[Link 19]: https://link.zhihu.com/?target=https%3A//developers.google.cn/machine-learning/glossary/%3Fhl%3Dzh-CN%23training_set
[Link 20]: https://link.zhihu.com/?target=https%3A//tensorflow.google.cn/api_docs/python/tf/train/MomentumOptimizer%3Fhl%3Dzh-CN
[AdaGrad]: https://link.zhihu.com/?target=https%3A//tensorflow.google.cn/api_docs/python/tf/train/AdagradOptimizer%3Fhl%3Dzh-CN
[Adam]: https://link.zhihu.com/?target=https%3A//tensorflow.google.cn/api_docs/python/tf/train/AdamOptimizer%3Fhl%3Dzh-CN
[Ftrl]: https://link.zhihu.com/?target=https%3A//tensorflow.google.cn/api_docs/python/tf/train/FtrlOptimizer%3Fhl%3Dzh-CN
[Proximal]: https://link.zhihu.com/?target=https%3A//tensorflow.google.cn/api_docs/python/tf/train/ProximalGradientDescentOptimizer%3Fhl%3Dzh-CN
[NN]: https://link.zhihu.com/?target=https%3A//arxiv.org/abs/1606.04474
[Link 21]: https://link.zhihu.com/?target=https%3A//developers.google.cn/machine-learning/glossary/%3Fhl%3Dzh-CN%23weight
[Pandas 1]: https://link.zhihu.com/?target=http%3A//pandas.pydata.org/
[Link 22]: https://link.zhihu.com/?target=https%3A//developers.google.cn/machine-learning/glossary/%3Fhl%3Dzh-CN%23hyperparameter
[Link 23]: https://link.zhihu.com/?target=https%3A//developers.google.cn/machine-learning/glossary/%3Fhl%3Dzh-CN%23parameter
[Link 24]: https://link.zhihu.com/?target=https%3A//developers.google.cn/machine-learning/glossary/%3Fhl%3Dzh-CN%23Parameter_Server
[Link 25]: https://link.zhihu.com/?target=https%3A//developers.google.cn/machine-learning/glossary/%3Fhl%3Dzh-CN%23model
[Link 26]: https://link.zhihu.com/?target=https%3A//developers.google.cn/machine-learning/glossary/%3Fhl%3Dzh-CN%23cross-entropy
[Link 27]: https://link.zhihu.com/?target=https%3A//developers.google.cn/machine-learning/glossary/%3Fhl%3Dzh-CN%23convolutional_layer
[882dd6fe297e78c81a8352199ce67cd7.png]: /images/20221014/03578dd76ba64f69935ceb60357f1e9f.png
[Link 28]: https://link.zhihu.com/?target=https%3A//developers.google.cn/machine-learning/glossary/%3Fhl%3Dzh-CN%23stride
[fc4dc85b93138af5578cb51c0f965630.png]: /images/20221014/6cc2c656fbd84794a22053ac96010625.png
[Link 29]: https://link.zhihu.com/?target=https%3A//developers.google.cn/machine-learning/glossary/%3Fhl%3Dzh-CN%23translational_invariance
[Link 30]: https://link.zhihu.com/?target=https%3A//developers.google.cn/machine-learning/glossary/%3Fhl%3Dzh-CN%23negative_class
[Link 31]: https://link.zhihu.com/?target=https%3A//developers.google.cn/machine-learning/glossary/%3Fhl%3Dzh-CN%23classification_model
[Link 32]: https://link.zhihu.com/?target=https%3A//developers.google.cn/machine-learning/glossary/%3Fhl%3Dzh-CN%23example
[Link 33]: https://link.zhihu.com/?target=https%3A//developers.google.cn/machine-learning/glossary/%3Fhl%3Dzh-CN%23label
[Estimator]: https://link.zhihu.com/?target=https%3A//developers.google.cn/machine-learning/glossary/%3Fhl%3Dzh-CN%23Estimator
[Link 34]: https://link.zhihu.com/?target=https%3A//tensorflow.google.cn/extend/estimators%3Fhl%3Dzh-CN
[Link 35]: https://link.zhihu.com/?target=https%3A//developers.google.cn/machine-learning/glossary/%3Fhl%3Dzh-CN%23embeddings
[https_developers.google.cn_machine-learning_glossary_hl_zh-CN_L2_regularization]: https://link.zhihu.com/?target=https%3A//developers.google.cn/machine-learning/glossary/%3Fhl%3Dzh-CN%23L2_regularization
[Link 36]: https://link.zhihu.com/?target=https%3A//developers.google.cn/machine-learning/glossary/%3Fhl%3Dzh-CN%23Operation
[Link 37]: https://link.zhihu.com/?target=https%3A//developers.google.cn/machine-learning/glossary/%3Fhl%3Dzh-CN%23overfitting
[https_developers.google.cn_machine-learning_glossary_hl_zh-CN_L1_regularization]: https://link.zhihu.com/?target=https%3A//developers.google.cn/machine-learning/glossary/%3Fhl%3Dzh-CN%23L1_regularization
[Link 38]: https://link.zhihu.com/?target=https%3A//developers.google.cn/machine-learning/glossary/%3Fhl%3Dzh-CN%23dropout_regularization
[Link 39]: https://link.zhihu.com/?target=https%3A//developers.google.cn/machine-learning/glossary/%3Fhl%3Dzh-CN%23early_stopping
[Link 40]: https://link.zhihu.com/?target=https%3A//developers.google.cn/machine-learning/glossary/%3Fhl%3Dzh-CN%23loss
[Link 41]: https://link.zhihu.com/?target=https%3A//developers.google.cn/machine-learning/glossary/%3Fhl%3Dzh-CN%23accuracy
[Link 42]: https://link.zhihu.com/?target=https%3A//developers.google.cn/machine-learning/glossary/%3Fhl%3Dzh-CN%23classification_threshold
[Link 43]: https://link.zhihu.com/?target=https%3A//developers.google.cn/machine-learning/glossary/%3Fhl%3Dzh-CN%23TP_rate
[Link 44]: https://link.zhihu.com/?target=https%3A//developers.google.cn/machine-learning/glossary/%3Fhl%3Dzh-CN%23FP_rate
[Link 45]: https://link.zhihu.com/?target=https%3A//developers.google.cn/machine-learning/glossary/%3Fhl%3Dzh-CN%23AUC
[Link 46]: https://link.zhihu.com/?target=https%3A//developers.google.cn/machine-learning/glossary/%3Fhl%3Dzh-CN%23MSE
[Link 47]: https://link.zhihu.com/?target=https%3A//developers.google.cn/machine-learning/glossary/%3Fhl%3Dzh-CN%23size_invariance
[Link 48]: https://link.zhihu.com/?target=https%3A//tensorflow.google.cn/programmers_guide/saved_model%3Fhl%3Dzh-CN
[TensorFlow]: https://link.zhihu.com/?target=https%3A//tensorflow.google.cn/api_docs/python/tf/train/Saver%3Fhl%3Dzh-CN
[Link 49]: https://link.zhihu.com/?target=https%3A//developers.google.cn/machine-learning/glossary/%3Fhl%3Dzh-CN%23feature_engineering
[Link 50]: https://link.zhihu.com/?target=https%3A//developers.google.cn/machine-learning/glossary/%3Fhl%3Dzh-CN%23normalization
[www.scikit-learn.org]: https://link.zhihu.com/?target=http%3A//www.scikit-learn.org/
[Link 51]: https://link.zhihu.com/?target=https%3A//developers.google.cn/machine-learning/glossary/%3Fhl%3Dzh-CN%23logistic_regression
[Link 52]: https://link.zhihu.com/?target=https%3A//developers.google.cn/machine-learning/glossary/%3Fhl%3Dzh-CN%23rotational_invariance
[Link 53]: https://link.zhihu.com/?target=https%3A//developers.google.cn/machine-learning/glossary/%3Fhl%3Dzh-CN%23multi-class
[Link 54]: https://link.zhihu.com/?target=https%3A//developers.google.cn/machine-learning/glossary/%3Fhl%3Dzh-CN%23candidate_sampling
[Link 55]: https://link.zhihu.com/?target=https%3A//developers.google.cn/machine-learning/glossary/%3Fhl%3Dzh-CN%23dense_feature
[Link 56]: https://link.zhihu.com/?target=https%3A//developers.google.cn/machine-learning/glossary/%3Fhl%3Dzh-CN%23representation
[51defc33dad6e91fda0941d644889e2c.png]: /images/20221014/91e66b96f0004ff28c249b3cbc368062.png
[Link 57]: https://link.zhihu.com/?target=https%3A//developers.google.cn/machine-learning/glossary/%3Fhl%3Dzh-CN%23pooling
[Link 58]: https://link.zhihu.com/?target=https%3A//developers.google.cn/machine-learning/glossary/%3Fhl%3Dzh-CN%23hinge-loss
[Link 59]: https://link.zhihu.com/?target=https%3A//developers.google.cn/machine-learning/glossary/%3Fhl%3Dzh-CN%23linear_regression
[https_developers.google.cn_machine-learning_glossary_hl_zh-CN_L1_loss]: https://link.zhihu.com/?target=https%3A//developers.google.cn/machine-learning/glossary/%3Fhl%3Dzh-CN%23L1_loss
[Link 60]: https://link.zhihu.com/?target=https%3A//developers.google.cn/machine-learning/glossary/%3Fhl%3Dzh-CN%23batch
[Link 61]: https://link.zhihu.com/?target=https%3A//developers.google.cn/machine-learning/glossary/%3Fhl%3Dzh-CN%23learning_rate
[http_www.svms.org_srm]: https://link.zhihu.com/?target=http%3A//www.svms.org/srm/
[Link 62]: https://link.zhihu.com/?target=https%3A//developers.google.cn/machine-learning/glossary/%3Fhl%3Dzh-CN%23ERM
[07f2d12c022f93e44205565fc8b016ea.png]: /images/20221014/b740c9166fca421f95bb7a6d1ebd19ba.png
[Link 63]: https://link.zhihu.com/?target=https%3A//developers.google.cn/machine-learning/glossary/%3Fhl%3Dzh-CN%23step
[Link 64]: https://link.zhihu.com/?target=https%3A//developers.google.cn/machine-learning/glossary/%3Fhl%3Dzh-CN%23unsupervised_machine_learning
[Link 65]: https://link.zhihu.com/?target=https%3A//developers.google.cn/machine-learning/glossary/%3Fhl%3Dzh-CN%23bucketing
[Link 66]: https://link.zhihu.com/?target=https%3A//developers.google.cn/machine-learning/glossary/%3Fhl%3Dzh-CN%23feature_cross
[Link 67]: https://link.zhihu.com/?target=https%3A//developers.google.cn/machine-learning/glossary/%3Fhl%3Dzh-CN%23rank
[Link 68]: https://link.zhihu.com/?target=https%3A//developers.google.cn/machine-learning/glossary/%3Fhl%3Dzh-CN%23hyperparameters
[http_playground.tensorflow.org]: https://link.zhihu.com/?target=http%3A//playground.tensorflow.org/%3Fhl%3Dzh-CN
[Link 69]: https://link.zhihu.com/?target=https%3A//developers.google.cn/machine-learning/glossary/%3Fhl%3Dzh-CN%23validation_set
[Link 70]: https://link.zhihu.com/?target=https%3A//developers.google.cn/protocol-buffers/%3Fhl%3Dzh-CN
[Link 71]: https://link.zhihu.com/?target=https%3A//developers.google.cn/machine-learning/glossary/%3Fhl%3Dzh-CN%23temporal_data
[Link 72]: https://link.zhihu.com/?target=https%3A//developers.google.cn/machine-learning/glossary/%3Fhl%3Dzh-CN%23test_set
[Link 73]: https://link.zhihu.com/?target=https%3A//developers.google.cn/machine-learning/glossary/%3Fhl%3Dzh-CN%23deep_model
[Link 74]: https://link.zhihu.com/?target=https%3A//developers.google.cn/machine-learning/glossary/%3Fhl%3Dzh-CN%23recall
[ROC]: https://link.zhihu.com/?target=https%3A//developers.google.cn/machine-learning/glossary/%3Fhl%3Dzh-CN%23ROC
[Link 75]: https://link.zhihu.com/?target=https%3A//developers.google.cn/machine-learning/glossary/%3Fhl%3Dzh-CN%23inference
[Link 76]: https://link.zhihu.com/?target=https%3A//developers.google.cn/machine-learning/glossary/%3Fhl%3Dzh-CN%23semi-supervised_learning
[_PCA]: https://link.zhihu.com/?target=https%3A//en.wikipedia.org/wiki/Principal_component_analysis
[Link 77]: https://link.zhihu.com/?target=https%3A//developers.google.cn/machine-learning/glossary/%3Fhl%3Dzh-CN%23supervised_machine_learning
[Link 78]: https://link.zhihu.com/?target=https%3A//developers.google.cn/machine-learning/glossary/%3Fhl%3Dzh-CN%23sparse_features