NLP面试题总结.01

你的名字 2023-07-12 05:05 1阅读 0赞

**目录**

1. 什么perplexity？它在NLP中的地位是什么？

2. ReLu的问题是什么？

3. 使用SVD学习潜在特征和使用深度网络获取嵌入向量有什么区别？

4. LSTM的hidden和cell存储的信息时什么？

5. 带bias的LSTM模型的参数个数

6. LSTM的复杂度

7. transformer的时间复杂度

8. 为什么self-attention这么牛B？

9. Adam optimizer的局限性是什么？

10. AdamW和Adam有什么不同？

11. 在多任务学习中，软、硬参数共享的区别是什么？

12. BatchNorm和LayerNorm的区别？

13. 为什么transformer使用LayerNorm，而不是BatchNorm?

14. 如果你知道你的训练数据有错误，你会对你的深度学习代码做什么改变？

15. 在transformer中使用最多的层是哪一层？

16. 说一个不适用dropout的语言模型

17. GPT和BERT有什么不同？

18. Bert和ALBert v2有什么不同？

19. 如何减少训练好的神经网络模型的推理时间？

--------------------

对自己复盘的NLP做个总结：

### 1. 什么perplexity？它在NLP中的地位是什么？ ###

perplexity是一种表达模型在预测中出现的混乱程度的方法。熵越大=越混乱。使用perplexity来评估NLP中的语言模型。一个好的语言模型会给正确的预测赋予更高的概率。

### 2. ReLu的问题是什么？ ###

*  梯度爆炸（通过梯度裁剪来解决）
 *  死亡ReLu----激活为0时不进行学习（通过加参数的ReLu解决）
 *  激活值的均值和方差不是0和1.（通过从激活中减去0.5来部分解决这个问题）

### 3. 使用SVD学习潜在特征和使用深度网络获取嵌入向量有什么区别？ ###

SVD使用输入的线性组合，而设逆境网络使用非线性组合。

### 4. LSTM的hidden和cell存储的信息时什么？ ###

hidden存储到当前时间步的所有信息，cell存储将来的时间步中可能需要的特定信息。

### 5. 带bias的LSTM模型的参数个数 ###

4(mh+h\*\*2 +h)，其中m是输入向量的尺寸，h是输出向量的尺寸，hidden也是一样。

要注意的是mh中m>>h，因此重要的一点是需要使用小的词汇表。

### 6. LSTM的复杂度 ###

序列长度\*（hidden\*\*2）

### 7. transformer的时间复杂度 ###

(序列长度\*\*2)\*hidden，当hidden尺寸大于序列长度时（通常是这种情况），transformer速度比LSTM快。

### 8. 为什么self-attention这么牛B？ ###

在计算复杂性方面，当序列长度n小于表示维数d时，self-attention层速度比recurrent层要快，实际情况也是这样，同时可以在机器翻译中使用最先进的模型来进行句子的比较，比如word-piece和byte-pair表示。

### 9. Adam optimizer的局限性是什么？ ###

虽然使用Adam进行训练有助于快速收敛，但结果模型的泛化性能往往不如使用SGD进行动量训练时的泛化性能。另一个问题是，即使Adam有自适应学习率，当使用良好的学习率计划时，它的性能也会提高。特别是在训练的早期，使用低效的学习率来避免发散是有益的。这是因为在一开始，模型的权值是随机的，因此得到的梯度不是很可靠。如果学习率太大，可能会导致模型采取太大的步骤，而没有确定合适的权重。如果学习率太大，可能会导致模型采取太大的步骤（步长过大，容易跳过最优点），而没有确定合适的权重。

当模型克服了这些初始稳定性问题后，可以提高学习速度，加快收敛速度。这个过程被称为学习率热身。

### 10. AdamW和Adam有什么不同？ ###

AdamW是Adam在权重上使用了L2正则化，这样小的权重泛化性能更好。

### 11. 在多任务学习中，软、硬参数共享的区别是什么？ ###

在硬共享中，我们一次训练所有的任务，并根据所有的损失更新权重。在软共享中，我们一次只训练一个任务。

### 12. BatchNorm和LayerNorm的区别？ ###

BatchNorm----为每一个batch计算每一层的均值和方差

LayerNorm----独立计算每一层每一个样本的均值和方差

### 13. 为什么transformer使用LayerNorm，而不是BatchNorm? ###

![format_png][]

从LayerNorm的优点看，它对batch大小是健壮的，并且在样本级别而不是batch级别工作得更好。

### 14. 如果你知道你的训练数据有错误，你会对你的深度学习代码做什么改变？ ###

我们可以做标签平滑，其中的平滑值是基于百分误差。如果任何特定的类有已知的误差，我们还可以使用类权值来修正损失。

### 15. 在transformer中使用最多的层是哪一层？ ###

Dropout

### 16. 说一个不适用dropout的语言模型 ###

ALBert v2：ALBert中参数共享的正则化效果非常强，不需要dropout(ALBert v1中有dropout)

### 17. GPT和BERT有什么不同？ ###

![format_png 1][]

*  GPT不是双向的，没有masking概念
 *  Bert在训练中加入下一个句子预测任务，所以它有sengment嵌入

### 18. Bert和ALBert v2有什么不同？ ###

1.  ALBert中，嵌入矩阵分解（减少参数数量）
2.  ALBert中没有dropout
3.  ALBert中实现了参数共享（有助于减少参数数量并进行正则化）

### 19. 如何减少训练好的神经网络模型的推理时间？ ###

1.  在GPU/TPU/FPGA上进行服务
2.  16位量化，部署在支持fp16的GPU上提供服务
3.  剪枝以减少模型参数
4.  知识蒸馏（用于较小的transformer模型或简单的神经网络）
5.  采用分层softmax

[format_png]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9LWVNEVG1PVlp2cEFIRnZVSEZsaWJvSTZTNDFXQ2E0Rzk0NXNuaHVjRzhnWDA3eXRPQjRqUklrblRPRThZZVJWRWlhdjdUTW9KUmliZWM2Rk1NYXEwaWJYNncvNjQw?x-oss-process=image/format,png
[format_png 1]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X2pwZy9LWVNEVG1PVlp2cEFIRnZVSEZsaWJvSTZTNDFXQ2E0RzkxR2pTRGFLSWJnUjZlOUlPcG9sSFhrMEhtOVJRVzlDWU9yTmlhaWE4WmxjeVNoMFR6VnlUY0ppYUEvNjQw?x-oss-process=image/format,png