model.train()和model.eval()，以及model.eval()和torch.no_grad（）区别

朴灿烈づ我的快乐病毒、 2022-11-12 02:51 174阅读 0赞

[参考博文][Link 1]  
1.模型实例化以后：  
训练时要用torch.train（），测试时要用torch.eval()

2.model.train()  
**启用Batch Normalization和Dropout。**  
model.train()可以保证BN层能够用到**每一批**数据的均值和方差。对于Dropout,model.train()可以随机选取一部分网络连接来更新参数。

mode.eval()  
**不启用Batch Normalization 和Dropout**  
测试时添加model.eval()，保证BN层能用到**全部**数据的均值和方差，即测试过程中要保证BN层的均值和方差不变，同时，训练时，利用到了所有网络连接，即不舍弃神经元，所以没有用到Dropout。

在进行测试时，model（test）之前，需要加上model.eval()。否则的话，有输入数据，集是不训练，也会改变权值。

**补充：model.eval()和torch.no\_grad()的区别**  
在PyTorch中进行validation/test时，会使用model.eval()切换到测试模式，在该模式下：

1.主要用于通知dropout层和BN层在train和validation/test模式间切换：

（1）在train模式下，dropout网络层会按照设定的参数p设置保留激活单元的概率（保留概率=p); BN层会继续计算数据的mean和var等参数并更新。

（2）在eval模式下，dropout层会让所有的激活单元都通过，而BN层会停止计算和更新mean和var，直接使用在训练阶段已经学出的mean和var值。

2.该模式不会影响各层的gradient计算行为，即gradient计算和存储与training模式一样，只是不进行反向传播（back probagation)。

而with torch.no\_grad()则主要是用于停止autograd模块的工作，以起到加速和节省显存的作用。它的作用是将该with语句包裹起来的部分停止梯度的更新，从而节省了GPU算力和显存，但是并不会影响dropout和BN层的行为。

如果不在意显存大小和计算时间的话，仅仅使用model.eval()已足够得到正确的validation/test的结果；而with torch.no\_grad()则是更进一步加速和节省gpu空间（因为不用计算和存储梯度），从而可以更快计算，也可以跑更大的batch来测试。

[Link 1]: https://blog.csdn.net/qq_38410428/article/details/101102075

发表评论取消回复

表情：

评论列表（有 0 条评论，174人围观）

还没有评论，来说两句吧...

相关阅读

相关 java中“|“和“||“以及“&“和“&&“的区别

1.|和||的区别（1）用法：condition 1 | condition 2、condition 1 || condition 2 （2）逻辑或运算符（|）：先

本是古典何须时尚/ 2024年04月08日 11:56/ 0 赞/ 84 阅读

相关 java中*和**的作用以及 /和/*和/**的区别

一、java中\和\\的作用 "\"就表示了所有的文件，但是“\”并不包括子目录下的文件； "\\"匹配包含任意级子目录中所有的文件；二、Java中/和/\和/\\的区

傷城~/ 2023年10月07日 23:28/ 0 赞/ 13 阅读

相关 MySQL运算符 != 和＜＞以及 = 和＜=＞的区别

你知道的越多，不知道的就越多，业余的像一棵小草！你来，我们一起精进！你不来，我和你的竞争对手一起精进！编辑：业余草 blog.csdn.net/qq\_

比眉伴天荒/ 2023年01月17日 04:44/ 0 赞/ 186 阅读

相关 @SpyBean 和 @MockBean 区别，以及@Spy 和 @Mock的区别

[@SpyBean 和 @MockBean 区别，以及@Spy 和 @Mock的区别][SpyBean _ _MockBean _Spy _ _Mock] [SpyBean

分手后的思念是犯贱/ 2022年12月01日 14:14/ 0 赞/ 213 阅读

相关 Bagging和Boosting概念以及区别

[Bagging和Boosting 概念及区别][Bagging_Boosting] 　　Bagging和Boosting都是将已有的分类或回归算法通过一定方式组合起来，

àì夳堔傛蜴生んèń/ 2022年06月04日 00:48/ 0 赞/ 184 阅读

相关 slfj 和lg4j 区别以及logback 和logging配置区别

基本介绍每一个Java程序员都知道日志对于任何一个Java应用程序尤其是服务端程序是至关重要的，而很多程序员也已经熟悉各种不同的日志库，如java.util.logg

女爷i/ 2022年05月20日 01:51/ 0 赞/ 200 阅读

相关 '=='和equals区别以及jvm内存分配

"=="和equals方法究竟有什么区别？比较之前先了解一些背景 (1)Java中内存分配模型 java的内存模型主要分三种，栈：每个栈中的数据(原始类型和对象

墨蓝/ 2022年04月22日 11:38/ 0 赞/ 205 阅读

相关 Mybatis #和$区别以及原理

总结： 1. \\{ \}可以防止Sql 注入，它会将所有传入的参数作为一个字符串来处理。 2. $ \{\} 则将传入的参数拼接到Sql上去执行，一般用于表名和字段

「爱情、让人受尽委屈。」/ 2022年01月21日 22:27/ 0 赞/ 218 阅读

相关 synchronized和lock以及synchronized和volatile的区别

synchronized和volatile区别 synochronizd和volatile关键字区别： 1. volatile关键字解决的是变量在多个线程之间的可见性；

一时失言乱红尘/ 2021年10月19日 05:32/ 0 赞/ 389 阅读

相关 java中“”和null的区别以及==和equals的区别

首先先说一下null 和 “” 的区别： String str1 = null; String str2 = ""; s...

朱雀/ 2020年10月18日 07:25/ 0 赞/ 1041 阅读