深度学习：Feature-Base（特征提取）【语言模型的参数固定】、Fine-tuning（微调）【语言模型的参数不固定，依然是可训练的】

拼搏现实的明天。 2023-10-03 12:32 2阅读 0赞

发表评论取消回复

表情：

评论列表（有 0 条评论，2人围观）

还没有评论，来说两句吧...

相关阅读

相关大模型-DeltaTuning：①增量式（原模型参数不变，插入可微调参数层）、②指定式（原模型参数冻结一部分参数，微调一部分参数）、③重参数化式（将原模型参数层改造，比如插入低秩）

【随着模型增大，各方案区别不大】 ![9c2b5ab5be484724ab9f0f473db60f2c.png][] ![b71bc8fda98448d3866afd79

曾经终败给现在/ 2023年10月12日 13:07/ 0 赞/ 35 阅读

相关深度学习：Feature-Base（特征提取）【语言模型的参数固定】、Fine-tuning（微调）【语言模型的参数不固定，依然是可训练的】

Feature-Base（特征提取）： 1. 首先在big data A上训练语言模型，训练完毕得到语言模型（用作 embedding） 2. 然后构造task-spec

拼搏现实的明天。/ 2023年10月03日 12:32/ 0 赞/ 3 阅读

相关 PyTorch 更新模型参数以及并固定该部分参数(二)

简介在进行这部分时，会存在一些疑惑，针对以下疑惑进行解答。问题一：实际上在固定参数的时候，大家会有疑惑，既然使用这种方式固定冻结网络参数是否存在固定的高层网络，但是

喜欢ヅ旅行/ 2023年02月12日 06:27/ 0 赞/ 20 阅读

相关 PyTorch 更新模型参数以及并固定该部分参数(一)

1. PyTorch 预训练模型 `Pytorch` 提供了许多 `Pre-Trained Model on ImageNet`，仅需调用 `torchvision.mo

偏执的太偏执、/ 2023年02月12日 06:27/ 0 赞/ 13 阅读

相关 PyTorch：模型训练-模型参数parameters

[\-柚子皮-][-_-] 获取模型参数的不同方法 1、model.named\_parameters()，迭代打印model.named\_parameters()将

╰半橙微兮°/ 2022年12月16日 15:24/ 0 赞/ 242 阅读

相关【深度学习】keras框架使用预训练模型进行Finetune的应用

![在这里插入图片描述][resize_m_lfit_w_962_pic_center] 文章目录 1 概述 2 Keras 3 VGG16

矫情吗；*/ 2022年10月19日 15:59/ 0 赞/ 235 阅读

相关 PyTorch模型读写、参数初始化、Finetune

使用了一段时间PyTorch，感觉爱不释手（0-0），听说现在已经有C++接口。在应用过程中不可避免需要使用Finetune/参数初始化/模型加载等。模型保存/加载

悠悠/ 2022年09月11日 02:28/ 0 赞/ 258 阅读

相关 Java方法的不固定参数

public class People4 { //形参，入参，不固定参数 int speak(String name,int a

傷城~/ 2022年08月21日 06:38/ 0 赞/ 112 阅读

相关深度学习：语言模型的评估标准

http://[blog.csdn.net/pipisorry/article/details/78677580][blog.csdn.net_pipisorry_articl

女爷i/ 2022年06月04日 01:22/ 0 赞/ 265 阅读

相关 caffe使用预训练的模型finetune

首先明确预训练好的模型和自己的网络结构是有差异的，预训练模型的参数如何跟自己的网络匹配的呢：参考官网教程：http://caffe.berkeleyvision.org/g

分手后的思念是犯贱/ 2022年04月25日 06:14/ 0 赞/ 347 阅读