CV-掩码学习-模型-2021：MAE【在NLP和CV两大领域之间架起了一座更简便的桥梁】

超、凢脫俗 2023-09-25 14:04 8阅读 0赞

此文最大的贡献，可能是在NLP和CV两大领域之间架起了一座更简便的桥梁。

此前，大名鼎鼎的GPT和BERT已经将大型自然语言处理（NLP）模型的性能提升到了一个新的高度。

直观点讲，就是事先遮住一些文本片段，让AI模型通过自监督学习，通过海量语料库的预训练，逐步掌握上下文语境，把这些被遮住的片段，用尽可能合乎逻辑的方式填回去。

这和我们做「完形填空」的方式有些类似。经过海量数据的学习和训练，AI模型慢慢学会了自己生成自然文本。目前，随着GPT及其后续改进模型的不断进步，生成的自然文本几乎可以乱真。

现在，何恺明的这篇文章把NLP领域已被证明极其有效的方式，用在了计算机视觉（CV）领域，而且模型更简单。

我们注意到，图像和语言是不同性质的信号，必须认真处理这种差异。图像仅仅是记录下来的光，没有语义分解成视觉上类似的单词。我们没有尝试删除对象，而是删除了最有可能不会形成语义段的随机patches。同样，我们的MAE重建的像素不是语义实体。然而，我们观察到（如图4），我们的MAE推断出复杂的整体重建，表明它已经学习了许多视觉概念，即语义。我们假设这种行为是通过MAE内部丰富的隐藏表征产生的。我们希望这一观点将激励今后的工作。

[MAE：掩码自编码模型--CV无监督学习 - 巴蜀秀才 - 博客园][MAE_--CV_ - _ -]

[CV大神何恺明最新一作：视觉预训练新范式MAE！下个CV大模型要来][CV_MAE_CV]

[凯明大神新作MAE，又一次刷新我的认知了][MAE]

[\[CVPR2022\]MAE模型代码分析\_清欢年岁~的博客-CSDN博客\_mae模型][CVPR2022_MAE_-CSDN_mae]

[MAE_--CV_ - _ -]: https://www.cnblogs.com/dan-baishucaizi/p/16381126.html
[CV_MAE_CV]: https://baijiahao.baidu.com/s?id=1716332031006261511&wfr=spider&for=pc
[MAE]: http://www.360doc.com/content/21/1114/12/32196507_1004103266.shtml
[CVPR2022_MAE_-CSDN_mae]: https://blog.csdn.net/qq_41319370/article/details/124928973

发表评论取消回复

表情：

评论列表（有 0 条评论，8人围观）

还没有评论，来说两句吧...

相关阅读

相关 NLP-2015：Attention机制用于CV领域【Attention机制：Hard Attention、Soft Attention】

[《原始论文：Show, Attend and Tell: Neural Image Caption Generation with Visual Attention》][Sh

红太狼/ 2023年10月05日 19:21/ 0 赞/ 188 阅读

相关 CV-生成模型：概述

![9022a7c1ff6c48258c04ce472a4b1c57.png][] ![384834cdd7214461955e1da8acd3ab12.png][] ![

以你之姓@/ 2023年09月25日 14:07/ 0 赞/ 23 阅读

相关 CV-掩码学习-模型-2021：MAE【在NLP和CV两大领域之间架起了一座更简便的桥梁】

此文最大的贡献，可能是在NLP和CV两大领域之间架起了一座更简便的桥梁。此前，大名鼎鼎的GPT和BERT已经将大型自然语言处理（NLP）模型的性能提升到了一个新的高度。

超、凢脫俗/ 2023年09月25日 14:04/ 0 赞/ 9 阅读

相关 CV-对比学习-模型-2020：SimCLR

SimCLR：一个简单的视觉表示对比学习框架，不仅比以前的工作更出色，而且也更简单，既不需要专门的架构，也不需要储存库。提出了一个简单的视觉表示对比学习框架SimCLR。我

小灰灰/ 2023年09月25日 14:04/ 0 赞/ 44 阅读

相关 CV领域的对比学习综述

对比学习发展历程发展历程大概可以分为四个阶段 1、百花齐放 InstDisc（instance discrimination） CPC CMC

落日映苍穹つ/ 2023年09月25日 14:04/ 0 赞/ 142 阅读

相关 CV-掩码模型：MAE、SimMIM

MAE发布以来，各种使用掩码技术的自监督掩码模型在其基础之上有了更进一步的研究。在本文中我们将探索一篇和MAE同期的工作：SimMIM: A Simple Framework

傷城~/ 2023年09月25日 14:04/ 0 赞/ 38 阅读

相关 CV领域的注意力机制综述

注意力机制在卷积网络的优化中，以及被广泛的使用。下面介绍几种非常著名的，应用于特征提取网络的注意力机制。 SEnet(https://arxiv.org/abs/170

悠悠/ 2023年06月08日 15:57/ 0 赞/ 38 阅读

相关 CV领域的几大深度学习架构论文阅读

以下是在我研究Crowd Counting领域之前，阅读的CV领域几大的网络架构的论文。我个人认为，无论是在CV领域做什么方向的研究，在那之前，还是最好先了解CV领域的高级架构

末蓝、/ 2023年05月30日 09:10/ 0 赞/ 60 阅读

相关解决cv保存图片中文名称乱码 cv2.imwrite cv2.imencode

解决opencv保存图片中文名称乱码寮犱笁 ![在这里插入图片描述][20201106094127504.png_pic_center] 代码 i

秒速五厘米/ 2022年12月19日 08:39/ 0 赞/ 221 阅读

相关 CV领域中的Bert，了解一下？

> 点击上方“机器学习与生成对抗网络”，关注"星标 > > 获取有趣、好玩的前沿干货！转载：机器之心编辑：陈萍 > Facebook AI 用 10 亿张来自Ins

女爷i/ 2022年11月11日 14:46/ 0 赞/ 167 阅读