细粒度论文笔记《Webly Supervised Learning Meets Zero-Shot Learning: A Hybrid Approach for FGVC 》

妖狐艹你老母 2024-02-19 14:50 3阅读 0赞

L. Liu, A. Veeraraghavan, A. Sabharwal. Webly Supervised Learning Meets Zero-Shot Learning: A Hybrid Approach for Fine-Grained Classification. In CVPR, 2018.

针对目前细粒度分类的两个问题：1，细粒度的标注信息的获取需要很高的专业领域知识；2，属于同一个大的类别的子类通常非常多（比如鸟类中，世界上有14000种鸟），详尽地收集所有鸟类的训练数据几乎不可能。

由于为细粒度分类收集训练数据异常困难，注定会有很多子类没有对应的训练数据。对于某些种类缺乏训练数据的情况，现有的研究工作主要集中于以下两个领域：第一，收集弱监督数据，也就是标签不准确的数据，比如从网络上获取免费但标签有噪音的数据 (webly supervised learning)；第二，借助类别的语义信息，把知识从有标注数据的种类转移到没有标注数据的种类，比如零示例学习 (zero-shot learning)。但上述两个领域的研究都有各自的缺陷。具体来说，基于网络数据学习会受到标签噪音以及网络训练数据和测试数据之间分布差异问题的影响，而零示例学习性能不佳且忽视了大量免费可用的网络数据。

作者的方法是将基于网络数据学习和零示例学习结合起来用来做细粒度分类。

做法如下：先选取一部分子类进行人工标注，然后为剩余的子类从网上下载图片。为了描述方便，把人工标注的子类称为标注子类，把利用网络图片的子类称为网络子类。标注子类和网络子类构成了所有的子类。之前提到了网络数据有标签噪音和数据分布差异的问题，而人工标注的子类没有这两个问题。为了解决基于网络数据学习的两个问题，作者借助于类别的语义信息，将知识从标注子类转移到网络子类。作者使用从免费的维基文本中学到的词向量作为语义信息。

方法的流程图如下，给定一个大类，首先为标注子类收集人工标注的精确数据，为剩余的网络子类从网络上下载图片，然后获取所有子类的词向量。借助词向量建立起标注子类和网络子类之间的联系，将知识从标注子类迁移到网络子类，用来解决网络子类存在的标签噪音和数据分布差异问题。同时，在训练阶段也使用无标签的测试图片，用来减小网络训练图片和测试图片在数据分布上的差异。学习模型把所有子类的词向量以及标注子类、网络子类和测试图片的视觉特征作为输入，输出测试图片的种类。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3pzeDE3MTMzNjYyNDk_size_16_color_FFFFFF_t_70][]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3pzeDE3MTMzNjYyNDk_size_16_color_FFFFFF_t_70]: https://image.dandelioncloud.cn/pgy_files/images/2024/01/29/d0479f30143e434c85c422d783e88179.png