BBAug数据增强: 用于PyTorch检测框

「爱情、让人受尽委屈。」 2022-10-11 13:56 49阅读 0赞

点击上方“**机器学习与生成对抗网络**”，关注星标

获取有趣、好玩的前沿干货！

> 作者：Harpal Sahota 编译：ronghuaiyang AI公园

**导读**

实现了Google Research，Brain Team中的增强策略。

![1b71805dca926c672b7ae969930b4bf4.png][]

像许多神经网络模型一样，目标检测模型在训练大量数据时效果最好。通常情况下，可用的数据有限，世界各地的许多研究人员正在研究增强策略，以增加可用的数据量。谷歌的大脑团队进行了一项这样的研究，并发表在了一篇论文中，名为Learning Data Augmentation Strategies for Object Detection。在这篇论文中，作者确定了一组增强称为策略，它对目标检测问题表现良好。该策略通过增强搜索获得，提高了通用模型的性能。

作者将增强策略定义为一组子策略。在模型进行训练时，随机选择其中一个子策略用于增强图像。在每个子策略中都有要依次应用于图像的增强。每个转换也有两个超参数：概率和幅度。概率表示该增强将被应用的可能性，而幅度表示该增强的程度。下面的代码显示了本文中使用的策略：

policy = [      
      [('TranslateX_BBox', 0.6, 4), ('Equalize', 0.8, 10)],        
      [('TranslateY_Only_BBoxes', 0.2, 2), ('Cutout', 0.8, 8)],     
      [('Sharpness', 0.0, 8), ('ShearX_BBox', 0.4, 0)],      
      [('ShearY_BBox', 1.0, 2), ('TranslateY_Only_BBoxes', 0.6, 6)], 
      [('Rotate_BBox', 0.6, 10), ('Color', 1.0, 6)],
    ]

在这个策略中有5个子策略，如果我们取第一个子策略，它就包含了*TranslateX\_BBox*和*Equalize*增强。*TranslateX\_BBox*操作在x轴上转换图像的幅度为4。在本例中，大小并不直接转换为像素，而是根据大小缩放为像素值。该增强的概率也为0.6，这意味着如果该增强被选中，则应用该增强的概率为60%。随着每个增强都有一个相关的概率，引入了一个随机的概念，给训练增加了一定程度的随机性。总的来说，Brain Team已经提出了4个策略: v0, v1, v2和v3。本文中显示了v0策略，其他三个策略包含更多的子策略，这些子策略具有几种不同的转换。总的来说，增加分为三类，作者定义为：

> **颜色操作**: 扭曲颜色通道，不影响边界框的位置。
> 
> **几何操作**：几何扭曲图像，这相应地改变了边界框的位置和大小。
> 
> **包围框操作**：只会扭曲包围框中包含的像素内容。

# BBAug #

那么BBAug)在这方面有什么贡献呢？BBAug是一个python包，它实现了谷歌Brain Team的所有策略。这个包是一个包装器，可以更容易地使用这些策略。实际的扩展是由优秀的imgaug包完成的。

上面显示的策略应用于一个示例图像，如下所示。每一行是一个不同的子策略，每一列是该子策略的不同运行。

![1a9a52c5781203ac00ef780d7f3a6ca8.png][]

![674024ce364f80579ef41550363298cb.png][]

![bcb6117bbcf928ed55657a77216e3421.png][]

![bd0d67cc3b1ab6981ddbd60862461866.png][]

![5762f60744c2d8f72a3e62761e5562c7.png][]

正如你所看到的，在子策略的运行之间有一定程度的变化，因此给训练增加了一定程度的随机性。这只是BBAug实施的4个策略之一。要查看所有4个策略的完整可视化，请查看包的GitHub页面：https://github.com/harpalsahota/bbaug。该包还提供了一些有用的功能，比如定制策略的可能性，以及位于图像外部的边界框，如果它们部分位于图像外部，则会被自动删除或剪切。例如，在下面的图像中，应用了平移增强，将边界框部分推到图像外部。你可以看到新的边界框已经缩小以适应这一点。

![caf623599cf4ce9b222b0bbf1fa418e8.png][]

也可以创建只影响边界框区域的增强。在下图中，solarisaugmentation只应用于边界框区域：

![35eefda9c839416a168b69baaddc2955.png][]

用随机策略增加单个图像有多容易？就像这样简单:

from bbaug import policies
    
    # select policy v0 set
    aug_policy = policies.policies_v0()
     
    # instantiate the policy container with the selected policy set
    policy_container = policies.PolicyContainer(aug_policy)
    
    # select a random policy from the policy set
    random_policy = policy_container.select_random_policy() 
    
    # Apply the augmentation. Returns the augmented image and bounding boxes.
    # Image is a numpy array of the image
    # Bounding boxes is a list of list of bounding boxes in pixels (int).
    # e.g. [[x_min, y_min, x_man, y_max], [x_min, y_min, x_man, y_max]]
    # Labels are the class labels for the bounding boxes as an iterable of ints e.g. [1,0]
    img_aug, bbs_aug = policy_container.apply_augmentation(random_policy, image, bounding_boxes, labels)
    # image_aug: numpy array of the augmented image
    # bbs_aug: numpy array of augmneted bounding boxes in format: [[label, x_min, y_min, x_man, y_max],...]

## 总结 ##

该包实现了谷歌Brain Team推导出的增强策略。目前，已经实现了所有4个策略，该包还附带了notebooks，以帮助用户将这些策略集成到他们的PyTorch训练pipeline中。

![f9d743a401f4d7c405d7e0f4504194d7.png][]

—END—

英文原文：https://towardsdatascience.com/bbaug-a-package-for-bounding-box-augmentation-in-pytorch-e9b9fbf1504b

**猜您喜欢：**

[**超100篇！CVPR 2020最全GAN论文梳理汇总！**][100_CVPR 2020_GAN]

[拆解组新的GAN：解耦表征MixNMatch][GAN_MixNMatch]

[StarGAN第2版：多域多样性图像生成][StarGAN_2]

[附下载 | 《可解释的机器学习》中文版][Link 1]

[附下载 |《TensorFlow 2.0 深度学习算法实战》][_TensorFlow 2.0]

[附下载 |《计算机视觉中的数学方法》分享][Link 2]

[《基于深度学习的表面缺陷检测方法综述》][Link 3]

[《零样本图像分类综述: 十年进展》][Link 4]

[《基于深度神经网络的少样本学习综述》][Link 5]

![a4296ba397fd1ab4a65559c18e24a2de.png][]

[1b71805dca926c672b7ae969930b4bf4.png]: /images/20221005/b552dda85231410ea0abc4c4dece9247.png
[1a9a52c5781203ac00ef780d7f3a6ca8.png]: /images/20221005/c60d7f017bec4ab1ae2385607a76ab25.png
[674024ce364f80579ef41550363298cb.png]: /images/20221005/72b273b520ea428cabf2ba2465799c99.png
[bcb6117bbcf928ed55657a77216e3421.png]: /images/20221005/4affdc06428a41598c82933d3f173e90.png
[bd0d67cc3b1ab6981ddbd60862461866.png]: /images/20221005/d4f5d4abd28242a7a194bd0215605389.png
[5762f60744c2d8f72a3e62761e5562c7.png]: /images/20221005/122d77b833964eecbf3756ec7ac9d61e.png
[caf623599cf4ce9b222b0bbf1fa418e8.png]: /images/20221005/366cd207a82d4c83adc8653b9c58abfb.png
[35eefda9c839416a168b69baaddc2955.png]: /images/20221005/bc7cb1e8ba9142f9b8ce9172ee223f34.png
[f9d743a401f4d7c405d7e0f4504194d7.png]: /images/20221005/5d74b5abb6a3440e931bb05b7be3af5c.png
[100_CVPR 2020_GAN]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a94cc95e205ae880cb9518cb16a54c0abde69e5a8654f7fedf70a0cc990775265bf28a1c&idx=1&mid=2247486455&scene=21&sn=94156f53845cdf07e859e343862be745#wechat_redirect
[GAN_MixNMatch]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29aaa9c95e23bf3131249a8d008ce3acdff7c52c7f6be84d92c6d607ca804b5ceb2a4222e3&idx=1&mid=2247485458&scene=21&sn=9f562c1de84dada67268f88c72ff77ff#wechat_redirect
[StarGAN_2]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29ab6ec95e22785abb2afbb2e2b1c95780a4d6bfceeb915118440b41a81769a8776dcc62b7&idx=1&mid=2247485909&scene=21&sn=048d1336b8083bac3755e27a1f968d06#wechat_redirect
[Link 1]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a4bac95e2dac758c4aac10a3aac49eb062bc0829d4ef2ebc8e6d5069d246385c5084a2b4&idx=1&mid=2247484929&scene=21&sn=523220858287ed3e6105919703c8e833#wechat_redirect
[_TensorFlow 2.0]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a5b0c95e2ca6599d4a91d5d40900566b7525de3dd85259e7a6c173aa26aa7ea3641d1aaf&idx=2&mid=2247485195&scene=21&sn=e3387067db29d1759755c6c2ea96c870#wechat_redirect
[Link 2]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29aa8fc95e23993e057fb0dbe09f2810ea07184a439c173f404a7ab657cadcde3d24efa52a&idx=2&mid=2247485492&scene=21&sn=c4fb135de02cd52f06bc61b0e79476e4#wechat_redirect
[Link 3]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29aa8fc95e2399a93dae3af3b13626643b18cf42842d1a7ada0de46486fa8b865aa2421d2f&idx=1&mid=2247485492&scene=21&sn=6f8af433521b5fee5aceab62e0111115#wechat_redirect
[Link 4]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a44fc95e2d597fc88ca7f10cae079f821deedb6f93b10f0985aa8f6f7c06e369d716f785&idx=1&mid=2247485172&scene=21&sn=f65b58ed3b4c1d09163271069dce4738#wechat_redirect
[Link 5]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a7e6c95e2ef0a6649c0c904fa28b61b4ac76774df4acdce8fff3a909369c7c2f8d22a4b5&idx=1&mid=2247484765&scene=21&sn=b1b9a9ef6c923abad6cf38364105264c#wechat_redirect
[a4296ba397fd1ab4a65559c18e24a2de.png]: /images/20221005/4b538af71ff944899aa06685dfd41db1.png