哪里可以学习到Attention模型的发展?

继续咱们的“网络结构1000变”板块,最近上新的内容主要是Attention机制相关的网络结构,即网络如何选择真正感兴趣的区域进行处理,下面是一个代表,更多请移步知识星球网络结构1000变板块。

CBAM

哪里可以学习到Attention模型的发展?

以前介绍过的Dynamic Capacity Network,Perforated CNNs是从空间维度进行Attention,SENet是从通道维度进行Attention,而CBAM(

Convolutional Block Attention Module)则是同时从空间维度和通道维度进行Attention。

通道方向的Attention通过通道内的空间关系获取,原理如下:

哪里可以学习到Attention模型的发展?

同时使用最大pooling和均值pooling算法,然后经过几个MLP层获得变换结果,最后分别应用于两个通道,使用Sigmoid函数得到通道的Attention结果。

空间方向的Attention通过通道之间的空间关系获取,原理如下:

哪里可以学习到Attention模型的发展?

首先将通道本身进行降维,分别获取最大池化和均值池化结果,然后拼接,再使用一个卷积层进行学习。

这两种机制,分别学习了“怎么看”,“以及看什么”,这样的两个模块可以很容易地嵌入到任何已知的框架中。

哪里可以学习到Attention模型的发展?

上表展示了将这个方法用于不同模型后的结果,可知道该模型和SENet性能相当,都显著提升了baseline的性能,尤其是较深的ResNet50和ResNet101。

哪里可以学习到Attention模型的发展?

金亿云课堂 金亿云课堂

海哥副业(金亿云课堂的旗下博客)是一家创业点子副业项目分享平台,在这里提供互联网引流技术、创业项目、网络营销、和实操案例分享,需要副业学习那就到海哥副业会,学推广,找项目,就来海哥副业会!

金亿云课堂 35000+课程在线学习,大量课程每天更新,所以请务必加微信公众号!

据说扫下这个二维码的,一个月都可以赚几万块!试试就知道哦

  

版权声明:本站部分文章来源或改编自互联网及其他公众平台,主要目的在于分享信息,版权归原作者所有,内容仅供读者参考,如有侵权请联系我们,如若转载,请注明出处:https://www.gd200.com/2091.html

发表评论

邮箱地址不会被公开。 必填项已用*标注