前言:

前面分享了一篇《繼SE,CBAM后的一種新的注意力機(jī)制Coordinate Attention》,其出發(fā)點(diǎn)在于SE只引入了通道注意力,CBAM的空間注意力只考慮了局部區(qū)域的信息,從而提出考慮全局空間信息的注意力機(jī)制。

在本文,將介紹另一個(gè)基于同樣出發(fā)點(diǎn)的注意力模塊,即Pyramid Split Attention (PSA)。PSA具備即插即用、輕量、簡(jiǎn)單高效的特點(diǎn)。該模塊與ResNet結(jié)合,通過(guò)PSA替代ResNet的bottleneck中的3x3卷積,組成了EPSANet。

EPSANet用于圖像識(shí)別,比SENet top-1acc高了1．93%。PSA用在Mask RCNN上,目標(biāo)檢測(cè)高了2．7 box AP,實(shí)例分割高了1．7 mask AP。

更多內(nèi)容請(qǐng)關(guān)注公眾號(hào)CV技術(shù)指南,專注于計(jì)算機(jī)視覺(jué)的技術(shù)總結(jié),最新技術(shù)跟蹤。

本文出發(fā)點(diǎn)

1． SE僅僅考慮了通道注意力,忽略了空間注意力。

2． BAM和CBAM考慮了通道注意力和空間注意力,但仍存在兩個(gè)最重要的缺點(diǎn):(1)沒(méi)有捕獲不同尺度的空間信息來(lái)豐富特征空間。(2)空間注意力僅僅考慮了局部區(qū)域的信息,而無(wú)法建立遠(yuǎn)距離的依賴。

3． 后續(xù)出現(xiàn)的PyConv,Res2Net和HS-ResNet都用于解決CBAM的這兩個(gè)缺點(diǎn),但計(jì)算量太大。

基于以上三點(diǎn)分析,本文提出了Pyramid Split Attention。

PSA

主要操作:將input tensor從通道上分成S組。每一組進(jìn)行不同卷積核大小的卷積,以獲取不同尺度的感受野,提取不同尺度的信息。再通過(guò)SE模塊,提取每組的通道的加權(quán)值,最后對(duì)S組的加權(quán)值進(jìn)行softmax歸一化并加權(quán)。

具體將input tensor分成S組,并對(duì)每組進(jìn)行不同卷積的SPC模塊如下圖所示。

SPC先將input tensor分成S組,每組的卷積核大小依次增大,如k=3,5,7,9�？紤]到當(dāng)卷積核比較大時(shí),計(jì)算量也大,因此,對(duì)每一組再進(jìn)行分組卷積,具體分組數(shù)量G = exp(2,(k-1)/2),即2的(k-1)/2次冪。當(dāng)K = 3,5,7,9時(shí),G=1,2,3,4。

在經(jīng)過(guò)不同大小的卷積后,在通道上拼接。

經(jīng)過(guò)SPC模塊后,PSA再將SPC模塊的輸出通過(guò)SE Weight Module獲得通道注意力值,這樣做的目的是獲得不同尺度特征圖的注意力權(quán)值。

通過(guò)這樣的做法,PSA融合了不同尺度的上下文信息,并產(chǎn)生了更好的像素級(jí)注意力。

最后將每組通道注意力權(quán)值拼接,進(jìn)行softmax歸一化,對(duì)SPC模塊的輸出進(jìn)行加權(quán)。

完整的PSA模塊如下圖所示。

這里補(bǔ)充一下pyramid split attention中的pyramid。在《特征金字塔技術(shù)總結(jié)》中介紹了特征金字塔的兩種構(gòu)建方式,其中一種就是通過(guò)不同大小卷積核的卷積來(lái)構(gòu)建特征金字塔。因此,這里PSA中的Pyramid是由SPC模塊中的每組不同大小卷積核的卷積所構(gòu)建。

EPSANet

如上圖所示,將PSA替代ResNet的bottleneck中的3x3卷積,再堆疊幾個(gè)這樣的模塊就構(gòu)成了EPSANet,這里的E,指的是efficient。

網(wǎng)絡(luò)設(shè)計(jì)如下圖所示。

Conclusion

EPSANet用于圖像識(shí)別,比SENet top-1acc高了1．93%。PSA用在Mask RCNN上,目標(biāo)檢測(cè)高了2．7 box AP,實(shí)例分割高了1．7 mask AP。

以ResNet-50和ResNet-101為backbone,加入各種注意力模塊的圖像識(shí)別效果對(duì)比

更多內(nèi)容請(qǐng)關(guān)注公眾號(hào)CV技術(shù)指南,專注于計(jì)算機(jī)視覺(jué)的技術(shù)總結(jié),最新技術(shù)跟蹤。