Global Average Pooling とは

概要

CNN

GAPは前の層の、各特徴マップの出力を平均したものを出力する。
2番目の畳み込み層が64チャンネル × (7×7)の出力していて、最後のGAP層はその出力を受け取っている。GAPは、前の畳み込み層の出力(7×7)の平均をとることによって、1次元、64チャンネルに圧縮している。最終的には10クラスの分類結果を出力している。

メリット

• 訓練が必要なパラメータを大幅に削減することができる。仮に、最後の層を全結合層だとすると、(7×7×64)の畳み込み層の出力と、500ノードの全結合層では156万個のパラメータを学習しなければいけなくなる。
• パラメータの削減は過学習のリスクを低減する効果がある。
• 特徴マップがクラスカテゴリと「似る」ことによってそれぞれの特徴マップがカテゴリごとの confidence map のように捉えることができる
• GAPの特徴量の平均化の処理によって、モデルが spatial translation に対してよりロバストになる。

参考元

adventuresinmachinelearning.com