CNNの勉強(Ⅲ)-ネオコグニトロンから畳み込みニューラルネットワークへ

畳み込みニューラルネットワークの説明に入る前にネオコグニトロンの学習方法のadd-if-silentについて説明したかったのですが、ネットで調べても資料が少なく、私が間違った解釈をしてブログに投稿してしまうことを避けるため、触れないでおきます。第三回では、「ネオコグニトロンから畳み込みニューラルネットワークへ」を説明していきたいと思います。

前回の記事は

です。

ネオコグニトロンと畳み込みニューラルネットワーク

図1 ネオコグニトロン

ネオコグニトロンはUg層でコントラスト抽出(エッジを検出しやすくするためにエッジ強調を行っている)を行い、Us層で特徴抽出、Uc層で位置ずれの許容をします。視覚野において特徴抽出は単純型細胞、位置ずれの許容は複雑型細胞が行っていることを第1回目に説明しました。Ugは最初のみですが、UsとUcは階層的に繰り返されます。繰り返すにつれて、画像データから配列に近づいていきます。

図2 畳み込みニューラルネットワーク

畳み込みニューラルネットワークでは、Ug層、Us層を畳み込み層、Uc層をプーリング層として実現させます。畳み込み層とプーリング層が階層的に繰り返される過程で、分類に必要な特徴量が抽出されていき、最後に全結合層(一般的なニューラルネットワーク)により、所望の出力層ニューロンに反応が対応するよう写像されます。プーリング層では平均プーリングや最大プーリングなどがありますが、最大プーリングが最もよく使用されます。複雑型細胞が任意の反応が受容野内で起こるかぎり反応を示すことを考慮すると、プーリング処理として最も強い特徴量を残す最大プーリングを使用することは理にかなっているといえます。

ネオコグニトロンと畳み込みニューラルネットワークの違い

ネオコグニトロンと畳み込みニューラルネットワークの主な違いは学習方法です。詳しく触れませんが、ネオコグニトロンではAdd-if Silentという学習手法がとられます。一方で、畳み込みニューラルネットワークでは一般的なニューラルネットワークと同様で誤差関数による勾配降下法と誤差逆伝播により畳み込みフィルターの重みと全結合層の重みが学習されます。

次の記事は

です。

Follow me!

CNNの勉強(Ⅲ)-ネオコグニトロンから畳み込みニューラルネットワークへ” に対して1件のコメントがあります。

この投稿はコメントできません。