NumPyだけで本格的なMLPクラスを実装Ⅰ:誤差逆伝播法の理論&導出(決定版) 【Deep Learning アドベントカレンダー2020】 更新日:2021年2月21日 公開日:2020年12月6日 ブログ学習機械学習深層学習 本記事から数回は、本格的な多層パーセプトロン(MLP)クラスを機械学習ライブラリ(TensorFlow, Keras, PyTorchなど)を使用せずに、NumPyだけを使って実装していきたいと思います。今までは連想記憶 […] 続きを読む
深層信念ネットワーク(DBN)【Deep Learning アドベントカレンダー2020】 更新日:2021年2月13日 公開日:2020年12月5日 ブログ学習機械学習深層学習 本日は前回の制約ボルツマンマシンに引き続き、深層信念ネットワークについて説明していきたいと思います。 本記事の解説動画は以下です。 制約ボルツマンマシン(RBM)から深層ボルツマンマシン(DBM) 式の詳細については触れ […] 続きを読む
制約ボルツマンマシン(RBM) 【Deep Learning アドベントカレンダー2020】 更新日:2021年2月21日 公開日:2020年12月4日 ブログ学習機械学習深層学習 今回は、制約ボルツマンマシンについて説明していきたいと思います。今回説明する内容は、ボルツマンマシン(BM)から制約ボルツマンマシン(RBM)へ、コントラスティブ・ダイバージェンス(CD)法、制約ボルツマンマシンが使用さ […] 続きを読む
ボルツマンマシン 【Deep Learning アドベントカレンダー2020】(仮投稿) 更新日:2021年2月21日 公開日:2020年12月3日 ブログ学習機械学習深層学習 Deep Learning アドベントカレンダー3日目の記事では、ボルツマンマシンを扱いたいと思います。ボルツマンマシンは、前回扱ったホップフィールドネットワークを拡張したもので、深層学習の原点でもあるので、しっかりと学 […] 続きを読む
ホップフィールドネットワーク 【Deep Learning アドベントカレンダー2020】 更新日:2021年2月21日 公開日:2020年12月2日 ブログ学習機械学習深層学習 Deep Learning アドベントカレンダー2日目の記事では、現在の深層学習の基礎となる人工ニューラルネットワーク(Artificial Neural Network:ANN)のホップフィールドネットワーク(Hopf […] 続きを読む
Word2VecとEmbedding層について考察してみた 更新日:2021年2月13日 公開日:2020年8月12日 ブログ学習機械学習深層学習 Word2VecやEmbedding層について自身の理解が曖昧だったので、学習がてら自身の考察を示しながらまとめました。 分散表現 名前など物理的な計測が不可能な記号集合をベクトルに対応付けたものを分散表現(distri […] 続きを読む
1次元畳み込みニューラルネットワークでMNISTの時系列処理 更新日:2021年2月13日 公開日:2020年8月7日 ブログ学習機械学習深層学習 畳み込みニューラルネットワークと聞いて、画像処理を真っ先に思いつくのが普通だと思います。でも、実は別の分野でも大きな成果を出しています。今回扱う1次元畳み込みニューラルネットワークは自然言語処理などの時系列情報を認識する […] 続きを読む
Depthwise畳み込みとPointwise畳み込みについて 更新日:2021年2月13日 公開日:2020年7月24日 ブログ学習機械学習深層学習 今回は、Depthwise畳み込みとPointwise畳み込みについて学んだことをまとめてみました。そもそも畳み込みや畳み込みニューラルネットワークって何??という方は、以下のリンクの記事で詳しく説明していますので、そち […] 続きを読む
局所応答正規化(LRN)とは-CNNを使用してLRNありなしを比較してみた 更新日:2021年2月13日 公開日:2020年7月24日 ブログ学習機械学習深層学習 今回は、畳み込みニューラルネットワークの汎化性能向上で使用されるテクニックである局所応答正規化(Local Response Normalization;LRN)について勉強したのでまとめました。 動画でもまとめているの […] 続きを読む
畳み込みニューラルネットワークの理論とPyTorchによるLeNetの実装 更新日:2021年2月21日 公開日:2020年7月19日 ブログ学習機械学習深層学習 当記事では畳み込みニューラルネットワーク(Convolutional Neural Network;CNN)の基本的な理論とPyTochを使った実装について解説していきます。 おおまかな構成は、畳み込みニューラルネットワ […] 続きを読む