SGDとバッチサイズに関する考察

前回”バッチサイズの影響が非常に大きそうだ”ということが分かったので、いったん整理して確認してみることにしました。

確認内容

他条件は同一にして、バッチサイズのみ変更して、その影響を確認する。
バッチサイズは、1、4、16、64、256、1024、4096とする。
最適化方式はSGDとする。

パターン1:バッチサイズ=4,096

学習率が1.0と大きいケースから収束を始めており、学習率が0.05以下の小さいケースでは収束が始まっていない。

“SGDとバッチサイズに関する考察” の続きを読む

ディープラーニング入門、最初のつまづき。とお勧め入門サイト

全くの初心者がディープラーニングの学習を始めて、最初につまづくのは次の点だと思います。

  1. 圧倒される数式群
  2. 理解できないチャート
  3. プログラミング言語(Python)
  4. 行列(テンソル)の操作

1.圧倒される数式群

殆どのサイトがディープラーニングの説明で、数式から入っていきます。

場合によってはコレだけでディープラーニングの世界に飛び込むのを躊躇してしまうかもしれません。

でも大丈夫!
数式なんて雰囲気さえわかれば十分なのです!
ディープラーニングの応用が目的ならば、スキップして先に進みましょう!

“ディープラーニング入門、最初のつまづき。とお勧め入門サイト” の続きを読む