活性化関数

こちらの記事では全結合ニューラルネットワークについて紹介した際に、各ニューロンでは受け取った入力に対して活性化関数を適用した値を出力することを学びました。
本記事では、ニューラルネットワークで使用される活性化関数の種類について列挙します。

キーワード

  • 活性化関数 (activation function)
  • ステップ関数 (step function)
  • ランプ関数 / ReLU (Rectified Linear Unit)
  • シグモイド関数 (sigmoid function)
  • ソフトサイン関数 (softsign functionr)
  • ソフトプラス関数 (softplus function)
  • 恒等関数 (identity function)
  • tanh (hyperbolic function)

続きを読む