活性化関数の可視化

neuralnetwork

活性化関数の可視化

非線形

Sigmoid関数(標準Sigmoid関数)

\displaystyle f(x) = \frac{1}{1+e^{-x}}

f:id:storikai:20190128003541p:plain
SigmoidFunction

Tanh関数

\displaystyle f(x) = \tanh(x)

f:id:storikai:20190128003637p:plain
TanhFunction

ReLU関数

f:id:storikai:20190128003719p:plain
ReLUFunction

活性化関数の比較

f:id:storikai:20190128003754p:plain
ActivationFunction
Sigmoid関数は、他のものと比較すると、変化が緩やかとなっている。

0付近の拡大

f:id:storikai:20190128003823p:plain
ActivationFunction_Zoom