ReLU関数

ReLU（Rectified Linear Unit）関数とは、活性化関数の一種。ReLU関数は、以下の式で表される。

　y = max(0, x)

　ここで、xは入力信号、yは出力信号である。

　ReLU関数は、非常に単純な形をしており、ニューラルネットワークの学習を容易にするためによく使用される。また、ReLU関数は、比較的安定して勾配が0になることが少ないため、勾配消失問題が発生しにくいとされている。

　ReLU関数の派生系としては、Leaky ReLU関数やPReLU関数がある。Leaky ReLU関数は、xが0以下の場合でも出力信号が0ではなく、負の値を出力するように改良されたものである。PReLU関数は、Leaky ReLU関数と同様ですが、負の値を出力する係数を学習させることができるため、より一般的な用途に適している。