活性化関数は 層に非線形性入れる関数 活性化関数は表現力を高める Softmaxは 多クラスの確率分布出力 tanhは−1〜1 Sigmoidは0〜1 ReLUは0以上 出力層の多クラス分類は Softmax 二値出力ならSigmoid 隠れ層にはReLU系かtanh ReLU系は計算・微分が簡単 勾配消失は層が深くなるとき 勾配が極端に小さくなり 学習が進まない tanh・Sigmoidは 飽和で微分小さい ReLUはマイナスを切って 勾配消失起きにくい 勾配消失は 勾配が極端に小さくなる現象 緩和策はReLU系・ 重み初期化・バッチ正規化
