RNNの課題は勾配消失問題 層が深くなると 過去の情報が伝わらなくなる 長い時系列データの 学習が困難 解決策はゲート機構の導入 ゲート機構は情報の 取捨選択を行う仕組み CECは記憶を保持する 中心的な部分 CECの役割は 勾配を1に保つこと 過去の情報をそのまま 伝え勾配消失を防ぐ CECは活性化関数を 通さず記憶が減衰しない ゲートはCECを囲み 情報の通す通さないを制御 ゲートはすべて シグモイド関数を用いる 入力ゲートは新しい情報を CECに入れるか 出力ゲートはCECの情報を 次の時刻へ出すか 忘却ゲートは過去の 不要な記憶を消すか判断 LSTMは 入力 出力 忘却の3ゲート GRUはLSTMを 簡素化したモデル GRUはパラメータ数が 少なく計算量が少ない GRUはCECを持たない GRUは隠れ層の 状態のみで記憶を扱う リセットゲートは 過去の隠れ層の状態を どれだけ無視するか 更新ゲートは入力と忘却を 担いどう更新するか GRUのゲートは2個 リセットゲートと更新ゲート LSTMは3個 入力 出力 忘却ゲート
