RNN関連テクニックまとめ の履歴(No.1)

• 履歴一覧
• 差分 を表示
• 現在との差分 を表示
• ソース を表示
• RNN関連テクニックまとめ へ行く。
  • 1 (2019-05-20 (月) 21:42:43)

小野田?

RNN関連 

• LSTM 記憶セルとゲートを用意することによって勾配消失を減らすRNN派生

• Attention 系列変換モデル(seq2seq)において入力系列情報をすべて利用して、且つ入力のどの部分が 出力単語jの決定において注視すべきかを入力単語群の重みを表すaを用いたコンテキストベクトルcで表現したモデル