RNN関連テクニックまとめ
をテンプレートにして作成
[
トップ
] [
新規
|
一覧
|
検索
|
最終更新
|
ヘルプ
]
開始行:
[[小野田]]
* RNN関連 [#y377c9e8]
** LSTM [#v1ff0cda]
記憶セルとゲートを用意することによって勾配消失を減らすRNN...
双方向にすることで精度があがることがある
** Attention [#x6f0540f]
可変長の入力系列を扱うためのLSTM拡張
系列変換モデル(seq2seq)において入力系列情報を隠れ状態hsと...
且つ入力のどの部分が出力単語jの決定において注視すべきかを...
hs * a = c
＊つまり各単語iの隠れ状態の結合ベクトルhsのどれを出力の決...
aの決め方としては以下がある
hs とデコーダーのj番目の単語の隠れ状態hjとの内積で重みベ...
s = hs * hj
a = softmax(s)
＊hsの各行のどれほどhjと似ているかを表している
** transformer [#rcab9965]
RNNの代わりにエンコーダーとデコーダーにself-Attentionを加...
RNNを使わない分、並列処理や計算量に優れる
そして精度も良いとされている？
** Copy Mechanism [#p18ae47e]
入力文に含まれる単語をそのまま利用することで、固有名詞や...
例：
通常
入力：あなたは富山県立大学出身ですか？
出力：はい、私は富山大学出身です。
メカニズム使用語
出力：はい、私は富山県立大学出身です。
詳しくは[[https://arxiv.org/abs/1603.06393]]
** NTM [#u395be59]
人間が外部記憶（メモ）を使うようにニューラルネットも外部...
長文の解釈に優れる
http://deeplearning.hatenablog.com/entry/memory_networks
** おまけ上のテクニックを組み合わせたGoogleの最強ネット [...
http://deeplearning.hatenablog.com/entry/gnmt
** 参考文献 [#ta93bce9]
[[https://www.anlp.jp/proceedings/annual_meeting/2019/pdf...
[[https://github.com/spro/practical-pytorch/blob/master/s...
終了行:
[[小野田]]
* RNN関連 [#y377c9e8]
** LSTM [#v1ff0cda]
記憶セルとゲートを用意することによって勾配消失を減らすRNN...
双方向にすることで精度があがることがある
** Attention [#x6f0540f]
可変長の入力系列を扱うためのLSTM拡張
系列変換モデル(seq2seq)において入力系列情報を隠れ状態hsと...
且つ入力のどの部分が出力単語jの決定において注視すべきかを...
hs * a = c
＊つまり各単語iの隠れ状態の結合ベクトルhsのどれを出力の決...
aの決め方としては以下がある
hs とデコーダーのj番目の単語の隠れ状態hjとの内積で重みベ...
s = hs * hj
a = softmax(s)
＊hsの各行のどれほどhjと似ているかを表している
** transformer [#rcab9965]
RNNの代わりにエンコーダーとデコーダーにself-Attentionを加...
RNNを使わない分、並列処理や計算量に優れる
そして精度も良いとされている？
** Copy Mechanism [#p18ae47e]
入力文に含まれる単語をそのまま利用することで、固有名詞や...
例：
通常
入力：あなたは富山県立大学出身ですか？
出力：はい、私は富山大学出身です。
メカニズム使用語
出力：はい、私は富山県立大学出身です。
詳しくは[[https://arxiv.org/abs/1603.06393]]
** NTM [#u395be59]
人間が外部記憶（メモ）を使うようにニューラルネットも外部...
長文の解釈に優れる
http://deeplearning.hatenablog.com/entry/memory_networks
** おまけ上のテクニックを組み合わせたGoogleの最強ネット [...
http://deeplearning.hatenablog.com/entry/gnmt
** 参考文献 [#ta93bce9]
[[https://www.anlp.jp/proceedings/annual_meeting/2019/pdf...
[[https://github.com/spro/practical-pytorch/blob/master/s...
ページ名:
![[PukiWiki]](image/pukiwiki.png "[PukiWiki]")
