水上_backup/修士研究参考サイト/BERT
をテンプレートにして作成
[
トップ
] [
新規
|
一覧
|
検索
|
最終更新
|
ヘルプ
]
開始行:
[[水上/修士研究参考サイト]]
3.1 &br;
https://aisuite.jp/column/bert/ &br;
・''自然言語処理モデル（BERT）を利用した日本語の文章分類...
→bertの流れについて書いてある &br;
https://qiita.com/takubb/items/fd972f0ac3dba909c293 &br;&...
・''Twitterにおけるデータ分析''&br;
https://leadinge.co.jp/rd/2022/04/27/1888/ &br;
SHAPで2値分類結果を解釈する方法とプロットの種類 &br;
https://www.genspark.ai/spark/shap%E3%81%A72%E5%80%A4%E5%...
bertの事前学習、ファインチューニングについて &br;
https://deepsquare.jp/2020/09/bert/ &br;
* BERTとSHAPを用いた感情分析の流れ [#mf4a39da]
** 1. 入力データ [#u0b07fb8]
入力文を以下の形式で準備します。
- **例文**: 「この映画は素晴らしく、ストーリーも感動的だ...
- **トークナイズ処理**:
- トークナイザーを使用して文をトークン化。
- トークン列: `[CLS] この 映画 は 素晴らしく 、 ストー...
- ID列: `[101, 1234, 5678, 2345, 6789, 3456, 7890, 4567...
- **埋め込みベクトル**:
各トークンIDを、事前学習済みの埋め込み層で次元 \(d_{mod...
\[
X = [x_{[CLS]}, x_{\text{この}}, x_{\text{映画}}, \ldot...
\]
- \(X \in \mathbb{R}^{n \times d_{model}}\)（\(n\): ト...
---
** 2. Multi-Head Attentionの処理ステップ [#jb8e2f51]
*** (1) Query, Key, Valueの計算 [#ebb5d4dc]
埋め込みベクトル \(X\) から学習可能な重み行列 \(W_Q, W_K,...
\[
Q = XW_Q, \quad K = XW_K, \quad V = XW_V
\]
- **重み行列の次元**:
- \(W_Q, W_K, W_V \in \mathbb{R}^{d_{model} \times d_k}...
- **出力形状**:
- \(Q, K, V \in \mathbb{R}^{n \times d_k}\)
*** (2) 注意スコアの計算 [#u50ee9cf]
Query \(Q\) と Key \(K\) の内積を計算し、スコアを正規化し...
\[
\text{Attention}(Q, K, V) = \text{Softmax}\left(\frac{QK^...
\]
- \(\frac{QK^T}{\sqrt{d_k}} \in \mathbb{R}^{n \times n}\)...
- \(\text{Softmax}\): 各行を確率分布に変換。
- 出力形状: \( \text{Attention} \in \mathbb{R}^{n \times ...
*** (3) マルチヘッド処理 [#p39659d2]
複数のヘッドで並行して注意を計算し、結合後に線形変換 \(W_...
\[
\text{MultiHead}(Q, K, V) = \text{Concat}(\text{head}_1, ...
\]
- \(W_O \in \mathbb{R}^{h \cdot d_k \times d_{model}}\): ...
*** (4) 残差接続と正規化 [#wec5c56a]
Multi-Head Attentionの出力を入力 \(X\) に加算し、Layer No...
\[
\text{Output} = \text{LayerNorm}(X + \text{MultiHead}(Q, ...
\]
---
** 3. SHAPを用いた重要単語の可視化 [#w111340f]
*** (1) モデル出力 [#hbc60440]
最終的なモデル出力として、ポジティブとネガティブのスコア...
- 出力例: \([0.15, 0.85]\)（ポジティブの確率が0.85）
*** (2) SHAP値の計算 [#xcbb14d6]
SHAPを用いて各トークンの予測への寄与度を計算。
\[
\text{SHAP値} = [\text{SHAP}_{[CLS]}, \text{SHAP}_{\text{...
\]
- **例**:
- **「素晴らしく」**: \(+0.35\)
- **「感動的」**: \(+0.30\)
*** (3) 可視化 [#m44ea269]
重要度の高い単語を視覚的に表示。
ニューラルネットワークの基礎 &br;
https://tutorials.chainer.org/ja/13_Basics_of_Neural_Netw...
https://www.frontiersin.org/journals/psychology/articles/...
#memo(店のレビューにおけるクラスタごとのSHAPのbeeswarmプ...
#memo(beemswarmのプロットの条件\n\nBERTとSHAPを使ってレビ...
終了行:
[[水上/修士研究参考サイト]]
3.1 &br;
https://aisuite.jp/column/bert/ &br;
・''自然言語処理モデル（BERT）を利用した日本語の文章分類...
→bertの流れについて書いてある &br;
https://qiita.com/takubb/items/fd972f0ac3dba909c293 &br;&...
・''Twitterにおけるデータ分析''&br;
https://leadinge.co.jp/rd/2022/04/27/1888/ &br;
SHAPで2値分類結果を解釈する方法とプロットの種類 &br;
https://www.genspark.ai/spark/shap%E3%81%A72%E5%80%A4%E5%...
bertの事前学習、ファインチューニングについて &br;
https://deepsquare.jp/2020/09/bert/ &br;
* BERTとSHAPを用いた感情分析の流れ [#mf4a39da]
** 1. 入力データ [#u0b07fb8]
入力文を以下の形式で準備します。
- **例文**: 「この映画は素晴らしく、ストーリーも感動的だ...
- **トークナイズ処理**:
- トークナイザーを使用して文をトークン化。
- トークン列: `[CLS] この 映画 は 素晴らしく 、 ストー...
- ID列: `[101, 1234, 5678, 2345, 6789, 3456, 7890, 4567...
- **埋め込みベクトル**:
各トークンIDを、事前学習済みの埋め込み層で次元 \(d_{mod...
\[
X = [x_{[CLS]}, x_{\text{この}}, x_{\text{映画}}, \ldot...
\]
- \(X \in \mathbb{R}^{n \times d_{model}}\)（\(n\): ト...
---
** 2. Multi-Head Attentionの処理ステップ [#jb8e2f51]
*** (1) Query, Key, Valueの計算 [#ebb5d4dc]
埋め込みベクトル \(X\) から学習可能な重み行列 \(W_Q, W_K,...
\[
Q = XW_Q, \quad K = XW_K, \quad V = XW_V
\]
- **重み行列の次元**:
- \(W_Q, W_K, W_V \in \mathbb{R}^{d_{model} \times d_k}...
- **出力形状**:
- \(Q, K, V \in \mathbb{R}^{n \times d_k}\)
*** (2) 注意スコアの計算 [#u50ee9cf]
Query \(Q\) と Key \(K\) の内積を計算し、スコアを正規化し...
\[
\text{Attention}(Q, K, V) = \text{Softmax}\left(\frac{QK^...
\]
- \(\frac{QK^T}{\sqrt{d_k}} \in \mathbb{R}^{n \times n}\)...
- \(\text{Softmax}\): 各行を確率分布に変換。
- 出力形状: \( \text{Attention} \in \mathbb{R}^{n \times ...
*** (3) マルチヘッド処理 [#p39659d2]
複数のヘッドで並行して注意を計算し、結合後に線形変換 \(W_...
\[
\text{MultiHead}(Q, K, V) = \text{Concat}(\text{head}_1, ...
\]
- \(W_O \in \mathbb{R}^{h \cdot d_k \times d_{model}}\): ...
*** (4) 残差接続と正規化 [#wec5c56a]
Multi-Head Attentionの出力を入力 \(X\) に加算し、Layer No...
\[
\text{Output} = \text{LayerNorm}(X + \text{MultiHead}(Q, ...
\]
---
** 3. SHAPを用いた重要単語の可視化 [#w111340f]
*** (1) モデル出力 [#hbc60440]
最終的なモデル出力として、ポジティブとネガティブのスコア...
- 出力例: \([0.15, 0.85]\)（ポジティブの確率が0.85）
*** (2) SHAP値の計算 [#xcbb14d6]
SHAPを用いて各トークンの予測への寄与度を計算。
\[
\text{SHAP値} = [\text{SHAP}_{[CLS]}, \text{SHAP}_{\text{...
\]
- **例**:
- **「素晴らしく」**: \(+0.35\)
- **「感動的」**: \(+0.30\)
*** (3) 可視化 [#m44ea269]
重要度の高い単語を視覚的に表示。
ニューラルネットワークの基礎 &br;
https://tutorials.chainer.org/ja/13_Basics_of_Neural_Netw...
https://www.frontiersin.org/journals/psychology/articles/...
#memo(店のレビューにおけるクラスタごとのSHAPのbeeswarmプ...
#memo(beemswarmのプロットの条件\n\nBERTとSHAPを使ってレビ...
ページ名:
![[PukiWiki]](image/pukiwiki.png "[PukiWiki]")
