\documentclass[10pt, dvipdfmx, xcolor=dvipsnames, notheorems]{beamer}
\usepackage[hang,footnotesize,bf]{caption}
\usepackage[subrefformat=parens]{subcaption}
\captionsetup{compatibility=false}
\usepackage{amssymb,amsmath,ascmac}
\usepackage{caption}
\usepackage{amsthm}
\usepackage{graphicx}
\usepackage{bm}
\usepackage[absolute,overlay]{textpos}
\captionsetup{labelformat=simple}
% \newcommand{\bi}[1]{\ensuremath{\boldsymbol{#1}}} 
\renewcommand{\figurename}{図}
\usepackage{comment}
\usetheme{Berkeley}
\useinnertheme{default}
\usecolortheme{dolphin}
\usefonttheme{professionalfonts}
\theoremstyle{definition}
\newtheorem{theorem}{Theorem}
\newtheorem{definition}{Definition}
\newtheorem{proposition}{Proposition}
\newtheorem{lemma}{Lemma}
\newtheorem{corollary}{Corollary}
\newtheorem{conjecture}{Conjecture}
\newtheorem*{remark}{Remark}
\renewcommand{\proofname}{}
\renewcommand{\figurename}{図}
\renewcommand{\tablename}{表}
\usepackage{tasks}

\logo{\includegraphics[angle=0, scale=0.087]{./Figure/rogo.png}}

\title[] %タイトル
{\Large \textbf{協調フィルタリングにおけるメタラーニン\\グの適用による疎なデータからの学習と不\\確実性の推論}}

\author[] %著者
{\normalsize \textbf{}
\\[10mm]}

\institute[] % 
{\normalsize \textbf{島崎　圭介}
\\[3mm]
\textbf{富山県立大学　情報システム工学科}
\\[5mm]}

\date %日付
{\normalsize \textbf{2024年 4月26日}}

\setbeamertemplate{headline}{}
\definecolor{secinhead}{RGB}{249,196,95}
\definecolor{titlebg}{RGB}{173,172,224}
\setbeamercolor{secsubsec}{fg=white,bg=titlebg}
\setbeamertemplate{headline}
{
  \leavevmode
  \insertlogo
  \hbox{
  \begin{beamercolorbox}[wd=141.6ex,ht=20.35ex,dp=0ex]{secsubsec}
    \hspace*{54em}
    {\sffamily\small\color{black}\insertframenumber/\inserttotalframenumber
}
    \hspace*{0em}
    
        \hspace*{0em}
  \end{beamercolorbox}
  }
}
\setbeamertemplate{footline}{}
\setbeamertemplate{navigation symbols}{} 
\usepackage{amsmath,amssymb}
\begin{document}
\begin{frame}
  \titlepage
  \begin{textblock*}{0.4\linewidth}(260pt, 50pt)
    \centering
  \end{textblock*}
\end{frame}


% /*
%  *  2枚目
%  */

\section{\textbf{はじめに}}
\begin{frame}[t]

\frametitle{\textbf{はじめに}}
\begin{scriptsize}

\normalsize

\vspace{-2mm}

\begin{block}{\textbf{はじめに}}
\setbeamertemplate{items}[square]

\quad 近年、あらゆる方面での推薦システムの研究が広く行われている，中でも代表的なアプローチとして協調フィルタリングが用いられている．\\

\quad しかし，これらの手法には二つの欠点が大きくあげられる．\\

\quad \textbf{第一に}過去の履歴のデータが豊富に利用できる場合には有効だが，まったく新しいアイテムやまったくの新規ユーザといった高度に疎なデータの場合に性能が極端に減少する．\\
\quad \textbf{第二に}不確実性のモデリング．現実世界への応用を考える際，予測結果の出力のみではなく，その予測の確信度も含めてモデリングすることが重要である．

%\begin{center}
%\includegraphics[width=5cm]{./figure/HPB.png}\\
%https://human-probe.info/
%\end{center}

\end{block}

\begin{alertblock}{\textbf{本研究の目的}}
\setbeamertemplate{items}[square]
\quad 本研究では、メタラーニングの派生手法であるNerural Processe-\\s(NP)の学習の枠組みを協調フィルタリングに応用し，上記の問題の解決を図る．
\end{alertblock}

\begin{flushright}
\end{flushright}
\end{scriptsize}
\end{frame}

\begin{frame}[t]

\frametitle{\textbf{Top-N 推薦}}

\vspace{-3mm}

\begin{block}{\textbf{背景知識}}
\setbeamertemplate{items}[square]
\quad 先行研究に基づき，M人のユーザとN個のアイテムからインタラクション行列$Y \in \mathbb{R}^{M\times N}$をユーザーのフィードバック，例えばクリックや視聴，収集，購買の履歴から構築する．
\vspace{-2mm}
\begin{equation}
y_{ui}=
  \left\{
    \begin{tabular}{l}
      １，フィードバックが観測された場合\\
      0，それ以外
    \end{tabular}
  \right.
\end{equation}
\quad $y_{ui}$にベルヌーイ分布を仮定し，確率的にモデリングすることでランキングを構築する．
\vspace{-4mm}
\begin{eqnarray}
P(y_{ui}=k\|p_{ui})=
\left\{
    \begin{array}{l}
     1-p_{ui},\quad k=0\\
     p_{ui},\quad k=1
    \end{array}
\right.
\end{eqnarray}
\quad $p_{ui}$は$y_{ui}=1$となる確率を意味する．どれだけuがiとマッチするかの確信度としても解釈することができる．$p_{ui}$が1に近いということは高い確信度でマッチすると予測している．
\end{block}
\end{frame}

\begin{frame}[t]

\frametitle{\textbf{Top-N 推薦}}

\begin{scriptsize}

\normalsize
\begin{block}{\textbf{Neural Processes}}
\setbeamertemplate{items}[square]

\quad NPはfew-shot学習などを行うメタラーニングの手法の一つである．
未知の確率過程$f:\mathcal{X} \rightarrow \mathcal{Y}$由来のいくつかの観測が与えられた際，NPは条件付き表現$r$に基づき$f$の観測値を推論するように学習を行う．\\
\quad $n$個データが観測された際，$m$個の文脈データ$C=(x_j,y_j)_{i=1}^m$と$n-m$個の目標データ$T=(x_j,y_j)_{j=m+1}^n$に分けられる．
\vspace{-3mm}
\begin{equation}
r_i = h_\theta(x_i,y_i), \quad \forall(x_i,y_i)\in C
\end{equation}
\begin{equation}
r = r_1\oplus r_2\oplus ...r_{m-1}\oplus r_m
\end{equation}
\begin{equation}
\phi = g_\theta(x_j,r), \quad \forall(x_j)\in T
\end{equation}
\quad 最初にエンコーダー$h_{\theta}$を持ち千絵文脈データの集合を条件付き表現$r_i$に変換する．続いて$r_i$を順列非依存な集約計算などを用いて固定長な表現であるrへ集約を行う．最終的にデコーダー$g_{\theta}$を用いて予測分布の推論を目標点に対して行う．
\end{block}

\end{scriptsize}
\end{frame}

\section{\textbf{提案手法}}
\begin{frame}[t]

\vspace{-2mm}

\frametitle{\textbf{提案手法}}

\begin{block}{\textbf{全体の流れ}}
\setbeamertemplate{items}[square]

\quad 行列における未観測の要素の予測というタスクは画像補完タスクの事例に近い部分がある．本研究では，推論を行う目的$y_{ui}$に対して，対応する同行，同列における観測されている点のみを文脈データの候補として用いる．\\
\begin{description}
\item[$y_{u*}$]ユーザーuと対応する行ベクトル\\
\item[$y_{*i}$]ユーザーiと対応する列ベクトル\\
\end{description}
\quad 目的とする$y_{ui}$に対し，$y_{u*}$と$y_{*i}$のうち観測された点を確率的に任意の数サンプリングし，文脈点として用いる．\\
\quad 本研究ではこの仮定のことをMetaCFサンプリングと呼ぶ．
\vspace{1mm}
		\begin{columns}
	\begin{column}{.48\textwidth}
\begin{equation}
p_u \sim Uniform(0,1)
\end{equation}
\begin{equation}
m_{u*} \sim Bernoulli(p_u)
\end{equation}
\begin{equation}
y^{\prime}_{u*} = m_{u*} \odot y_{u*}
\end{equation}
	\end{column}
	\begin{column}{.48\textwidth}
\begin{equation}
r_u = h_\theta^U(y_{u*}^{\prime})
\end{equation}
\begin{equation}
r_i = h_\theta^I(y_{*i}^{\prime})
\end{equation}
\begin{equation}
\phi_{ui}=g_\theta(r_u,r_i)
\end{equation}
	\end{column}
		\end{columns}
%\begin{description}
%\setlength{\rightskip}{10mm}
%\item[問題点]\mbox{}\\
%文字と指の組み合わせを覚えるのにかなりの練習が必要．
%\end{description}
\end{block}

\end{frame}


\begin{frame}[t]

\frametitle{\textbf{提案手法}}

%\begin{scriptsize}

\normalsize

\vspace{-3mm}

\begin{block}{\textbf{ネットワーク機構}}
\setbeamertemplate{items}[square]
\quad 手法の有効性の検証として従来手法のCFNetに適応させることで有効性を確認する．\\
\quad 従来の深層学習を用いた手法は大きく２種類に大別される．\\
\textbf{一つ目は表現学習}\\
\quad 表現学習はDNNを用いて直接同空間内で類似度を図ることで推論を行うことを目的とする．本研究では提案手法MetaCFと組み合わせた表現学習ネットワークを\textbf{MetaCF-fl}と呼ぶ．\\
\textbf{二つ目はマッチング学習}\\
\quad マッチング学習ではDNNを用いてユーザとアイテムの表現の合成を複雑な関数で近似することで推論を行う．本研究では提案手法MetaCFと組み合わせたマッチング学習のネットワークを\textbf{MetaCF-ml}と呼ぶ．\\
\textbf{MetaCFNet}\\
\quad またMetaCF-rlとMetaCF-mlを組み合わせることで最終的な提案ネットワーク機構\textbf{MetaCFNet}となる．\\
\quad これらのネットワークに適用することで提案手法がネットワークの構造に依存しないことを確認する．
\vspace{-1mm}
\end{block}
\end{frame}

\section{\textbf{実験}}
\begin{frame}[t]

\frametitle{\textbf{実験設定}}

%\begin{scriptsize}

\normalsize

\vspace{-3mm}

\begin{block}{\textbf{データセット}}
\setbeamertemplate{items}[square]
\quad 一般公開されている4つのデータセットを用いる：MovieLens 1M(ml-1m)，LastFM(lastfm)，Amazon music(AMusic)，Amazon toys(AToys)\\
\quad ml-1mとlastfmは最低20個の履歴があるユーザのみが含まれるように加工されて公開している．一方でAMusicでは$59\%$のユーザが，AToyでは$49\%$のユーザが20より少ない履歴しかもっていない．後者二つはより疎なデータセットであるといえる．
\end{block}
\begin{block}{\textbf{評価}}
\setbeamertemplate{items}[square]
ランキングの評価には二つの代表的な指標Hit Ratio(HR)とNormalized Discouted Cumulative Gain(NDCG)を用いる．
\vspace{-2mm}
\begin{eqnarray}
HR@k=
\left\{
    \begin{array}{l}
     1,ifr_{test}(u,i)\in R_k\\
     0,\quad otherwise
    \end{array}
\right.
\end{eqnarray}
\vspace{-4mm}
\begin{equation}
NDCG@k = \frac{DCG@k}{IDCG@k}=\sum_{j=1}^k \frac{2^{r(u,j)}-1}{log(i+1)}
\end{equation}
\vspace{-3.5mm}
\end{block}
\end{frame}

\begin{frame}[t]

\frametitle{\textbf{実験結果}}

%\begin{scriptsize}

\normalsize

\vspace{-3mm}

\begin{block}{\textbf{実験結果}}
\setbeamertemplate{items}[square]
\begin{table}[t]
\caption{ベースライン手法との比較}
\label{sijiritu}
\center
\includegraphics[width=1\linewidth]{./figure/metacf.png}
\end{table}
\quad MetaCFNetはml-1mとlastfmにおいてはCFNetとほぼ同等の結果を示し，AMussicとAToyでは大きな性能の向上を示した．\\
\quad 後者はコールドユーザを含むという点において，疎なデータセットからの学習に強みを示している．
\end{block}
\end{frame}

\begin{frame}[t]

\frametitle{\textbf{不確実性の可視化と性能面の比較}}

%\begin{scriptsize}

\normalsize

\vspace{-3mm}

\begin{block}{\textbf{不確実性の評価}}
\setbeamertemplate{items}[square]
\quad $\phi$は確信度であり，不確実性の評価を二値エントロピー関数Hであらわす．
\vspace{-2mm}
\begin{equation}
H(\phi) = -\phi log_2\phi -(1-\phi)log_2(1-\phi)
\end{equation}
\vspace{-7mm}
\begin{figure}[h]
\includegraphics[width=0.5\linewidth]{./figure/entoro.png}
\caption{エントロピーのヒストグラム}
\end{figure}
\vspace{-4mm}
\quad 図よりCFNetはほとんど0か1に偏っているのに対し，MetaCFはより広範囲に広がっていることが確認できる．提案手法は明示的に不確実性をモデリングできているといえる手法である．
\end{block}
\end{frame}

\begin{frame}[t]

\frametitle{\textbf{まとめ}}
\begin{scriptsize}

\normalsize

\vspace{-3mm}

\begin{alertblock}{\textbf{まとめ}}
\setbeamertemplate{items}[square]

\begin{itemize}
\item{NPの学習の枠組みを推薦システムに拡張し，疎なデータでも効率的にまた不確実性をもって学習を行うMetaCFという学習方法を提案した．}
\item{近年提案されたCFNetにMetaCFを適用したMetaCFNetというネットワークを提案した．top-N推薦タスクにおいて，4つのデータセットにおいてきわめて大きな性能を示した．}
\item{実験的に過去履歴の少ないユーザやアイテムに対する推論には高い不確実性をもって出力を示していることを確認した．}
\end{itemize}
\end{alertblock}
\begin{block}{\textbf{清水さんの研究において}}
\setbeamertemplate{items}[square]
\quad この研究では，ベルヌーイ分布という観測（されるか，されないか）の2値をとる場合であったが，清水さんの研究では授業の成績の5段階の5つの値をとる，そこで解決案として，\textbf{カテゴリカル分布}というベルヌーイ分布を多次元に拡張した確率分布に置き換えることで適用できるかもしれない．
\end{block}
\end{scriptsize}
\end{frame}



\end{document}