%\title{LaTeX Portrait Poster Template}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
% a0poster Portrait Poster
% LaTeX Template
% Version 1.0 (22/06/13)
%
% The a0poster class was created by:
% Gerlinde Kettl and Matthias Weiser (tex@kettl.de)
% 
% This template has been downloaded from:
% http://www.LaTeXTemplates.com
%
% License:
% CC BY-NC-SA 3.0 (http://creativecommons.org/licenses/by-nc-sa/3.0/)
%
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

%----------------------------------------------------------------------------------------
%	PACKAGES AND OTHER DOCUMENT CONFIGURATIONS
%----------------------------------------------------------------------------------------

\documentclass[a1,portrait]{a0poster}

\usepackage{multicol} % This is so we can have multiple columns of text side-by-side
\columnsep=50pt % This is the amount of white space between the columns in the poster
\columnseprule=3pt % This is the thickness of the black line between the columns in the poster

\usepackage[svgnames]{xcolor} % Specify colors by their 'svgnames', for a full list of all colors available see here: http://www.latextemplates.com/svgnames-colors

\usepackage{times} % Use the times font
%\usepackage{palatino} % Uncomment to use the Palatino font

\usepackage[dvipdfmx]{graphicx}
\graphicspath{{figures/}} % Location of the graphics files
\usepackage{booktabs} % Top and bottom rules for table
\usepackage[font=small,labelfont=bf]{caption} % Required for specifying captions to tables and figures
\usepackage{amsfonts, amsmath, amsthm, amssymb} % For math fonts, symbols and environments
\usepackage{wrapfig} % Allows wrapping text around tables and figures
\usepackage{geometry} 
\geometry{left=15mm,right=15mm,top=15mm,bottom=15mm}
\renewcommand\labelenumi{{[\arabic{enumi}]}}

\begin{document}
%\begin{normalsize}
%\begin{footnotesize}
\begin{small}

%----------------------------------------------------------------------------------------
%	POSTER HEADER 
%----------------------------------------------------------------------------------------

% The header is divided into two boxes:
% The first is 75% wide and houses the title, subtitle, names, university/organization and contact information
% The second is 25% wide and houses a logo for your university/organization or a photo of you
% The widths of these boxes can be easily edited to accommodate your content as you see fit

\begin{minipage}[H]{0.23\linewidth}
\vspace{0cm}
\hspace{-1cm}
\includegraphics[width=11cm,height=6.5cm]{Figure/TPU_rogo2.png}
\end{minipage}
%\hspace{18cm}
\begin{minipage}[h]{0.9\linewidth}
\LARGE \color{MidnightBlue} \textbf{ターミナルアトラクタを組み込んだ複製・競合メカニズムによる \\
効率的な機械学習の構築
}

%\begin{flushright}
\color{Black}% Title
\vspace{5mm}
\hspace{120mm}
\Large \textbf{2120014}\hspace{5mm}
\Large \textbf{小澤翔太}\hspace{20mm} % Author(s)
\large \textbf{情報基盤工学講座}\hspace{8mm}
%\large \textbf{富山県立大学工学部　電子・情報工学科　情報基盤工学講座}\\[0.4cm]
\large \textbf{指導教員 奥原 浩之}
%\end{flushright}
%University/organization富山県立大学工学部電子・情報工学科
%富山県立大学工学部　電子・情報工学科　情報基盤工学講座

\end{minipage}
%\Huge\textit{Country Update}\\[2.4cm] % Subtitle

%\begin{minipage}[h]{0.2\linewidth}
%\includegraphics[width=10cm]{./Figure/class.JPG}\ 
%\includegraphics[width=14cm]{Figure/TPU_rogo.png}\\
%\end{minipage}

\vspace{-2mm} % A bit of extra whitespace between the header and poster content

%----------------------------------------------------------------------------------------

\begin{multicols}{3} % This is how many columns your poster will be broken into, a portrait poster is generally split into 2 columns

%----------------------------------------------------------------------------------------
%	ABSTRACT
%----------------------------------------------------------------------------------------

%\color{Navy} % Navy color for the abstract

%----------------------------------------------------------------------------------------
%	INTRODUCTION
%----------------------------------------------------------------------------------------
%\color{Black} % SaddleBrown color for the introduction

------------------------------
\vspace{5mm}
{\large{\bf {要約}}}
------------------------------
\bfseries {

動径基底関数ネットワーク（Radial Basis Function Network: RBFN）は，任意の非線形関数に対し，基底関数を足し合わせることで関数近似を効果的に行うことができるニューラルネットワークのうちの１つであり，様々な問題に適用されている．しかし，RBFNには冗長なニューロンの存在や，基底関数が不足していることによって関数近似ができない場合があるといった問題点がある．このような問題に対して，ニューロン間の競合や，基底関数の複製を考慮したRBFNが提案されている．本研究ではまず，提案されているRBFNの有効性を数値実験で確かめる．そして，機械学習の手法に組み込むことで従来のRBFNと比較し，有効であることの確認を目的とする．
\if0強化学習の学習アルゴリズムの一つであるQ学習に適用することで，従来のRBFNと比較して有効であることを確認する．\fi
}

%\begin{flushleft}
\bfseries{
キーワード：
\vspace{1mm}RBFN，シナプス可塑性方程式，基底関数の複製，機械学習，学習の高速化
}
%\end{flushleft}

\vspace{2mm}
------------------------
{\large{\bf {1\ \ はじめに}}}
------------------------
\bfseries {

関数近似問題やパターン識別に適したニューラルネットワークの１つにRBFNがある．RBFNは階層型ニューラルネットワークに比較してニューロンごとの局所的な学習が可能であるなどの優れた点をもつ．しかし，RBFNでは未知の非線形関数を近似するため，あらかじめ必要なニューロン数が不明であり冗長なニューロンを必要とする場合がある．一般に，ニューロンの増加は学習の遅延化や過学習の問題を生じることが知られている．

これらの問題を解決するために，適者生存型学習則に基づいたシナプス可塑性方程式を適用した，競合動径基底関数ネットワーク（Competitive RBFN: CRBFN）が提案されている[1]．CRBFNは，ニューロン間に競合を生じさせ，学習に必要なニューロンのみが自然に生き残るようになっており，冗長なニューロンの削減を図ることができる．しかし，CRBFNでは基底関数を追加する機能は備わっておらず，基底関数の数が足りない場合は関数近似自体が不可能となる．そこで，CRBFNに基底関数を複製して追加する機能を加えた，複製・競合動径基底関数ネットワーク(Reproductive CRBFN: RC-RBFN)が提案されている[2]．

本研究では，RC-RBFNが効率よく基底関数を削除あるいは追加するニューラルネットワークであることを示す．そして，機械学習における関数近似の手法としてRC-RBFNを組み込んだのち，従来のアルゴリズムの場合と比較して有効性を確認することを目的とする．
%強化学習の学習アルゴリズムの一つであるQ学習に適用することで，従来のRBFNと比較して有効性を確認する．
}

\vspace{2mm}
------
{\large{\bf {2\ \ 複製・競合を考慮した動径基底関数ネットワーク}}}
------

\vspace{5mm}
{\normalsize{\bf {2.1\ \ 競合動径基底関数ネットワーク}}}
\vspace{2mm}

\bfseries {

ニューラルネットワークは大きく分けて，素子であるニューロン，それらを結合するシナプス，そして動作規則により構成される．なかでも，記憶にもっとも関係した情報処理は，シナプスにおいて行われているとされる．記憶には種々のものが考えられるが，本研究では短期記憶と長期記憶に着目し，短期記憶はニューロンの発火頻度，長期記憶は細胞膜の特性の変化により生じるものとする．シナプスの可塑性を記述する方程式は，これらの要因を含んだものとなっていなければならない．\if0また，実際の生体では，シナプス結合の性質が興奮性，抑制性であるのかは送り出すニューロンにより決まる．この原理をDale則と呼ぶ．\fi さらに，微小な領域では成長や活動に必要な神経成長因子（Nerve Growth Factor: NGF）は競合によってシナプスに摂取される．これらの事実もシナプス可塑性のモデル化において重要な要因であると考えられる．

そこで，発火頻度や膜の特性変化を生じる物質の時間変化と，微小な領域での競合を考慮したシナプス結合荷重の大きさの時間変化は以下の方程式に従うものとする(図1参照)．
\begin{center}
\begin{minipage}[h]{0.99\linewidth}
\begin{center}
\includegraphics[scale=0.45]{Figure/image1.png}
\end{center}
\end{minipage}
\end{center}
\begin{center}
図$1$\ \ シナプス可塑性方程式
\end{center}

このような，シナプス結合荷重間の競合を考慮したシナプス可塑性方程式に従うRBFNがCRBFNである．また，シナプス可塑性方程式内のパラメータを調整することによって生存・分岐特性をもつことも示されている[3][4]．
}

\vspace{2mm}
{\normalsize{\bf {2.2\ \ ターミナルアトラクタ}}}
\vspace{2mm}

\bfseries {
先ほど述べたCRBFNでは，競合に負けたシナプス結合荷重は平衡状態で$0$になる．しかし，平衡解への漸近は指数関数的に行われるので原理的には有限時間で平衡状態へ到達することはできない．そこで，望ましい出力が動径基底関数を定数倍して足し合わせることで実現できる特別の場合に，あるシステムが最終的に安定した学習結果に収束する，ターミナルアトラクタ(Terminal Attractor: TA)の概念を適用して，望ましい学習回数で平衡解へ収束するように修正されたシナプス可塑性方程式を以下のように定める(図2参照)．

\begin{center}
\begin{minipage}[h]{0.99\linewidth}
\includegraphics[width=18cm]{Figure/image2.png}
\end{minipage}
\end{center}
\begin{center}
図$2$\ \ TAを適用したシナプス可塑性方程式
\end{center}

システムの安定性を評価する数学的なツールであるLyapunov関数は常に正であり，Lyapunov関数の時間変化は常に負である．したがって，このシステムは漸近安定であり，平衡点に漸近的に収束することが示される．

\vspace{2mm}
{\normalsize{\bf {2.3\ \ 基底関数の複製}}}
\vspace{2mm}

シナプス結合荷重間の競合を考慮したシナプス可塑性方程式を利用することにより，学習の効率化を図る手法が提案されてきた．ところが，CRBFNは冗長なニューロンを削除する能力をもつものの，必要とされる基底関数を追加する能力は備えていない．ニューラルネットワークに関数近似を行うために必要な数の基底関数が存在しない場合は，関数近似を行うこと自体が不可能となる．

そこで，新しい基底関数を追加する能力を備えたニューラルネットワークとしてRC-RBFNが提案されている．RC-RBFNにおける新しい基底関数を複製するアルゴリズムを以下のように定義する(図3参照)．
\begin{center}
\begin{minipage}[h]{0.99\linewidth}
\includegraphics[width=18cm]{Figure/image3.png}
\end{minipage}
\end{center}
\begin{center}
図$3$\ \ 複製する位置の決定法
\end{center}

\if0また，この複製アルゴリズムにおける自由エネルギーは，データのクラスタリングのための手法であるメルティングと同様に定義されている[6]．メルティングとは，初期状態からは徐々に同じ値をとりはじめ，最終的に一つの値に収束する．
$\mathbf {m = x}$かつ$\boldsymbol{\beta}$が$\mathbf\infty$である初期状態から，徐々に$\mathbf\beta$を$0$へ近づけていきながら，パラメータ$\textit{m}$を自由エネルギー$\mathbf {F_{\beta}(m)}$の最急降下方向に更新していくものである．その結果，パラメータ$\mathbf m$

本研究の複製アルゴリズムでは$\mathbf\beta$を大きくしながらパラメータ$\mathbf m$を更新することでメルティングとは逆に，一つの$\mathbf m$の値から$\mathbf {x_{i}(\forall i)}$に分岐させることで基底関数の複製を行っている．\fi

}

\vspace{2mm}
----------
{\large{\bf {3\ \ 機械学習の手法について}}}
----------

\vspace{5mm}
{\normalsize{\bf {3.1\ \ 教師あり学習}}}
\vspace{2mm}

\bfseries {

教師あり学習は，モデルが「入力」とそれに対応する「正解ラベル」のペアから学習する機械学習の手法である．入力データにはラベルやクラス情報が付与されており，モデルはそのラベルを正しく予測できるように訓練される．主な用途には，画像の分類，テキストの感情分析，数値データの予測などがあり，データから関係性を学び，未知の入力に対して正確な出力を提供することを目指す．教師あり学習には，回帰や分類といった種類があり，膨大なラベル付きデータが必要だが，高い精度でタスクを遂行するのに適している．

\vspace{2mm}
{\normalsize{\bf {3.2\ \ 教師なし学習}}}
\vspace{2mm}

教師なし学習は，ラベルのないデータからパターンや構造を見つけ出す機械学習の手法である．入力データに正解ラベルがなく，モデルはデータの特徴や分布に基づいて自律的にグループ化したり，特徴を抽出したりする．代表的な手法には，データを似たもの同士で分類する「クラスタリング」や，データの次元を減らして特徴を抽出する「次元削減」などがある．教師なし学習は，データ構造の理解や異常検知などに用いられ，探索的なデータ分析や未知のパターンの発見に適している．

\if0Q学習は強化学習におけるモデルフリー手法の一つで，状態行動価値（Q値）を用いて最適なポリシーを学習する．Q学習では，エージェントが環境と相互作用を繰り返しながら，各状態で最適な行動を選択する基準としてQ値を更新し，長期的な報酬を最大化する行動を学ぶ．この更新は，現在のQ値，得られた報酬，次の状態での最大Q値を考慮したQ値の更新式に基づいて行われ，エージェントが将来の報酬も含めた最適な行動を選択できるようになる．\fi

\vspace{2mm}
{\normalsize{\bf {3.3\ \ 強化学習}}}
\vspace{2mm}

強化学習は，エージェントが環境と相互作用し，行動の結果として得られる報酬をもとに最適な行動を学習する手法のことである．エージェントは状態に応じた行動を選択し，環境から報酬と次の状態を得て，そのフィードバックを用いて方策を改善しながら報酬を最大化するように学習する．強化学習の手法は，主に価値ベース，方策ベース，およびアクター・クリティックの３種類に分かれ，連続的または大規模な状態空間に対しては，関数近似がよく用いられる．深層強化学習ではニューラルネットワークを使って関数近似を行い，複雑なタスクの学習を可能にしている．強化学習は，探索と利用のバランスを取りながら効率的に最適な行動方針を学ぶ点が特徴である．

\if0Q学習に対してRBFNは通常必須ではないが，組み合わせて使用されることがある．RBFNがもつ非線形関係を扱う能力は強化学習において，複雑な状態と行動の関係を効果的なモデル化を可能にするなどのメリットがある．しかし，局所的な基底関数を用いるRBFNでは基底関数がカバーしてない範囲の領域では関数近似を行うことが不可能という弱点も存在する．\fi

\begin{center}
\begin{minipage}[h]{0.99\linewidth}
\includegraphics[width=18cm]{Figure/image5.png}
\end{minipage}
\end{center}
\begin{center}
図$4$\ \ 機械学習の種類
\end{center}

}


\vspace{2mm}
------------------------
{\large{\bf {4\ \ 提案手法}}}
------------------------
\bfseries {

RBFNを発展させたニューラルネットワークとして提案されているRC-RBFNが実際に冗長なニューロンを削除していることや，基底関数の複製によって教師信号との誤差を減少させることが可能であるということを確認した．RBFNは関数近似器として粒子群最適化や遺伝的アルゴリズムといった最適化のためのアルゴリズムや，強化学習における価値関数の近似に組み合わせて用いられる．さらに，非線形関数の近似や回帰問題においては優れた性能を発揮するため，最適化手法と組み合わせることで複雑な問題に対する解決策を見つける助けとなる．

そこで，RBFNの改良版であるRC-RBFNを機械学習の手法に適用することを提案する．これにより，従来の手法と比較して予測精度を向上させることができると考えられる．

\if0強化学習の手法の１つであるQ学習に適用することで，RBFNを用いた場合と比較して有効であることを確認する．適用する具体的な問題として，強化学習アルゴリズムの有効性を評価する際に一般的に使用される「車の山登り問題」を選定する．この問題では，谷間に位置する車が，限られたエネルギーで山の頂上に到達することを目指して行動する．この課題は，エージェントが非線形な力学系に基づいて行動を選択する必要があり，RC-RBFNを導入したQ学習アルゴリズムの効果を詳細に観察するための良い指標となると考えられる．\fi

}


\vspace{2mm}
------------
{\large{\bf {5\ \ 数値実験並びに考察}}}
------------
\bfseries {

シナプス結合荷重の競合にTAを適用した結果と基底関数の複製を行った結果を示す(図5参照)．

TA適用前のシナプス結合荷重の学習過程では，ほとんどのシナプス結合荷重は学習回数が80回前後で値の変化がなくなり，収束したと判断した．それに対して，望ましい学習回数を50回で指定したTA適用後の学習過程では，適用前の収束した結果に学習回数が50回の時点で到達していることが分かる．TA適用前後のシナプス結合荷重の大きさを数値で比較してみると，10番目以外のシナプス結合荷重の差は0.1以下であり誤差であると考えられる．以上のことから学習回数を少なくしつつも，少なくする前と同様の結果を得られていることが分かる．

基底関数の複製では，複製前は１個だった基底関数を図3の複製アルゴリズムによって複製することによって複製後は３個になっている．複製された基底関数の中心位置はそれぞれ教師信号の中心位置と一致しており，累積2乗誤差関数の時間変化からも誤差を減らし，高い精度で関数近似ができていることが確認できる．

\begin{center}
\begin{minipage}[h]{0.99\linewidth}
\includegraphics[width=18cm]{Figure/image4.png}
\end{minipage}
\end{center}
\begin{center}
図$5$\ \ TA適用前後のシナプス結合荷重と基底関数の複製
\end{center}

}

\vspace{2mm}
------------------------
{\large{\bf {6\ \ おわりに}}}
------------------------
\bfseries {

本研究ではまず，RC-RBFNがRBFNでは行うことができなかった効率的な基底関数を複製と，冗長なニューロンの削除が可能なことを確かめた．そして，RBFNの代わりとして機械学習の手法にRC-RBFNを組み込むことを提案した．今後の課題としては，実際に適用する機械学習の手法の検討と数値実験を行うこと，ほかの手法でも有効性が認められるかの確認を行う必要がある．
\if0そして，強化学習の学習アルゴリズムの一つであるQ学習の関数近似の方法に，RC-RBFNを適用することを提案した．今後の課題としては，実際にQ学習に適用させて数値実験を行い有効性を確かめることや，車の山登り問題以外の問題でも実験を行うことを考えている．\fi

}

\vspace{2mm}
--------------------------
{\large{\bf {参考文献}}}
--------------------------
\vspace{3mm}
\begin{enumerate}	
\begin{scriptsize}
%\begin{footnotesize}
\item 奥原 浩之, 尾崎 俊治, “適者生存型学習則を適用した競合動径基底関数ネットワーク”, 電子情報通信学会論文誌, pp. 3191-3199, 1997
\item 奥原 浩之, 佐々木 浩二, 尾崎 俊治, “環境の変化に適応できる複製・競合動径基底関数ネットワーク”, 電子情報通信学会論文誌, pp. 941-951, 1999
\item 土屋 和雄，“複雑系の動力学とその機能”，システム制御情報学会誌 システム/制御/情報，Vol.39，No.1，pp.29～34，1995
\item A. S. Mikhailov，\lq\lq Foundations of Synergetics I: Distributed Active Systems \rq\rq, \textit{Springer Series in Synergetics}，1994
\if0\item Y. Wong, \lq\lq Clustering Data by Melting\rq\rq, \textit{Neural Computation}, 5 (1), 89–104, 1993, https://doi.org/10.1162/neco.1993.5.1.89\fi

%\end{footnotesize}
\end{scriptsize}
\end{enumerate}
\end{multicols}
\end{small}
\end{document}