・EBPM
・潜在プロファイル分析
・RF6.4法
複数項目の量的データからなるデータベースについて,いずれか一つの項目をそれ以外のすべての項目を用いた数理モデルで表すことを考える.本資料では,この課題に対してパーセプトロンの学習を用いて多変量多項式モデルを求める方法(RF6.4)を紹介する.また,学習の精度を向上させるためにデータベース上のサンプルを潜在プロファイル分析(LPA)でクラスタリングし,その結果を考慮した学習を行う. 本資料で実現できることの大まかな流れは下図のようになる.はじめに,LPAを用いてデータベース上のサンプルをクラスタリングする.次に,データベース上のデータを正規化,LPAの結果を量子化してそれらを用いたRF6.4によって数理モデルを求める.
・python 64bit版
・python3.7.6
python3.7の入れ方:https://www.kkaneko.jp/tools/win/python37.html
pythonバージョンの切り替え方:https://gammasoft.jp/python/python-version-management/
・研究室のgoogle drive(iie.lab.tpu.1920)→OK.IIE.IS.TPU→学生→20o_3長瀬→保存期間5年→修論→修論(プログラム)にある以下のファイル・フォルダ
1. LPA.R
2. RF6_real_experiment100.py
3. open-data
・LPA.R
潜在プロファイル分析を行うRコード
・RF6_real_experiment100.py
RF6.4を行うPythonコード
・k-means_0205_3.py
RF6_real_experiment100.pyの結果を用いて数理モデルのパラメータを求めるPythonファイル
・open-data
分析に用いるデータやそれに関係したファイルが入っているフォルダ
(open-dataの中身)
・open-data_2020.csv
分析に用いる各市区町村のデータが格納されたcsvファイル(2020年版)
・data-city_name.csv,city_num.csv
分析に用いる各市区町村の市区町村コード(2022年時点)を格納したcsvファイル.ただし,open-data_2020.csvを作成するにあたり,データ欠損がなかった市区町村のみ
まず,ユーザが指定したターゲット(seiki_ALL_LIST_hihu.csvの中にある項目のいずれか)に影響を与える方向の因果を持つデータ項目を発見するためにLiNGAMによる因果探索を行う.次に,LiNGAMの結果のうち,ターゲットに正の因果性を持つ項目を出力変数,負の因果性を持つ項目を入力変数としてデータ包絡分析(DEA)を行う.最後に,DEAによって求められた各市区町村における評価値をfoliumを用いてWeb-GISとして描画する. 実際の挙動については研究室サーバ上で実際に展開されている本システム(https://dic515s2.pu-toyama.ac.jp/open-bigdata_system/)や研究室のドライブ上の長瀬のフォルダ(前述の場所)の卒研(プレゼン)というフォルダの中にある卒研時のデモ動画を見るとイメージしやすい. また,研究の全体像は長瀬の卒論を読んでいただきたい.
基本的には前述しているfinal_LiNGAM.pyを実行するだけで処理が完了する.出力として分析結果を格納したcsvファイルが排出される.ただし,以下の点に注意が必要である.
・必要なpythonライブラリをpipなどでインストールしておく必要がある.使用しているライブラリは以下のとおりである
#ref(): File not found: "WIKI作成1.png" at page "長瀬さん修論_backup"
・分析に用いるデータを自身のPC上の任意のディレクトリに配置し,20行目でそれを指定する必要がある
#ref(): File not found: "WIKI作成2.png" at page "長瀬さん修論_backup"
・結果が格納されているcsvファイルの排出先を指定する必要がある
#ref(): File not found: "WIKI作成3.png" at page "長瀬さん修論_backup"
(DEAについて) LiNGAMと同様に前述のfinal_DEA.pyを実行するだけでよい.出力として各市区町村の評価値,対象の市区町村における入出力改善値,入力指向モデルでの参照集合,出力指向モデルでの参照集合がそれぞれ格納されたcsvファイルが排出される.ただし,こちらも同様に以下の点に注意することが必要である.
・必要なpythonライブラリをpipなどでインストールしておく必要がある.使用しているライブラリは以下のとおりである
#ref(): File not found: "WIKI作成4.png" at page "長瀬さん修論_backup"
・final_LiNGAM.pyから排出されたファイルおよび前述のcity_name.csvを自身のPC上の任意のディレクトリに配置し,6行目,9行目でそれぞれ指定する必要がある
#ref(): File not found: "WIKI作成5.png" at page "長瀬さん修論_backup"
・結果が格納されているcsvファイルの排出先を指定する必要がある
#ref(): File not found: "WIKI作成6.png" at page "長瀬さん修論_backup"
#ref(): File not found: "WIKI作成7.png" at page "長瀬さん修論_backup"
#ref(): File not found: "WIKI作成8.png" at page "長瀬さん修論_backup"
#ref(): File not found: "WIKI作成9.png" at page "長瀬さん修論_backup"
(foliumについて) いままでと同様に前述のfinal_folium.pyを実行するだけでよい.出力としてWeb-GISとして機能するhtmlファイルが排出される.ただし,こちらも同様に以下の点に注意することが必要である.
・必要なpythonライブラリをpipなどでインストールしておく必要がある.使用しているライブラリは以下のとおりである
#ref(): File not found: "WIKI作成10.png" at page "長瀬さん修論_backup"
・final_DEA.pyから排出されたファイルおよび前述のcity_location.csv,city_nameを自身のPC上の任意のディレクトリに配置し,7~10行目,5行目,6行目でそれぞれ指定する必要がある
#ref(): File not found: "WIKI作成11.png" at page "長瀬さん修論_backup"
・出力されるhtmlファイルの排出先を指定する必要がある.実行環境の整理のために,final_folium.pyが存在するフォルダの中にhtmlを格納するためのフォルダを新規作成し,そこを指定することをおすすめする
#ref(): File not found: "WIKI作成12.png" at page "長瀬さん修論_backup"