長瀬さん修論_backup の履歴(No.4)

履歴一覧
差分を表示
現在との差分を表示
ソースを表示
長瀬さん修論_backup へ行く。
- 1 (2024-02-20 (火) 17:13:43)
- 2 (2024-03-06 (水) 10:28:51)
- 3 (2024-03-06 (水) 12:40:00)
- 4 (2024-03-06 (水) 16:02:24)

複数項目の量的データからなるデータベースについて，いずれか一つの項目をそれ以外のすべての項目を用いた数理モデルで表すことを考える．本資料では，この課題に対してパーセプトロンの学習を用いて多変量多項式モデルを求める方法（RF6.4）を紹介する．また，学習の精度を向上させるためにデータベース上のサンプルを潜在プロファイル分析（LPA）でクラスタリングし，その結果を考慮した学習を行う．本資料で実現できることの大まかな流れは下図のようになる．はじめに，LPAを用いてデータベース上のサンプルをクラスタリングする．次に，データベース上のデータを正規化，LPAの結果を量子化してそれらを用いたRF6.4によって数理モデルを求める．

【事前準備】

実行環境

・python 64bit版
・python3.7.6
python3.7の入れ方：https://www.kkaneko.jp/tools/win/python37.html
pythonバージョンの切り替え方：https://gammasoft.jp/python/python-version-management/

ダウンロードするもの

・研究室のgoogle drive(iie.lab.tpu.1920)→OK.IIE.IS.TPU→学生→20o_3長瀬→保存期間5年→修論→修論（プログラム）にある以下のファイル・フォルダ
1. LPA.R
2. RF6_real_experiment100.py
3. open-data

ファイルの説明

・LPA.R
潜在プロファイル分析を行うRコード

・RF6_real_experiment100.py
RF6.4を行うPythonコード

・k-means_0205_3.py
RF6_real_experiment100.pyの結果を用いて数理モデルのパラメータを求めるPythonファイル

・open-data
分析に用いるデータやそれに関係したファイルが入っているフォルダ

（open-dataの中身）
・open-data_2020.csv
分析に用いる各市区町村のデータが格納されたcsvファイル(2020年版)

・data-city_name.csv，city_num.csv
分析に用いる各市区町村の市区町村コード（2022年時点）を格納したcsvファイル．ただし，open-data_2020.csvを作成するにあたり，データ欠損がなかった市区町村のみ

【実行方法と処理の解説】

作業のながれ（概要）

作業のおおまかな流れは以下のとおりである．それぞれの工程に関する詳細は別途解説する．
1. オープンデータサイトからデータを収集する
2. 収集したデータとopen-data_2020.csvをマージする（仮にopen-data_new.csvとする）
3. open-data_new.csvを用いてLPA.Rを実行することで市町村をクラスタリングする
4. クラスタリングの結果とopen-data_new.csvをマージする（仮にanalysis-data.csvとする）
5. analysis-data.csvに対してデータのスケーリングを行う（仮にanalysis-data_scale.csvとする）
6. analysis-data_scale.csvを用いてRF6_real_experiment100.pyを実行することで数理モデルの最適パラメータを求める
7. 得られたパラメータを用いてk-means_0205_3.pyを実行することで数理モデルのルール数を圧縮し各ルールにおけるパラメータを求める

データの収集とマージ

データの収集について特にどのサイトを使用しないといけないという制限はない．ただし，収集の際には以下のことに留意する必要がある．

全国の市区町村に対して欠損のないデータであること
量的なデータであること（カテゴラルな値はNG）
open-data_2020.csvにマージする場合は2020年のデータであること

データ包絡分析(DEA)

(DEAについて) LiNGAMと同様に前述のfinal_DEA.pyを実行するだけでよい．出力として各市区町村の評価値，対象の市区町村における入出力改善値，入力指向モデルでの参照集合，出力指向モデルでの参照集合がそれぞれ格納されたcsvファイルが排出される．ただし，こちらも同様に以下の点に注意することが必要である．

・必要なpythonライブラリをpipなどでインストールしておく必要がある．使用しているライブラリは以下のとおりである

#ref(): File not found: "WIKI作成4.png" at page "長瀬さん修論_backup"

・final_LiNGAM.pyから排出されたファイルおよび前述のcity_name.csvを自身のPC上の任意のディレクトリに配置し，6行目，9行目でそれぞれ指定する必要がある

#ref(): File not found: "WIKI作成5.png" at page "長瀬さん修論_backup"

・結果が格納されているcsvファイルの排出先を指定する必要がある

#ref(): File not found: "WIKI作成6.png" at page "長瀬さん修論_backup"

#ref(): File not found: "WIKI作成7.png" at page "長瀬さん修論_backup"

#ref(): File not found: "WIKI作成8.png" at page "長瀬さん修論_backup"

#ref(): File not found: "WIKI作成9.png" at page "長瀬さん修論_backup"

WebGISの作成

(foliumについて) いままでと同様に前述のfinal_folium.pyを実行するだけでよい．出力としてWeb-GISとして機能するhtmlファイルが排出される．ただし，こちらも同様に以下の点に注意することが必要である．

・必要なpythonライブラリをpipなどでインストールしておく必要がある．使用しているライブラリは以下のとおりである

#ref(): File not found: "WIKI作成10.png" at page "長瀬さん修論_backup"

・final_DEA.pyから排出されたファイルおよび前述のcity_location.csv，city_nameを自身のPC上の任意のディレクトリに配置し，7～10行目，5行目，6行目でそれぞれ指定する必要がある

#ref(): File not found: "WIKI作成11.png" at page "長瀬さん修論_backup"

・出力されるhtmlファイルの排出先を指定する必要がある．実行環境の整理のために，final_folium.pyが存在するフォルダの中にhtmlを格納するためのフォルダを新規作成し，そこを指定することをおすすめする

#ref(): File not found: "WIKI作成12.png" at page "長瀬さん修論_backup"

目次

【参考資料】

【目標】