戸田_backup の履歴(No.35)

研究会

専門ゼミ

引き継ぎ

中間発表ポスター

卒論

B3 後期授業

	月曜日	火曜日	水曜日	木曜日	金曜日
1-2				プログラミング言語	研究会
3-4			英語特別演習3	オペレーションズ・リサーチ	研究会
5-6	情報システム工学特別講義	卒研1	卒研1	卒研1
7-8	卒研1	研究会			技術者倫理
9-10		研究会
11-12

メモ

木下さんの卒研のデータとるやつを動かすときのコピペ

木下さんの卒研のindを動かすときのコピペ

大谷さんの卒研のind(7個)を動かすときのコピペ

大谷さんの卒研のind(15個)を動かすときのコピペ

コピペ

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns
from sklearn.model_selection import TimeSeriesSplit
from sklearn.preprocessing import MinMaxScaler
from keras.models import Sequential
from keras.layers import LSTM, Dense, Dropout
from keras.callbacks import EarlyStopping
from sklearn.metrics import f1_score, classification_report, confusion_matrix, accuracy_score, precision_score, recall_score
from keras.utils import to_categorical
from keras.optimizers import Adam

# データセット読み込み
path = 'C:/Users/pi/Desktop/VAR-LiNGAM/csv/demo3_1D.csv'
df = pd.read_csv(
    path,
    parse_dates=True,
    index_col='<DATE>',
    encoding="utf-8"
)
df.drop(['Unnamed: 0'], axis=1, inplace=True, errors='ignore')

# 欠損値を削除
df = df[df.notna().all(axis=1)]

# 特徴量とターゲットの定義
features = df[['usdjpy', 'gold', 'jp225', 'us30', 'oil', 'copper', 'uk100', 'gbpjpy', 'eurusd', 'plat', 'usdx', 'us10y_treasury_yield']].values
target = df['usdjpy'].values.reshape(-1, 1)  # 1次元配列で保持

print(f"featuresの長さ: {len(features)}")
print(f"targetの長さ: {len(target)}")

# スケーリング（LSTMに入力する前にデータを正規化）
feature_scaler = MinMaxScaler(feature_range=(0, 1))
target_scaler = MinMaxScaler(feature_range=(0, 1))
features = feature_scaler.fit_transform(features)
target = target_scaler.fit_transform(target)  # ターゲットもスケーリング

print(f"featuresの長さ: {len(features)}")
print(f"targetの長さ: {len(target)}")

time_step = 60  # 過去60日間のデータを使用

# LSTMモデルのためにデータを3Dに変換
def create_dataset(X, y, time_step=60):
    Xs, ys = [], []
    for i in range(len(y) - time_step):
        Xs.append(X[i:(i + time_step)])
        ys.append(y[i + time_step])
    return np.array(Xs), np.array(ys)

X, y = create_dataset(features, target, time_step)

# データセットの長さを確認
print(f"Xの形状: {X.shape}")  # 例: (N, 60, 1)
print(f"yの形状: {y.shape}")  # 例: (N, 1)

# NaNの確認
print("XにNaNが含まれているか:", np.isnan(X).any())
print("yにNaNが含まれているか:", np.isnan(y).any())

# TimeSeriesSplitの初期化
tscv = TimeSeriesSplit(n_splits=3, max_train_size=615, test_size=184)

# 評価指標を格納するリストの初期化
f1_scores = []
accuracy_scores = []
precision_scores = []
recall_scores = []
fold = 1

# 予測結果を蓄積するDataFrameの初期化
all_predictions = pd.DataFrame()

for train_index, test_index in tscv.split(X):
    print(f"--- フォールド {fold} ---")

# 訓練データと検証データに分割
    X_train, X_test = X[train_index], X[test_index]
    y_train, y_test = y[train_index], y[test_index]

print(f"訓練データの期間: {df.index[train_index].min()} から {df.index[train_index].max()}")
    print(f"検証データの期間: {df.index[test_index].min()} から {df.index[test_index].max()}")

# モデルの構築
    model = Sequential()

# 1つ目のLSTM層
    model.add(LSTM(
        units=32,
        return_sequences=True,
        input_shape=(X_train.shape[1], X_train.shape[2])
    ))
    model.add(Dropout(0.2))

# 2つ目のLSTM層
    model.add(LSTM(
        units=32,
        return_sequences=True
    ))
    model.add(Dropout(0.2))

# 3つ目のLSTM層
    model.add(LSTM(
        units=32,
        return_sequences=False
    ))
    model.add(Dropout(0.2))

# 全結合層
    model.add(Dense(1))  # 出力ユニット数は1（CLOSE）

# 最適化アルゴリズムの設定（Adam, 学習率 0.0005）
    optimizer = Adam(learning_rate=0.0005)

# モデルのコンパイル
    model.compile(
        optimizer=optimizer,
        loss='mean_squared_error'
    )

# モデルの訓練
    model.fit(
        X_train,
        y_train,
        epochs=150,
        batch_size=64,
        verbose=1
    )

# 予測を行う
    predictions = model.predict(X_test)

# 予測を元のスケールに戻す
    predictions = target_scaler.inverse_transform(predictions)  # predictionsは1次元配列
    actual_close = target_scaler.inverse_transform(y_test.reshape(-1, 1))  # y_testも逆変換

# 実際のCLOSEの変化を矢印で表現
    predicted_close = predictions.flatten()
    test_df = pd.DataFrame({'Actual': actual_close.flatten(), 'Predicted': predicted_close})

# CLOSEの変化を矢印に変換
    test_df['CLOSE_Arrow'] = test_df['Actual'].diff().apply(lambda x: '↑' if x > 0 else ('↓' if x < 0 else '→'))
    test_df['Predictions_Arrow'] = test_df['Predicted'].diff().apply(lambda x: '↑' if x > 0 else ('↓' if x < 0 else '→'))

# diff()により最初の行はNaNになるため削除
    test_df = test_df.dropna()

# '→'（変化なし）の場合を除外して、'↑'と'↓'のみを対象とする
    test_df = test_df[test_df['CLOSE_Arrow'] != '→']

# ラベルエンコーディング（文字ラベルを数値に変換）
    label_mapping = {'↑': 1, '↓': -1}
    y_true = test_df['CLOSE_Arrow'].map(label_mapping)
    y_pred = test_df['Predictions_Arrow'].map(label_mapping)

# 評価
    accuracy = accuracy_score(y_true, y_pred)
    accuracy_scores.append(accuracy)
    precision = precision_score(y_true, y_pred, average='macro', zero_division=0)
    precision_scores.append(precision)
    recall = recall_score(y_true, y_pred, average='macro', zero_division=0)
    recall_scores.append(recall)
    f1 = f1_score(y_true, y_pred, average='macro', zero_division=0)
    f1_scores.append(f1)

print(f'Accuracy: {accuracy:.2f}')
    print(f'Precision: {precision:.2f}')
    print(f'Recall: {recall:.2f}')
    print(f'F1スコア: {f1:.2f}
')

# 予測結果を全体のDataFrameに追加
    all_predictions = pd.concat([all_predictions, test_df], axis=0)

fold += 1

# 全フォールドにおける平均指標の計算
average_accuracy = np.mean(accuracy_scores)
average_precision = np.mean(precision_scores)
average_recall = np.mean(recall_scores)
average_f1 = np.mean(f1_scores)

print(f'全フォールドにおける平均正解率: {average_accuracy:.2f}')
print(f'全フォールドにおける平均適合率: {average_precision:.2f}')
print(f'全フォールドにおける平均再現率: {average_recall:.2f}')
print(f'全フォールドにおける平均F1スコア: {average_f1:.2f}')

# 全ての予測結果を用いた分類レポートの表示
print("
分類レポート:
", classification_report(all_predictions['CLOSE_Arrow'], all_predictions['Predictions_Arrow'], target_names=['↓', '↑']))

# 混同行列の表示
cm = confusion_matrix(all_predictions['CLOSE_Arrow'], all_predictions['Predictions_Arrow'], labels=['↑', '↓'])
cm_df = pd.DataFrame(cm, index=['実際 ↑', '実際 ↓'], columns=['予測 ↑', '予測 ↓'])  # インデックスとカラムの順序を変更
print("混同行列:
", cm_df)

やること

研究会

研究会(戸田)

専門ゼミ

専門ゼミ(戸田)

引き継ぎ

引き継ぎ(戸田)

中間発表ポスター

中間発表(戸田)

卒論

卒論(戸田)

B3 後期授業