機械学習と特徴選択 の履歴(No.2)

• 履歴一覧
• 差分 を表示
• 現在との差分 を表示
• ソース を表示
• 機械学習と特徴選択 へ行く。
  • 1 (2022-02-27 (日) 18:48:05)
  • 2 (2022-02-27 (日) 20:24:44)
  • 3 (2022-03-09 (水) 17:22:50)
  • 4 (2023-02-01 (水) 16:38:01)

武藤?

機械学習 

バイアスとバリアンス 

モデルのデータに対するフィット度合いを指す

• 線形モデル
  • バイアス高，バリアンス低
    データ点への近似が甘いが，データ増減によるモデル変化が少ない
• 非線形モデル
  • バイアス低，バリアンス高
    データ分布により近い回帰曲線になるが，データ増減でモデルが大きく変化(汎化性能弱)

ランダムフォレスト 

• 決定木の強化版
• 決定木(非線形モデル)の低バイアスを改善
  • 決定木作成時に一部訓練データのみ使用
  • 指定した数だけの特徴量を使用
• パラメータ調整をあまりしなくてよい(初心者向け)

ハイパーパラメータ(手動設定のパラメータ) 

sklearn.ensemble.RandomForestClassifier の場合

• n_estimaters(デフォルト100)
  • 決定木の数(数百～数千が妥当，計算コストに注意)
• max_features(デフォルト：特徴量数の√)
  • 各決定木に用いる特徴量の数(あまりいじらない)
• max_depth(木の最大深度)
  • デフォルトだと葉まで(教師データの完全クラス分け)
  • 決定木が少ないときに制約をかけると分類性能向上？