テキストマイニング入門 の履歴(No.2)

• 履歴一覧
• 差分 を表示
• 現在との差分 を表示
• ソース を表示
• テキストマイニング入門 へ行く。
  • 1 (2018-07-04 (水) 08:30:44)
  • 2 (2018-07-04 (水) 10:35:59)
  • 3 (2018-07-05 (木) 14:25:21)
  • 4 (2018-07-06 (金) 07:55:30)
  • 5 (2018-07-30 (月) 17:16:05)
  • 6 (2019-07-22 (月) 20:00:16)

小野田?

ここでは主にテキストマイニングの環境構築について述べる

言語はPythonを想定する OSはwindowsだと文字コードの問題が発生するのでOSXもしくはLinux推奨！

必要なツール,モジュールリスト 

• 形態素解析ツール
  • MeCab
• MeCabをPythonで使用するためのラッパー
  • mecab-python(python3.x系の場合はmecab-python3)
• 拡張辞書（これを入れると最新の固有名詞に対応できる）
  • mecab-ipadic-neologed

以上は下のサイトに詳細があるのでそちらを参照 https://qiita.com/elm200/items/2c2aa2093e670036bb30

mecab 
安倍晋三首相

と入力して

安倍晋三首相  名詞,固有名詞,一般,*,*,*,安倍晋三,アベシンゾウシュショウ,アベシンゾウシュショー
EOS

と出力されればmecabと拡張辞書がインストールされたことになる

Pythonで使う場合 

import MeCab
from yomogi.normalize_neologd import *

辞書を設定

self.tagger = MeCab.Tagger("mecabrc") #他には-Ochasen等あるがこれが一番

日本語を解析する場合, 以下の一文を入れないとノイズが入る

self.tagger.parse("")