スクレイピング・クローリング入門 の履歴(No.2)

• 履歴一覧
• 差分 を表示
• 現在との差分 を表示
• ソース を表示
• スクレイピング・クローリング入門 へ行く。
  • 1 (2018-07-05 (木) 14:26:48)
  • 2 (2018-07-05 (木) 14:55:33)
  • 3 (2018-07-06 (金) 09:12:09)
  • 4 (2018-07-09 (月) 05:02:01)
  • 5 (2018-07-09 (月) 09:57:47)
  • 6 (2018-07-10 (火) 05:23:32)
  • 7 (2018-07-10 (火) 09:10:14)
  • 8 (2018-10-18 (木) 07:02:28)
  • 9 (2018-11-29 (木) 06:50:41)

小野田?

高速化したい場合 

まずどこでオーバーヘッドが発生しているかで以下の対策が取れる 上のものほどソフトウェア的であり,　下に行くほどハードの問題となる

CPUバウンドの場合 

プログラム内部の処理を高速化したい場合はマルチスレッド・マルチプロセスに対応させる必要があるマルチスレッドは一つのコアで複数の処理を同時に行うことで マルチプロセスは複数のコアで並列にプログラムを処理させることである 例えば8コアのCPUの場合で2マルチスレッド, 8マルチプロセスだと 2(プロセスあたりのスレッド数)× 8(コア数) = 16となり 16個並列にプログラムが動いてることになる

やり方は各言語によって違うので各々調べるべし 例: JavaであるとThreadクラスを使う, Pythonならthreadingモジュールとmultiproccessingモジュールがある

IOバウンド 

データをwebから収集するレスポンスが遅い場合は非同期処理により待ち時間を有意義に使うことができる 詳しくはこちら

書き方の問題 

Pythonだとfor文の代わりにリスト内包記法を使うなどプログラムの記述によって 処理速度が多少変わる

言語の問題 

プログラミング言語により速度が変わるので

• 高速化重視ならC(難易度高)
• 機能重視ならPython
• バランスならGo

スペックの問題 

単純にPCのスペックが低い可能性がある. 指導教員に相談しよう