水上/技術資料?

目次

目標 

Dask.distributeを使ってプログラムの高速化を目指します。

環境 

Python 3.10.1 64bitでやってますが，たぶんどのバージョンもできるはず...
pythonインストールはこちら

Daskについて 

daskとは 

参考に↓　
https://qiita.com/simonritchie/items/e174f243bc03fb25462e
https://distributed.dask.org/en/stable/

schedule側とworker側について 

daskは、処理を支持する「schedule側」と、処理をする「worker側」に分かれる。イメージは以下の通り。

ヘイレツ.png

手順 

schedule側とworker側のとの通信方法 

まずdask、distributedをインストール(schedule側、worker側の両方) バージョンはschedule側とworker側でそろえておいたほうがいいのでバージョン指定をしてインストール

pip install dask==2022.11.1
pip install distributed==2022.11.1

ファイアウォールがオンになっているとpc同士で通信できないので、ファイアーウォールを一時的にオフにしておく。(schedule側、worker側の両方)

windowsの場合
https://faq.nec-lavie.jp/qasearch/1007/app/servlet/qadoc?QID=011761
macの場合
https://aprico-media.com/posts/3083#:~:text=Mac%E3%81%AE%E3%83%95%E3%82%A1%E3%82%A4%E3%82%A2%E3%82%A6%E3%82%A9%E3%83%BC%E3%83%AB%E3%82%92%E7%84%A1%E5%8A%B9%E3%81%AB%E3%81%99%E3%82%8B%E3%81%AB%E3%81%AF%E3%80%8C%E3%83%95%E3%82%A1%E3%82%A4%E3%82%A2%E3%82%A6%E3%82%A9%E3%83%BC%E3%83%AB%E3%82%92%E3%82%AA%E3%83%95%E3%81%AB%E3%81%99%E3%82%8B%E3%80%8D%E3%81%AE%E3%83%9C%E3%82%BF%E3%83%B3%E3%82%92%E3%82%AF%E3%83%AA%E3%83%83%E3%82%AF%E3%81%97%E3%81%BE%E3%81%97%E3%82%87%E3%81%86%E3%80%82,%E3%81%93%E3%82%8C%E3%81%A7%E3%81%99%E3%81%90%E3%81%AB%E3%83%95%E3%82%A1%E3%82%A4%E3%82%A2%E3%82%A6%E3%82%A9%E3%83%BC%E3%83%AB%E3%81%8C%E7%84%A1%E5%8A%B9%E3%81%AB%E3%81%AA%E3%82%8A%E3%81%BE%E3%81%99%E3%80%82

実験 

参考文献 

↓dask.distributedで分散処理　
https://catindog.hatenablog.com/entry/2018/03/28/164320　

トップ   新規 一覧 検索 最終更新   ヘルプ   最終更新のRSS