水上_backup/技術資料/Daskによる並列分散処理
をテンプレートにして作成
[
トップ
] [
新規
|
一覧
|
検索
|
最終更新
|
ヘルプ
]
開始行:
[[水上/技術資料]]
----
目次
#contents
----
*目標 [#z00fd092]
Dask.distributeを使ってプログラムの高速化を目指します。
*環境 [#h82a02b0]
Python 3.10.1 64bitでやってますが，たぶんどのバージョンも...
pythonインストールは[[こちら>https://www.python.org/]]
*Daskについて [#h82a02b0]
**daskとは [#h82a02b0]
参考に↓ &br;
https://qiita.com/simonritchie/items/e174f243bc03fb25462e...
https://distributed.dask.org/en/stable/
** 下準備[#h82a02b0]
** schedule側とworker側について[#h82a02b0]
daskは、処理を支持する「schedule側」と、処理をする「worke...
#ref(ヘイレツ.png,,320x180)
*手順 [#h82a02b0]
**schedule側とworker側のとの通信の下準備 [#h82a02b0]
まずdask、distributedをインストール(schedule側、worker側...
バージョンはschedule側とworker側でそろえておいたほうがい...
pip install dask==2022.11.1
pip install distributed==2022.11.1
**1.scheduler側ですること [#h82a02b0]
・scheduler側で使用する「Wireless LAN adapter Wi-Fi:」の...
→コマンドプロンプトを開いて「ipconfig」と入力すると確認す...
#ref(siu2.png,,567x147)
コマンドプロンプトを開いて「dask-scheduler」と入力する。...
↓このように表示されたら成功です
#ref(daskzu1.png,,)
この状態で待機です &br;
**2.worker側ですること [#h82a02b0]
コマンドプロンプトを開いて、「dask-worker {tcp}:8786」と...
{tcp}には先ほど確認したscheduler側のwifiの物理アドレスを...
↓これはscheduler側のwifiの物理アドレスが「192.168.3.12」...
#ref(daskzu3.jpg,,567x147)
接続が成功したらscheduler側の画面がこのようになります。(...
#ref(daskzu5.png,,567x147)
これを分散したいworker分行ってください。 &br;
接続状態になれば準備完了です。scheduler側でプログラムを動...
**エラーの対処[#h82a02b0]
・「dask-worker」および「dask-scheduler」と入力しても「内...
→「dask」「distributed」のpathが通ってない可能性がある。&...
dask-workerを使うときは、pathを通す。 &br;
・dask-workerおよびdask-schedulerが通信できなかった場合&br;
ファイアウォールがオンになっているとpc同士で通信できない...
windowsの場合&br;
https://faq.nec-lavie.jp/qasearch/1007/app/servlet/qadoc?...
&br;
macの場合&br;
https://aprico-media.com/posts/3083#:~:text=Mac%E3%81%AE%...
*実験 [#bb5c41a2]
*参考文献 [#ddfa4bf2]
↓dask.distributedで分散処理 &br;
https://catindog.hatenablog.com/entry/2018/03/28/164320
終了行:
[[水上/技術資料]]
----
目次
#contents
----
*目標 [#z00fd092]
Dask.distributeを使ってプログラムの高速化を目指します。
*環境 [#h82a02b0]
Python 3.10.1 64bitでやってますが，たぶんどのバージョンも...
pythonインストールは[[こちら>https://www.python.org/]]
*Daskについて [#h82a02b0]
**daskとは [#h82a02b0]
参考に↓ &br;
https://qiita.com/simonritchie/items/e174f243bc03fb25462e...
https://distributed.dask.org/en/stable/
** 下準備[#h82a02b0]
** schedule側とworker側について[#h82a02b0]
daskは、処理を支持する「schedule側」と、処理をする「worke...
#ref(ヘイレツ.png,,320x180)
*手順 [#h82a02b0]
**schedule側とworker側のとの通信の下準備 [#h82a02b0]
まずdask、distributedをインストール(schedule側、worker側...
バージョンはschedule側とworker側でそろえておいたほうがい...
pip install dask==2022.11.1
pip install distributed==2022.11.1
**1.scheduler側ですること [#h82a02b0]
・scheduler側で使用する「Wireless LAN adapter Wi-Fi:」の...
→コマンドプロンプトを開いて「ipconfig」と入力すると確認す...
#ref(siu2.png,,567x147)
コマンドプロンプトを開いて「dask-scheduler」と入力する。...
↓このように表示されたら成功です
#ref(daskzu1.png,,)
この状態で待機です &br;
**2.worker側ですること [#h82a02b0]
コマンドプロンプトを開いて、「dask-worker {tcp}:8786」と...
{tcp}には先ほど確認したscheduler側のwifiの物理アドレスを...
↓これはscheduler側のwifiの物理アドレスが「192.168.3.12」...
#ref(daskzu3.jpg,,567x147)
接続が成功したらscheduler側の画面がこのようになります。(...
#ref(daskzu5.png,,567x147)
これを分散したいworker分行ってください。 &br;
接続状態になれば準備完了です。scheduler側でプログラムを動...
**エラーの対処[#h82a02b0]
・「dask-worker」および「dask-scheduler」と入力しても「内...
→「dask」「distributed」のpathが通ってない可能性がある。&...
dask-workerを使うときは、pathを通す。 &br;
・dask-workerおよびdask-schedulerが通信できなかった場合&br;
ファイアウォールがオンになっているとpc同士で通信できない...
windowsの場合&br;
https://faq.nec-lavie.jp/qasearch/1007/app/servlet/qadoc?...
&br;
macの場合&br;
https://aprico-media.com/posts/3083#:~:text=Mac%E3%81%AE%...
*実験 [#bb5c41a2]
*参考文献 [#ddfa4bf2]
↓dask.distributedで分散処理 &br;
https://catindog.hatenablog.com/entry/2018/03/28/164320
ページ名:
![[PukiWiki]](image/pukiwiki.png "[PukiWiki]")
