水上_backup/技術資料/BERTによる感情分析 の変更点

• 追加された行はこの色です。
• 削除された行はこの色です。
• 水上_backup/技術資料/BERTによる感情分析 へ行く。
• 水上_backup/技術資料/BERTによる感情分析 の差分を削除

#author("2024-12-10T03:51:08+01:00","","")
#author("2025-02-09T07:31:16+01:00","","")
[[水上/技術資料]]

----
目次
#contents
----

*目標 [#z00fd092]
Dask.distributeを使ってプログラムの高速化を目指します。

*環境 [#h82a02b0]
Python 3.10.1 64bitでやってますが，たぶんどのバージョンもできるはず... &br;
pythonインストールは[[こちら>https://www.python.org/]]

*Daskについて [#h82a02b0]
**daskとは [#h82a02b0]
参考に↓　&br;
https://qiita.com/simonritchie/items/e174f243bc03fb25462e &br;
https://distributed.dask.org/en/stable/

** 下準備[#h82a02b0]
*** 下準備[#h82a02b0]
** schedule側とworker側について[#h82a02b0]
daskは、処理を支持する「schedule側」と、処理をする「worker側」に分かれる。イメージは以下の通り。&br;


#ref(ヘイレツ.png,,320x180)


*手順 [#h82a02b0]
**schedule側とworker側のとの通信の下準備 [#h82a02b0]
まずdask、distributedをインストール(schedule側、worker側の両方)
バージョンはschedule側とworker側でそろえておいたほうがいいのでバージョン指定をしてインストール

 pip install dask==2022.11.1
 pip install distributed==2022.11.1



*参考文献 [#ddfa4bf2]
↓dask.distributedで分散処理　&br;
https://catindog.hatenablog.com/entry/2018/03/28/164320