水上_backup/技術資料/BERTによる感情分析の履歴(No.2)

目標

Dask.distributeを使ってプログラムの高速化を目指します。

Python 3.10.1 64bitでやってますが，たぶんどのバージョンもできるはず...
pythonインストールはこちら

daskは、処理を支持する「schedule側」と、処理をする「worker側」に分かれる。イメージは以下の通り。

#ref(): File not found: "ヘイレツ.png" at page "水上_backup/技術資料/BERTによる感情分析"

まずdask、distributedをインストール(schedule側、worker側の両方) バージョンはschedule側とworker側でそろえておいたほうがいいのでバージョン指定をしてインストール

pip install dask==2022.11.1
pip install distributed==2022.11.1