Python関連 の履歴(No.5)

• 履歴一覧
• 差分 を表示
• 現在との差分 を表示
• ソース を表示
• Python関連 へ行く。
  • 1 (2021-10-08 (金) 20:46:12)
  • 2 (2021-10-08 (金) 20:59:04)
  • 3 (2021-10-18 (月) 13:07:15)
  • 4 (2021-10-18 (月) 17:20:08)
  • 5 (2021-12-30 (木) 19:06:34)
  • 6 (2021-12-31 (金) 19:14:08)
  • 7 (2021-12-31 (金) 20:22:36)
  • 8 (2023-02-01 (水) 16:36:37)

技術メモ

append()メソッド 

メソッドを実行するインスタンスはリストである必要がある
(失敗例)

slist = ['str1','str2','str3','str4','str5','str6']
adlist = ['details1','details2']
→slist[0].append(adlist)を実行すると
AttributeError: 'str' object has no attribute 'append'が表示

(成功例)

[slist[0]].append(adlist)

2次元配列から1次元配列に落とす 

1要素づつappendすればOK(今回は要素の型が辞書形式) 

問題(n×1)型の配列

In: t =[[{'a':1}],[{'a':2}],[{'a':3}],[{'a':4}],[{'a':5}]]
Out: [[{'a': 1}], [{'a': 2}], [{'a': 3}], [{'a': 4}], [{'a': 5}]]
データフレーム時，aで一まとめにしてくれない

appendで新しい1次元配列に入れ直していく(内包表記で表現)

In: c = [t[i][0] for i in range(len(t))]
Out: [{'a': 1}, {'a': 2}, {'a': 3}, {'a': 4}, {'a': 5}]
データフレーム時，Columnsをaとしてまとめてくれる

python処理高速化(for文を使わない書き方集) 

pythonのfor文は処理が呼び出し関係で時間がかかるらしい
→なるべくforを使わずに書くことが時間短縮になる

N重ループ短縮 

• 例1. リスト内(1行)にある同じ要素を検索してカウントする処理 [#vcdbd759]

  for i in range(len(df12)):
      if(i%200 ==0):
          print(i)
      for j in range(len(df12)):
          if(i != j):
              for k in range(len(df12.iloc[i,:])):
                  if(df12.iloc[i,k]==""):
                      break
                  for l in range(len(df12.iloc[j,:])):
                      if(df12.iloc[i,k] == df12.iloc[j,l]):
                          admatrix.iloc[i,j]  +=1

  16時間(200要素)*40 = 640時間(26.7日:Core i7-9700K)超非効率！！

• 例2. 2次元配列の要素1つ1つに代入(集合型の演算を使って4重ループ→2重ループに減量) [#b714a5b7]

  for i in range(len(df12)):
      if(i%200 ==0):
          print(i)
      for j in range(len(df12)):
          if(i != j):
              #print(len((set(df12.iloc[i,1:])&set(df12.iloc[j,1:])-{""})))
              admatrix.iloc[i,j]  
  =len((set(df12.iloc[i,1:])&set(df12.iloc[j,1:])-{""}))

  O(n^2)、n=8100で約6.67時間(200要素(10分)*40)かかる

• 例3. 内包表記(たぶんこれが一番速い)