センサとマイコン(Arduino, Raspberry Pi)による行動分類 の履歴(No.1)

• 履歴一覧
• 差分 を表示
• 現在との差分 を表示
• ソース を表示
• センサとマイコン(Arduino, Raspberry Pi)による行動分類 へ行く。
  • 1 (2020-09-01 (火) 03:30:40)
  • 2 (2020-09-01 (火) 16:01:51)
  • 3 (2020-09-10 (木) 16:52:28)
  • 4 (2020-09-16 (水) 15:41:33)
  • 5 (2020-09-18 (金) 17:38:44)
  • 6 (2020-09-21 (月) 16:33:15)
  • 7 (2020-09-28 (月) 12:34:36)
  • 8 (2020-09-28 (月) 13:15:46)
  • 9 (2020-10-01 (木) 15:17:22)
  • 10 (2020-11-30 (月) 15:29:17)
  • 11 (2020-11-30 (月) 15:29:29)
  • 12 (2020-12-01 (火) 12:14:12)
  • 13 (2020-12-02 (水) 19:14:55)
  • 14 (2020-12-02 (水) 20:26:05)
  • 15 (2020-12-10 (木) 17:07:36)
  • 16 (2020-12-14 (月) 16:54:28)
  • 17 (2020-12-17 (木) 07:26:38)
  • 18 (2020-12-21 (月) 13:25:27)
  • 19 (2020-12-24 (木) 14:04:04)
  • 20 (2020-12-24 (木) 20:29:09)
  • 21 (2021-01-06 (水) 12:09:53)

---

目次 

1. 目標 

カメラ，マイク，GPS受信機セット(緯度、経度、海抜高度)，温湿度気圧センサー，照度センサー，赤外線焦度センサー，9軸センサーモジュール(加速度xyz、角速度xyz、磁気コンパスxyz)，体温センサー，心拍，GSRセンサー(皮膚電気反射)のデータを取得する．ただし，カメラ画像とマイク音声はテキストでも取得する．

2. センサ，ブレッドボード，Arduino間の接続 

センサ 

• 必要なもの
  

raspberrypi（３がおすすめ）
Arduino
ブレッドボード 抵抗(10kΩ)×3、GPS用丸電池、ケーブル、SDカード、ボードとArduinoを固定する板など、~

• GPS受信機セット(緯度、経度、海抜高度)
  
  • 参考
    https://qiita.com/AmbientData/items/fff54c8ac8ec95aeeee6
• 温湿度気圧センサー(温度、湿度、気圧)
  
  • 配線
    http://monhime.hatenablog.com/entry/2018/06/24/114921
    

• コード
  https://github.com/SWITCHSCIENCE/BME280/blob/master/Arduino/BME280_I2C/BME280_I2C.ino
  

• 照度センサー
  
  • 配線 http://jkoba.net/prototyping/arduino/cds_practice.html
    

• コード
  
  hikari.ino

• 配線・コード
  http://
  

• 赤外線焦度センサー（人感センサ）
  
  • 配線・コード
    http://tech.blog.surbiton.jp/arduino_motion_sensor_se-10/
    
• 9軸センサーモジュール(加速度xyz、角速度xyz、磁気コンパスxyz)
  
  • 配線・コード
    http://tomi-tomi-pon.hatenablog.com/entry/2018/11/07/012854
    
    BMX055_20180510.ino
• 体温センサー
  
  • 配線・コード http://naritaku.hatenablog.com/entry/2016/04/05/230649
• 心拍
  
  • 配線・コード http://myct.jp/arduino/index.php?%E5%BF%83%E6%8B%8D%E3%82%BB%E3%83%B3%E3%82%B5%20SEN-11574
    データ取得しやすくするため、読み取りのところに専用のシールを貼らなくてはならない
    

• GSRセンサー(皮膚電気反射)
  
  • 配線・コード
    http://wiki.seeedstudio.com/Grove-GSR_Sensor/
    
• マイク
  
  • 製品 https://www.sanwa.co.jp/product/syohin.asp?code=MM-MCU02BK
    
• カメラ
  
  • 製品 https://www.rs-online.com/designspark/raspberry-pi-camera
  • 参考 https://iotdiyclub.net/raspberry-pi-camera-python-1/
    
    

センサとブレッドボード間の接続 

1. 基盤の組み立て
   9軸・GPS・温湿度気圧のセンサーははんだ付けが必要．
   
   
   

1. 配線
   各参考サイトに配線の仕方が書いてある．すべて組み合わせた配線が下の画像である．
   
   
   

装置組み立て 

ラズパイにGPSセンサとマイクをぶっさす。

• 配線 配線URL ラズパイとArduinoを連結した装置を作る。
  

3. Raspberry Piの設定 

ラズパイの初期設定 

ここからOSがWindowsの場合で紹介します。インストールするものも全部for Windows
Raspberry Piの始め方

　PC操作のための設定 

再起動後 ターミナルでifconfigと入力して無線LANのIPアドレスを確認する
IPアドレスを確認することで、他のパソコンからSSH接続することができる

• リモート接続
  wiｎ＋ｒでリモート画面を表示。mstscと入力して実行すると、リモート接続画面が表示される。
  ここでラズパイのIPアドレスを入浴するとやがてログイン画面が表示される。
  Module→Xorgで、ユーザー名とパスワードを入力すればラズパイのデスクトップが表示できる。
  操作は簡単だが重くて時間がかかる時があるので以下のようなソフトを使ったりする。
  
  
• Teraterm
  ラズパイをPC上でリモート操作するためのソフト
  ここから自分のPCにインストールする．
  インストール後、起動して「ホスト（T）」にラズパイのIPアドレス→OK→ユーザー名とパスワードを入力→で接続できる。
  初期設定のページで述べているssh.txtくだりが必須になる。
  参考サイトはこれがよく使われている。
  
  
• SDKビュワー
  これをつかってもPC上で操作できる。
  重くないのでストレスにはならない
  ここからダウンロードする。
  起動したのち、ラズパイのIPアドレスおよびユーザー名、パスワードを入力すればもれなくPC上に表示できる。
  これはVNCなのでラズパイの方で
  メニュー＞設定＞ラズパイの設定＞インターフェースのVNCを「Enable」にする必要がある。
  

4. Arduinoの設定 

Arduinoをダウンロード 

https://www.arduino.cc/en/Main/Software よりArduinoIDEをダウンロードしておく。（情報実験で持たされる。）

• 各センサから取得するコード
  app1.ino
  上記で作ったArduinoとPCをつなげてこのプログラムを起動する。シリアルポートをCOM４にしておくとよい
  マイコンボードでつなげたセンサのデータが取得できる。
• app1.inoと一緒のファイルに↓の２つも一緒に入れておく。起動しない
  
  AllSerialHandling.ino
  Interrupt.ino
  
  書き込み後、シリアルモニタで表示するとセンサのデータが，で区切られて表示される。 左から
  気温、湿度、気圧、光、 人感(1か0)、ｘ加速度、y加速度、z加速度、ｘ軸ジャイロ、ｙ軸ジャイロ、ｚ軸ジャイロ、ｘ軸地磁気、ｙ軸地磁気、ｚ軸地磁気、体温、心拍、GSRセンサ
  
  

5. ラズパイでデータ取得 

GPS単体の場合　ラズパイでGPSデータを取得 

カメラと音声単体の場合　カメラと音声 

6.Raspberry Pi と Auduino の連結 

Auduinoとラズパイを連結して情報を得る

ラズパイ、PCで使うコード

#ref(): File not found: "newsensa_all_name.py" at page "センサとマイコン(Arduino, Raspberry Pi)による行動分類"

.ラズパイに入れるモジュール（他多数）

  opencv
  matplotlib
  scikit-learn
  graph-marker

・PCに入れるnltkリソース

  python 
  >>>import nltk
  >>>download('averaged_perceptron_tagger')
  >>>download('wordnet')
  >>>download('universal_tagset')

.他

  gspread
  oauth2client

・プログラム修正点

server2.pyの133行目、sensaK.pyの42行目の下線のIPアドレスを自身のパソコンのIPに変更する。
PC側でserver2.pyがうまく軌道できたら
[available to connect: 192.168.0.205]（ここは自分のIPアドレス）の文字が表示されるのですぐラズパイの方でsensaK.pyを起動する。
上手くいけばラズパイもPCにもAuduinoで取得したデータ（数値）が表示され、ラズパイ側にはカメラ画像、PC側にセンサのグラフがリアルタイムで更新される。

7.スプレッドシート書き起こし 

リアルタイムでの情報取得できたらカメラ画像を収得する。画像ではなく画像に映っている情報を文字に起こして羅列しどこにいるのか、何をしているか判断することができる
６．で説明したカメラの使い方は取得データをPCのコマンドプロンプトに表示するもので今回はスプレッドシートに表示する。

下準備 

今回使うのはpyhtonから得たデータをだれでもアクセスできるスプレッドシートに格納する。

そのためには長きにわたる設定を行う必要がある。

●使うコード
要領がでかすぎたので研究室googleDriveの[学生>江崎>>］にコード集.zipがあるよ。
そのコード集をダウンロードして解凍したら、さっきの設定で保存した秘密鍵をこのフォルダに入れておく。

そしたら下準備としてprocessing_data.pyをエディタを使って開き、40行目のSPREADSHEET_KEYを変更する。
ここでのキーとはさっきの設定でつくったスプレッドシートのURLの一部である。

URLの/d/この部分/edit～

ここまでできたらラズパイとPCをつなげ、カメラから取得したデータを書き起こす。

書き起こし 

アルディーノと連結したラズパイを電源につないでPCとリモート接続する。
●カメラ画像の書き起こしに使うコード

#ref(): File not found: "newsensa_all_name.py" at page "センサとマイコン(Arduino, Raspberry Pi)による行動分類"

まずこのコードを書き換える必要がある。

PC側でスプリクトエディタを開き、[公開＞ウェブアプリケーションとして導入]し、
Project version > new
Execute the app as > Me
who has access to the app > Anyone
にする

更新するとURLが製造されるのでそのアドレスをコピーし、コードの103行目のURLを書き換える。 そしてコードをラズパイで実行する。

これはアルディーノのセンサデータとカメラ画像を5秒ごとに表示している。これを30回繰り返すとスプレッドシートに表示される。

詳しく見てみるとたしかにペットボトルの情報が書き起こされている。

デンドログラム表示 

スプレッドシートにシート2を用意し、PCで[processing_data.py]を実行するとデンドログラム(初期)が表示される。

本来は音声で項目を入れる予定でしたがマイクの性能がいまいちで手入力しました。
あと本日はGPSセンサが上手く働きませんでした

今後… デンドログラムの項目を増やす。
項目足りない、わかりづらいとこあったらいってください。
質問あんまりないと思うので感想お願いします

補足 

今回の技術資料とは無関係~
⇒補足 センサとArduino間の動作確認 ゼミやで
できたら完了このあとにスプレッドシート云々新規つくってツールのスプリクトエディタであれ書いてAPIの有効とかアドレスとかあのサイトのあれこれ書く。
サービスアカウントのキーをJSONにしておく。ダウンロードしたキーの名前を同じファイルに入れてclient_secretにして
スプレッドシートのURLのd/ここ/editの部分をprocessing_data.pyの40行目のスプレッドシートキーに入れる。
7/2　画像持ってくるとこの説明、ファイルじゃなくてフォルダ