BNO055を使用したコントローラーの開発経緯
AIagentは,いまやオープンキャンパスなど,色んなとこで引っ張りだこ。前回も本郷OCで高校生たちが興味津々に体験していたが,音声入力キー(Windows+H)など普段使い慣れておらず操作しにくいように見えた。そこで, 9軸センサーBNO055を使用して,キーボードレスの会話用コントローラーを作成しようと思う。使用方法と注意点は,下記の動画に示した。
1. 動画内で使用したプログラム
・BNO055_AIagent:今回使用したArduinoプログラム
・BNO055_tes2:小ネタでしたクォータニオン角でのカーソル操作(上下が弱い)
・BNO055_AgentControleer:カーソル操作+ボタン機能を統合した完成系
・WebcamGPT4V_New.txt:改造後のWebcamGPT4Vのスクリプト
・Changecam.txt:改造前のWebcamGPT4Vのスクリプト
2. ボタンの各機能_240912にカーソル操作を追加
①原点:Unityの基本操作
ボタン | 機能 |
ボタン1 | ゲーム実行/停止(Ctrl+P) |
ボタン2 | カメラの視点交換(F5) |
(ボタン2)×2回 | ボタン2を2回押すとダブルクリック |
ボタン3 | 撮影ボタン(F4) |
②Y軸(横の傾き)±75°以上:入力の修正ボタン
ボタン1 | カーソルキー「←」 |
ボタン2 | カーソルキー「→」 |
ボタン3 | Backspace |
③Z軸(前後に倒す)±30°以上:会話ボタン
ボタン1 | キャラクタのチェンジ(F6) |
ボタン2 | 音声入力(Windows+H) |
ボタン3 | 送信(Enter) |
3. ピンの接続位置_BNO055
・VIN:5V
・GND:GND
・SDA:D2(PD1)
・SCL:D3(PD0)
黒→赤→黄→緑色の順で,はんだ付けする。
======================================================================
↓240904に,2台目を作成した。