Leonardoで,AI模擬人格との会話用コントローラーを作成(4)

BNO055を使用したコントローラーの開発経緯
 AIagentは,いまやオープンキャンパスなど,色んなとこで引っ張りだこ。前回も本郷OCで高校生たちが興味津々に体験していたが,音声入力キー(Windows+H)など普段使い慣れておらず操作しにくいように見えた。そこで, 9軸センサーBNO055を使用して,キーボードレスの会話用コントローラーを作成しようと思う。使用方法と注意点は,下記の動画に示した。

1. 動画内で使用したプログラム
・BNO055_AIagent:今回使用したArduinoプログラム
・BNO055_tes2:小ネタでしたクォータニオン角でのカーソル操作(上下が弱い)
・BNO055_AgentControleer:カーソル操作+ボタン機能を統合した完成系
・WebcamGPT4V_New.txt:改造後のWebcamGPT4Vのスクリプト
・Changecam.txt:改造前のWebcamGPT4Vのスクリプト

2. ボタンの各機能_240912にカーソル操作を追加

①原点:Unityの基本操作

ボタン機能
ボタン1ゲーム実行/停止(Ctrl+P)
ボタン2カメラの視点交換(F5)
(ボタン2)×2回ボタン2を2回押すとダブルクリック
ボタン3撮影ボタン(F4)

②Y軸(横の傾き)±75°以上:入力の修正ボタン

ボタン1カーソルキー「←」
ボタン2カーソルキー「→」
ボタン3Backspace

③Z軸(前後に倒す)±30°以上:会話ボタン

ボタン1 キャラクタのチェンジ(F6)
ボタン2音声入力(Windows+H)
ボタン3送信(Enter)

3. ピンの接続位置_BNO055
・VIN:5V
・GND:GND
・SDA:D2(PD1)
・SCL:D3(PD0)

黒→赤→黄→緑色の順で,はんだ付けする。

======================================================================

↓240904に,2台目を作成した。

コメントを残す