MocapForAllというアプリがある。複数のWebCamでキャプチャできる。デモ動画を見る限りは，けっこう正確にサンプルできているような。本当だったらスゲーな！
・・・複数のカメラとCVを組み合わせるのは良いとして，各カメラの関係をどうやって測定するのか。それをARで解決してるのは賢いな！このひと多分日本人だね？もう1.5年くらい開発してるって言うし，アリじゃないのか！？

AIエージェントに必要なノンバーバルコミュニケーション
GPTにチャットが加わったことで、大規模言語AIは爆発的に普及した。つまり偉大なテクノロジーもインターフェイス次第ということだ。AIエージェントにとって、ノンバーバルコミュニケーション能力はインターフェイスだ。これらを強化することで、GPT→ChatGPTのようなインパクトが生じうる・・・はず。

エージェントに実装されるノンバーバル技能は３種類だ。
・表情・・・文脈に応じて笑う、眉を潜めるなど。
・ジェスチャ・・・文脈に応じて頷く、首をふるなど。
・視線・・・自信のないときは目線をそらすなど。
これらを充実させてコミュニケーションに統合することで、やがて違和感は消失に近づく・・・と思われる。

思考が拡散するのはリラックスしてる証拠だろうか・・・。そもそもUDPで送るのならOpenCVにこだわる必要もないし，もっと使いやすい表情分析ソリューションはないのだろうか？
Py-Feat
Python用の表情認識ツールキット。7表情やAU，特徴点，頭部の姿勢もわかる。これ・・・GPTの作成するプログラムで直ぐに動きそうに思うが。
Py-Featを使って表情認識をやってみた 基本的な使い方がわかる。
表情分析OSS Py-Featをつかってみた 頭部の姿勢検出が強力とある。

FER（Facial Expression Recognition）
これがOpenCVの元ネタに思える。

Microsoft AZURE
顔認識のサービスがある

Affectiva
かなり昔からある感情評定サービス。Unity用SDKがあるらしい。ブラウザで動作するデモが秀逸。ああ，これくらいだと利用しやすいんだけどなぁ・・・

プロジェクトはWindowsネイティブアプリ用に
WebGLアプリはUDPで表情認識AIの情報受け取れないし・・・一体どうしたらよいのか。結局，WebGL版の模擬人格プロジェクトをコピーして，Windowsネイティブアプリにしてビルドしてみたら，意外に良い感じで動いたので，こちらで行くことにしました。プロジェクトの名前はNative6です。ビルドターゲットのスイッチは7分弱かかって，頻繁に行うのは現実的じゃないです。
表情データの送信方式
遅きに失した感もありますが，オープンCVで認識した感情データをudpで送る部分はすでにできていたので，後はAIの情報を受け取るプログラムをGPT4oに作成してもらい，そこから感情情報を抜き出し，コミュニケーションに加味できるように，調整してみました。
実際に動かしてみて
感想としては，感情認識のタイミングがOpenAIへの問い合わせ依存なので，ややテンポが遅いようにも感じる。しかし現実のコミュニケーションも案外こんなもんかもしれない。
1.リアルタイムで感情模倣が起こることが大切なのか
2.GPT4oにこちらの感情状態が伝わることが大切なのか
どちらにしても表情を合わせてくれるので，これらの要因が実際のコミュニケーションでどんな風に機能するのかまだよくわからない。生きた人間のコミュニケーションでは，相手の（時として細やかな）表情を瞬時に読み取り，相手の意図や，コミュニケーション内容の真偽を直感的に評定していたりする。こういったコミュニケーションがAIエージェントに果たして可能なのか，そもそも必要なのか，研究はまだ始まったばかりだから分からないことだらけだ。

PsychoPyと外部プログラムの連携
ここでは，下記のようなシンプルな実験プロジェクトに外部プログラムで測定した測定結果をUDPで送り込み保存してみる。プロジェクトは，Fixation（＋）の後にTarget（□）が出るので，スペースキーを押すと，反応時間が記録されるというもの。

BuilderのPythonマーク（青と黄のヘビ）をクリックすると，Coderが起動する。ここでコードを改造すると，UnityやProcessingからのデータを受け取ることができる。ただし，Builderでコードを生成すると，改造部分はすべて消し飛ぶので注意が必要だ。

まず冒頭で，ライブラリを呼んで，グローバル変数とUDPでデータを受け取るサブルーチンを用意する。

############# NAGANO #################
import socket
import threading

# UDPソケット設定
UDP_IP = "127.0.0.1"  # 受信するIPアドレス
UDP_PORT = 5005       # ポート番号

# グローバル変数に最新のUDPデータを格納
latest_udp_data = "No Data"

def udp_listener():
    """非同期でUDPデータを受信する関数"""
    global latest_udp_data
    sock = socket.socket(socket.AF_INET, socket.SOCK_DGRAM)
    sock.bind((UDP_IP, UDP_PORT))
    while True:
        data, addr = sock.recvfrom(1024)  # 1024バイトまで受信
        latest_udp_data = data.decode("utf-8")  # デコードして文字列に
############# NAGANO #################

次にプログラム開始部分でスレッドをスタートする。

    win = setupWindow(expInfo=expInfo)
    setupDevices(expInfo=expInfo, thisExp=thisExp, win=win)
    
    ############# NAGANO #################
    # UDPリスナーをスレッドで起動
    udp_thread = threading.Thread(target=udp_listener, daemon=True)
    udp_thread.start()    
    ############# NAGANO #################

でさらに，UDPでうけとったデータを保存する。データの受取は，別スレッドが非同期で行ってくれる。

                    key_resp_target.duration = _key_resp_target_allKeys[-1].duration
                    
                    ############# NAGANO #################
                    # UDPデータをログに記録
                    thisExp.addData('UDP_Data', latest_udp_data)
                    thisExp.addData('KeyPress_Time', globalClock.getTime())  # キー押下時刻も記録
                    ############# NAGANO #################
        
                    # a response ends the routine
                    continueRoutine = False

実行すると，以下のような感じでUDP経由で送られたデータが保存される。ちなみに，データ送信側は，ローカルホストの5005ポートにProcessingでCerry，Diamond，Sevenのどれかひとつの文字列を送るもの。もう一度いうが，Builderで更新するとこれらの改造部分は消し飛ぶので注意！

VoiceVOXやCoeiroInkのSpeakerIDが必要になるときがある。・・・あるんだってば。VoiceVOXに関してはここから参照。

CoeiroINKは下記のような感じ
//つくよみちゃん（れいせい） 0
//つくよみちゃん（おしとやか） 5
//つくよみちゃん（元気） 6
//KANA（のーまる） 30
//KANA（えんげき） 31
//KANA（ほうかご） 32
//リリンちゃん（ノーマル） 90
//リリンちゃん（ささやき） 91
//モモイヒナ-A 1737595468
//KAKU_N 259
//KAKU_W 260

FacialExpressionRecognitionAI
UnityのOpenCVで表情判定を行い、その結果をさらにUDPでProcessingに送る。詳しくは動画に。

Regardless of Outcome. Cosmic Evolutionなど
Solar SonarのSoaring
Sur Sagano How to Heal

Unity用のDlibライブラリ，結構速かったように思う。フルバージョンでなく17ポイントバージョンなどを使えば高速化が期待できる。最新版に更新して試してみると，「sp_human_face_68_for_mobile」などのモバイル版モデルが入っていた（前から？）。ということは，WebGLでも高速な笑顔検出ができるのでは？？試してみると普通に30FPS（おそらく内部的にはもっと？）出てる。ARHeadでは，頭部の姿勢推定も可能となっているはず。。。こちらもEnableDownscaleで30FPS出るようになった。笑顔推定をDlibで行えばAffectiveGamesも実運用可能と思われる。

あらためて冷静に見ると，WebCamで画面との距離や頭の姿勢，表情判定に使用可能な68特徴点を連続的に取得できるのは，かなりお得じゃないか？しかもWebGLでって。お手軽データ測定にこれを導入してみるのも良いかもしんない。

導入
いただきました，その名前。今日，諸先生がたと立ち話した収穫として，「クソゲー連発案は有用であること」，「感情把握アプリは老人業界にも有用」などのこと。FaceAnalyzerはよく見るとWebGL未対応のようで，そうなるとOpenGLでやるしかない。WebGLだとブラウザ立ち上げるだけで，AffectiveComputing技術ベースのアプリが利用できる可能性がある。
善は急げでビルドしてみる・・・
OpenCV4Unityはサポートバージョンが上がっていたので，いっそUnity6にしてみるが・・・ビルドできず（泣）。マニュアルを読むと，バージョンによってWebGLのプラグインが異なるらしいので，2023.2.20にしてみる。ビルドは通るが公式DEMOより明らかに遅い！何故だ！！MultiThredとSIMDを有効にしてみる・・・「ブラウザはマルチスレッドをサポートしてません（FirefoxもChromeも）」で起動すらせず。SIMDのみにしてみる。無事に動作した！　これで表情利用したWebGLアプリをリリースできそうだ。・・・動作が13fpsなのが気になる。解像度を320ｘ240にすると22FPSに。もう少し速くなるといいんだけどなぁ。科学技術のげ限界っ！

遅い・・・
どうも純粋にCPUを使っており、かつシングルスレッドのためか、かなり遅い。Corei5_9600kで6.7FPSは衝撃の遅さだ(Ryzen7_6800Uの方が速い)。AIアプリの実行環境はPCネイティブ環境しかダメということか・・・。いっそAndroidに行くというのは？手持ちで一番速そうなHelioG99にAndroidネイティブアプリを入れてみると、19～22FPS程度。WebGLよりは速いけど、ちょっと・・・なぁ。

マルチスレッド対応の効果見られず
WebGLはUnity2022あたりからマルチスレッドに対応しているという。そこでマルチスレッド対応バージョンをビルドしてみた。ブラウザが「マルチスレッドに対応していません」と言う場合は，下記のヘッダを.htaccessで設置すれば動くようになる。アプリがロード中に止まるのはメモリ不足なので，使用可能メモリを倍にすればロードするようになる。結果として，フレームレート変わらねぇ・・（怒）。プログラムがマルチスレッド対応してないと意味ないということか？

<IfModule mod_headers.c>
    Header set Cross-Origin-Opener-Policy "same-origin"
    Header set Cross-Origin-Embedder-Policy "require-corp"
</IfModule>

導入
自動車の中でAIと会話する未来は「ほぼ確定」だと思う。いろいろ便利だし，気晴らしになるし，運転中一人で寂しいし・・・。OS標準の音声認識はいろいろボタンを押さなければならず，運転中の操作には問題がある。googleSTT（SpeechToText）やWhisperを使えば，ハンズフリーで会話ができるはずだ（OpenAIアプリのように）。PCアプリであっても，キー操作が必要なくなればより没入感というか，人と話してる感が高まるのではないか？
Whisper対応を強化
すでにUnityから利用可能なように知見を貯めていたが，ハンズフリーを目指して大幅介入だ。以前のバージョンはRecordを押して喋りStopを押すと変換されたが，これは２度もボタンを押さねばならん（しかも違うボタン）。次はRecordを押すと録音が始まり離すと変換される形式。最終的には音圧をチェックし，しきい値を超えたら録音開始，下回ったら停止して変換。これなら連続して変換が可能だ。画像じゃわからないので，動作の様子を録画しようと思う。明日にでも・・・。

googleのSpeechToTextAPIをアセットから使う方法。APIの作成がちょっとめんどくさいので残しておく。
【Unity】自分の声をテキスト化する方法【Google Cloud Speech Recognition 】
AIzaSyDq1sCszZ4oVelnKgRUuBznmKLwbecvIus