今回は就活のポートフォリオの作成のため、自分が作成した風景のまとめをします。
上の画像は、2024年の12月頃に作成していた埼玉県長瀞市の川沿いをunityで作成したものです。この頃はunityの標準機能とNatureManufactureとRiverAutoMaterialとVegetationStudioを使用して長瀞を作成していた。今見るとこっちのほうがきれいに見えてくる・・・
こっちの画像はいま現段階でMicroverseを使用して作成している長瀞だ。こっちのほうが環境も大きくいいと感じるが、細部をまだ凝る必要がある。また、見どころがあまりないのが困ったところ。以上が現状の報告である。
コミュニケーションに必要な認識はブラウザで行う時代に！
WebGL版AIエージェントの音声認識に試用しているWebGL Speechというアセットが動作しなくなり（ブラウザのセキュリティ強化のせい？）音声会話に支障が出ている。WebGL版OpenGLの遅さや、Web版Mediapipeの充実を鑑みるに、「CGなどUnityでしかできないものはWebGLに、音声や表情など各種認識はブラウザに」という機能の棲み分けが今後一般的になるのではないか！？コミュニケーションに必要な認識能力はブラウザに統合されるという時代の流れがあるとの読みだ。
音声認識
ちょいとo4miniに作成してもらう。「Web Speech API（webkitSpeechRecognition）でブラウザに表示したテキストエリアに、発話した内容を表示するデモプログラムを作成してくれませんか？Javascriptで」完成したデモは十分すぎる仕上がりだ。音声認識はブラウザで受けて、それをWebGLアプリで吸い上げる作戦だ。
表情認識
表情認識は、Googleのデモをベースにやはりo4miniに作成してもらう。こちらは少々苦戦したが、左右反転なしでFaceMeshも表示されるデモを作ってもらえた。
なによりも朗報なのは、iPadでも動作するということだろうか。
音声と表情をブラウザで同時に認識する
上記で作成したJSは，Unityのプラグインとして記述し，WebGLビルドに含めることができる。晴れて「ブラウザで認識した音声+表情をWebGLへ送る」アイデアが実現した。o3様々だ。しかし，デバッグするためにビルドする必要があるという問題が残る。Unityエディタで開発中は，ブラウザで認識した情報を受取ることはできないの？o3曰く，Websocketを使えば良い。そのためには，Websocket-sharpが必要とのこと。これで開発中も音声+表情認識が無事に使えるようになった。やった！！o3の使用制限はあと24回になっちゃったけど。
ブラウザでFER2013を動かす
MediaPipeがJSで動いて、その結果をUnityWebGLに呼び込めるなら、OpenCVで使っていたFER2013モデルも読み込めないのだろうか？これは、TensorFlows.jsというものがあり、そのラッパーであるface-api.jsを利用すれば良いようだ。モデルをDLして配置して、エラーを見ながらo4-miniに相談すると、無事ブラウザで動かすことに成功した。楽しい～！これもアリですね。
一連の会話
ブラウザでFER2013動かすデモ
理学療法中の患者さんが抱えやすい「つらさ」「不安」「あきらめ」「無力感」「怒り」の5つの感情に注目し、実際に口にしそうな言葉を集めました。AIに感情表現を学習させるための素材として作成しましたが、同時に患者さんの心の声に耳を傾ける手がかりにもなればと思います。
■ つらさ（身体的・精神的な苦痛）
毎回痛みに耐えるだけで、ぐったりしてしまうんです。
やるたびに痛みが増していく気がして、怖いです。
「慣れれば楽になりますよ」って言われても、全然楽にならない。
少し動かしただけで、こんなにつらいなんて思わなかった。
人と話す気力も、笑う余裕も、もう残ってないです。
寝ても起きても痛くて、逃げ場がありません。
リハビリに行くのが、だんだん怖くなってきました。
体だけじゃなく、心まで壊れていくような気がしてます。
■ 不安（先が見えないことへの恐れや心配）
もしこのまま治らなかったら…って考えると夜も眠れません。
退院後に一人で生活できる気がしなくて、不安で仕方ないです。
「もう少しですね」って言葉が、逆にプレッシャーになります。
この先、自分に何ができるのかまったく見えないんです。
良くなるって信じたいけど、実感がないと不安になります。
周りに「がんばれ」って言われるほど、不安だけが大きくなります。
わたし、ちゃんと前に進めてるんでしょうか。
毎日が不安の塊で、息苦しくなります。
■ あきらめ（希望を失ったり、努力する意味を見いだせない状態）
もう何をしても、変わらない気がしてきました。
リハビリに行く意味、最近はわからなくなってます。
回復を信じたい気持ちが、日に日に薄れていきます。
毎日同じ訓練をしてるだけで、空虚な気持ちになります。
頑張っても報われないなら、もう頑張らなくてもいいかなって。
期待するたびに、裏切られてる気がするんです。
希望を持つのが怖くなってきました。
「いつかきっと良くなるよ」って言葉が、ただの慰めにしか聞こえません。
■ 無力感（できない・役に立てない自分への落胆）
自分の体が、自分のものじゃないみたいに感じます。
周りが助けてくれてるのに、何もできない自分がつらいです。
手すりにすがって立つだけなのに、なぜこんなにもつらいんでしょう。
日常のちょっとしたことさえできなくなってしまって、情けないです。
リハビリ中に「またダメだった」と思う瞬間が、一番つらいです。
自分がどんどん役立たずになっていく気がして、涙が出ます。
できてたことができなくなっていくのを、ただ見てるしかないんです。
これ以上、家族に迷惑かけたくないけど、できることが何もない。
■ 怒り（他者や状況、自分自身への苛立ちや怒り）
なんで自分だけが、こんな目にあうんですか。
痛いって何度も言ってるのに、わかってもらえないのが腹立たしいです。
「がんばれば良くなる」って簡単に言わないでほしい。
なんであの日、怪我なんかしたんだろうって、自分が憎くなる。
他人事みたいな口ぶりで励まされても、正直ムカつきます。
周りは普通に歩いてるのに、自分だけ…って考えると悔しくて涙が出ます。
痛みが続くたびに、どうしてこんな体になったんだって怒りが湧いてきます。
もうこれ以上、「もうちょっとだけ」とか言われたくないんです！