２Ｄ／３Ｄキャラクタの造形と、ＸＲやＡＩによる操作のまとめです。
３Ｄキャラを作る
- ◯
- ３Ｄキャラを作る
- ・
- ３Ｄキャラをカスタマイズする：リアル調／アニメ調：DAZ Studio
- ・
- ３Ｄキャラをカスタマイズする：アニメ調：VRoid Studio
- ・
- キャラクタ・メイキング（容姿や体型を変える／表情を変える／髪や服を取り替える）：Unity (BlendShapes, Hair, Cloth) , DAZ, VRoid
- ※
- 補足：簡易なＭＲによるキャラメイクとアニメーション作成：VaM, VaM (Timeline) , SteamVR, ALVR/ALXR
- ※
- 補足：創造の拡張 〜 現実ではできないことを体験する（ドールハウス）
- ◯
- ３Ｄキャラを操作
- ・
- ３Ｄモデルにポーズをとらせる：Unity (AvatarIKGoal, AvatarIKHint, RigBuilder, TwoBoneIKConstraint) , ControlNet, OpenPose
- ◯
- ３Ｄキャラの重み（ＸＲと物理演算）
- ・
- ３Ｄのキャラクタを物理ベースのキャラにする：Unity (ConfigurableJoint) , UnityChan, VRM (VRoid) , DAZ
- ・
- 物理ベースのキャラにアニメーションをコピーする：Unity (ConfigurableJoint) , UnityChan, VRM (VRoid) , DAZ
- ・
- 物理ベースのキャラに実在感を与える（振り向かせる、重みや抵抗、など）：Unity (Quaternion)
- ※
- 補足：汎用ジョイントの基本（物理ベースのキャラを動かす力）：Unity (ConfiguarableJoint)
- ※
- 補足：アクティブラグドール／能動的なジョイント（物理ベースのキャラ）
- ◯
- ３Ｄキャラと対話（ＡＩとチャット）
- ・
- 大規模言語モデル／音声認識／音声合成／感情分析を使う：ChatGPT (gpt-3.5-turbo) , GPT-3 (text-davinci-003) , FlexGen, Azure Cognitive Services (Speech SDK)
- ・
- ウェブのストリームサーバを作る：SSE, Node.js (http) , Apache (NPH) , JavaScript (EventSource) , Python (PycURL, Requests) , curl
- ※
- 補足：大規模言語モデルに物語を語らせる［その＃１］ 〜 逆説：ChatGPT, GPT-4
- ※
- 補足：大規模言語モデルに物語を語らせる［その＃２］ 〜 異化（宇宙人の視点）：ChatGPT, GPT-4
- ※
- 補足：大規模言語モデルに物語を語らせる［その＃３］ 〜 真相（じつは良いヤツだった）：ChatGPT, GPT-4
- ※
- 補足：ChatGPT (GPT-3.5) にPrologで関係のルールを教えてみる：GPT-3.5, Prolog (SWI-Prolog)
- ※
- 補足：ChatGPT (GPT-4) にPrologで関係のルールを教えてみる：GPT-4, Prolog (SWI-Prolog)
- ◯
- ３Ｄキャラの自律（ＡＩと強化学習）
- ・
- 物理ベースのキャラを強化学習向けに調整する：Unity (ML-Agents (Walker)) , UnityChan, VRM (VRoid) , DAZ
- ・
- 物理ベースのキャラを、強化学習で自律的に歩かせる：Unity (ML-Agents (Walker)), UnityChan, VRM (VRoid) , DAZ
- ・
- ヒトの歩く姿勢に近づける＃１（創発手法）：Unity (ML-Agents (Walker)), PPO, VRM (VRoid)
- ・
- ヒトの歩く姿勢に近づける＃２（模倣学習）：Unity (ML-Agents (Walker)), GAIL, UnityChan
- ・
- ML-Agents の低レベルＡＰＩを使う（トレーニング編）：LLAPI, Python, Unity
- ・
- ML-Agents の低レベルＡＰＩを使う（ＮＮモデル適用編）：LLAPI, Barracuda, ONNX
- ※
- 補足：強化学習＆ニューラルネットで＜歩かせる＞：Unity (ML-Agents (Walker))
- ※
- 補足：強化学習のためのシンプルな環境：Farama Gymnasium, OpenAI Gym, Docker, X Window System, Pyglet, pygame, tkinter
- ※
- 補足：世界モデルの試み（I-JEPA）を、非力なＧＰＵ（T4）で動かしてみる：I-JEPA, Docker, GCP
- ※
- 補足：人工生命のベンチマーク：Evolution Gym, X Window (XQuartz) , Docker
２Ｄキャラを作る
- ◯
- ２Ｄキャラを召喚
- ・
- プロンプトを与えて画像を生成させる（クラウドのコンテテで）：Diffusers, Stable Diffusion, waifu-diffusion, NSFW, Ubuntu, Docker, GCP
- ・
- プロンプトを与えて画像を生成させる（クラウドのコンテテで）：sd-scripts, Ubuntu, Docker, GCP
- ・
- プロンプトを与えて画像を生成させる（クラウドのコンテテで）：Stable-Diffusion-WebUI, Ubuntu, Docker, GCP
- ・
- 拡散モデルのチューナ／マージャ：Dreambooth Extension for Stable-Diffusion-WebUI, sd-scripts, Additional Networks for generating images
- ※
- 補足：拡散モデルの調整パターン：DreamBooth/LoRA
- ※
- 補足：系列データの処理とマルチモーダル：Transformer, CLIP
- ◯
- ２Ｄキャラを描く
- ・
- 漫画の下描きとペン入れ：ラスタレイヤ／ベクタレイヤ：CLIP STUDIO
- ※
- 補足：漫画制作を効率化する 〜 ３Ｄによるキャラメイクと、オールインワンの制作過程（仮）：Emotion Creators
- ※
- 補足：漫画・絵本の＜寿命＞を考える 〜 ウェブでの公開から書籍化まで
ＸＲの環境を作る
- ◯
- ＶＲの環境を作る
- ・
- ＶＲのための最低限の機材＃２（クラウドＧＰＵ）：GCP, Quest 2, Virtual Desktop
- ・
- ＰＣ向けのＶＲアプリを、スタンドアロンのＨＭＤで体験させる：Quest 2, Oculus, ALVR/ALXR, Virtual Desktop
- ◯
- ＭＲの環境を作る
- ・
- パススルーの設定（ＭＲ：現実との融合）：Quest 2, Oculus, Unity (OculusIntegration (OVRManager))
- ・
- 擬似的なパススルー：Quest 2, ALVR/ALXR
- ◯
- マルチプレイ環境
- ・
- ネットワークとマルチプレイ 〜 シンプルな実装：Unity (Netcode)
- ※
- 補足：作ったアプリを携帯端末やＨＭＤで動かす：Android (Quest 2) , adb
ＡＩの環境を作る
- ◯
- ＡＩの環境を作る
- ・
- クラウドのコンテナでＧＰＵを使う：GPC, Docker, nvidia-driver, cuda-toolkit
- ・
- コンテナの各種メディアを、遠隔からあつかう（音声・画像・映像）：Docker, ssh, rsync, sshfs, nginx, Tk (tkinter) , OpenCV, Jupyter Notebook
- ・
- コンテナに強化学習のフレームワークを設置する：Docker, ML-Agents
- ※
- 補足：コンテナを一般ユーザで使う：Linux (Ubuntu) , Docker (Rootless) , GPU, NFS