MkItYs

MkItYs > 音楽・漫画・VR・自律制御 > 

images

3Dモデルにポーズをとらせる:Unity (AvatarIKGoal, AvatarIKHint, RigBuilder, TwoBoneIKConstraint) , ControlNet, OpenPose

images

IKのライブラリ群を使うことで、3Dモデルの直観的なポージングが実現できます。

関連


3Dキャラをカスタマイズする:アニメ調:VRoid Studio
仮想環境でドールハウス:3Dのキャラクタをつくる
機械とヒトの対話(プロンプトエンジニアリング)

検証


アプリ:Unity 2021.2.8f1
ライブラリ:UniVRM 0.108
ライブラリ:Oculus Integration 46.0
HMD:Quest 2

IKライブラリ群


Unity にはIKのためのライブラリ群(AvatarIKGoal, AvatarIKHint, etc.)が用意されていますーーこれらを使えば、直観的な操作で3Dモデルにポーズをとらせることができます:[※1][※2]


※1
この3Dモデルは、動画から人体の姿勢を検出するのに使われています:
実装:ライブラリ(OpenPose)
実装:ライブラリ(HyperPose)
※2
とくにStable DiffusionのControlNetが公開されて、このモデルはより知られるようになったのではないでしょうかーー論文の公開から、ポージング用の3Dモデルとして汎用のVRM 形式が公開されるまでたった1週間ーー画像生成系の技術が世間に拡散するスピードは、目を見張るものがありますね:
論文(Adding Conditional Control to Text-to-Image Diffusion Models)
実装:ライブラリ(ControlNet)
実装:ライブラリ(sd-webui-controlnet)
実装:NNモデル(lllyasviel/ControlNet)
実装:3Dモデル(OpenPose (HyperPose) , VRM)