MkItYs

MkItYs > 音楽・漫画・VR・自律制御 > 

images

簡易なMRによる造形:Blender, Blender (Freebird XR) , SteamVR, ALVR/ALXR

images

VRでオブジェクトを操作できるプラグインが、Blender で使えるようになりましたーーこれに仮想デスクトップとパススルーを組み合わせ、簡易なMRによる造形を体験します。


images

関連


3Dモデルにポーズをとらせる:Unity (AvatarIKGoal, AvatarIKHint, RigBuilder, TwoBoneIKConstraint) , ControlNet, OpenPose
PC向けのVRアプリを、スタンドアロンのHMDで体験させる:Quest 2, Oculus, ALVR/ALXR, Virtual Desktop
擬似的なパススルー:Quest 2, ALVR/ALXR

概要


Blender はバージョン2.83で、VRに対応しましたーーが、VR空間でオブジェクトを眺められるようにはなったものの(オブジェクトを立体視し〜空間を移動できる)、コントローラでオブジェクトを操作することはできませんでした。[※1][※2]

プラグイン「Freebird XR 」は、Blender のVR空間で、オブジェクトを操作(選択〜移動・回転〜編集)できるようにしたものです。

ここではさらに、VR空間に仮想デスクトップを表示し、パススルーを通してキーボード&マウスもそれなりに使えるようにしますーーこの構成で、簡易なMRによる造形を体験します。


※1
初期の版(2.83)では空間の移動はできず、人が移動することでオブジェクトの背後に回り込めるだけでしたが、その後のアップデートで、空間の移動もできるようになっています:
https://twitter.com/louisdumont/status/1244998901435949057
※2
Blender のVR向けプラグインには(Maya向けのVRも提供する)MARUI-PlugInが提供したBlenderXRもありますが、これはVRでの操作に完全に対応したものですーーコントローラからBlener の各種機能にアクセスできるので便利ですが、そのぶん学習コストは増えることになります(これが現在もメンテナンスされているかは、調べ切れていません):
https://github.com/MARUI-PlugIn/BlenderXR

導入


プラグインは、次からダウンロードします:

https://freebirdxr.com/

プラグインの設置〜操作は、次に説明があります:[※1]

https://freebirdxr.com/beta/

いずれかのVR映像送信サーバをXRランタイムに指定していれば、VR空間で操作できるようになります。


※1
日本語での詳しい解説は、次にあります:
https://forest.watch.impress.co.jp/docs/serial/blenderwthing/1460524.html

手順


MRによるオブジェクト操作
MRによるアニメーション作成

制約


編集時の、VR空間の移動・回転

現状、オブジェクト編集時のVR空間の移動・回転は、すこし面倒ですーーべつの位置・角度から形状を確認するには、編集箇所をいったん非アクティブにしないといけないので、この切り替えがけっこう煩雑になります。

ポーズモードでのアニメーション作成

現状、ポーズモードでは使えません。[※1][※2]


※1
ディスコードではこの機能がかなり望まれているようで、開発者は、次のバージョンで対応する意気込みを示しています。
※2
とりあえずここでは、ゲームエンジン(Unity )上で、MR+ポージングによるアニメーションを試しますーーランタイムなので(複数のアニメーションを一括して扱える)タイムラインは使えず、一関節のアニメーションのみになりますがーーなお、この3Dモデルは、次の作者から提供されています:
https://hub.vroid.com/characters/6524757472248303508/models/1735312209306041515

期待


まだ本格的な編集ができるわけではありませんが、Freebird XR プラグインと仮想デスクトップ+パススルーの併用は、MRでの造形の可能性を垣間みせてくれると思います。