MkItYs

MkItYs > AI・交渉・物語の自動生成 > 

images

漫画制作を効率化する 〜 3Dによるキャラメイクと、オールインワンの制作過程(仮):Emotion Creators

images

- 2023.08.23

3Dによるキャラメイクとオールインワンの制作過程(仮)を提供するアプリ、「Emotion Creators」の紹介です。


このツール自体は、じっさいの制作に役立つものではありませんーーこういう制作環境があれば、これだけの体験ができる、ということを示すものです。
このページの内容は一般向けですが、ツールの一部に成年向けのアプリを使っていますーーその技術上の理由や倫理上の問題(MODの是非などもふくめ)は、次に記載しています:
VRによるキャラメイクと、成年向けアプリ:VaM, CM3D2/COM3D2, HS, Koikatu, EmoCre

関連


物語のストーリーボードを作る:Storyboard Pro, e-Conte Board, Storyboarder, CLIP STUDIO
漫画・絵本の<寿命>を考える 〜 ウェブでの公開から書籍化まで
漫画の下描きとペン入れ:ラスタレイヤ/ベクタレイヤ:CLIP STUDIO

検証


OS:Windows 10
XRランタイム:SteamVR
XRサーバ:ALVR-Server
XRクライアント:ALXR-Client
HMD:Quest 2

概要



問題

漫画制作の効率を高める手法のひとつに、3Dモデルの導入があリますーーとはいえ、このやり方はほとんど普及していませんよね。[※1]

これには、次のような理由があるのかもしれませんが:

3Dモデルを、漫画独特の表現に対応させるのが難しい[※2]
3Dモデルのあつかいが面倒

このうち[1]は表現の問題なのでいろいろ難しい面がありますけど、[2]は使い勝手の問題ですーー使い勝手なら対応はもうすこしシンプルになりそうなので、ここを掘り下げてみると、次の<面倒さ>があるように思えます:

2−1
3Dモデル(人物・背景・小物)の制作が難しい
2−2
3Dの素材(人物・背景・小物)を集め、シーンを作る過程が面倒[※3]

対応

これらの問題については、たとえば、次のような対応が考えられそうです:

2ー1
キャラをカスタマイズできるようにする/シーンを流用する[※4]
2ー2
制作過程をオールインにするーーキャラメイク〜ポージング〜ステージ作成(舞台・小物)〜シーン制作を、ひとつのアプリで完結させる[※5]

※1
生成AIを使う手法も、かなりこなれてきましたーーとはいえ技術面(望みのキャラやシーンが得られない、構成が安定しない)、法規面(作品の著作権を主張できるかなど)、まだいくつか問題があります。
※2
3Dモデルを使うと、どうしても<硬い絵>になりがちですーー漫画は2次元で構図を考えるため、キャラにせよシーンにせよ歪みが出るのがふつうですが、3Dモデルをそのまま描画すれば、3次元の構成が画面に反映されるだけなので。
※3
CLIP STUDIO には3Dモデルを導入する機能がありますが、モデルの変換がかならずしもうまくいくとはかぎりませんーーマテリアルの調整に時間をとられることもしばしばです。さらにUnity だと、漫画向けのシェーダの選定から始めることになり、相応の手間がかかります。
※4
キャラをカスタイズできるアプリには、DAZ StudioやVRoid Studioなどがありますし、シーンの流用にはSketchfab などが使えそうですね。
※5
過去にこの種のアプリが発売されたことが何度かありますがーーキャラメイクの造形やバリエーションに問題があるものが多かったように思います。

個別:エモーションクリエイターズ



対応

こういった技術面の問題への対応([2ー1]、[2ー2])を、両方とも実現したアプリがありますーー成年向けですが:

エモーションクリエイターズ(イリュージョン)
http://old.illusion.jp/preview/emocre/

効果

男性の成年向けとはいえ、次のような特徴があります:

多彩なキャラメイクができる(男性キャラも作ることが可能)/ステージ(舞台・小物)をパーツ単位で流用できる
オールインの制作過程ーーキャラメイク〜ポージング〜ステージ作成(舞台・小物)〜シーン制作が、ひとつのアプリで完結する
簡易なストーリーテリング機能ーーシーンは複数のカットから構成でき、複数のシーンを遷移させることができるーー遷移には、順序・分岐が使え、ビジュアルなUIで指定できる

これらの機能のおかげで、コマを気軽に作り、それらをつなげてストーリーを展開させることができます:


images
images

課題

このように意欲作といえるアプリですが、課題もたくさんあります:

対象者の問題ーー成年向けなので、ゾーニングの壁がある
著作権の問題ーー制作したキャラやシーンの著作権は、開発元に帰属する
操作面の問題ーー操作しやすいとはいえない(UIが統一されていない/分かりづらい、試行錯誤が難しい(アンドゥ機能がない、性別ごとのキャラ数の固定、……)、……)
表現力の問題ーー抽象的な表現を使うとしても、限定的なシーンしか作れない(老人の表現が難しい、背景に独自の絵をつけられない、……)[※1][※2]

そもそもすでに販売が終了しているので、いまアプリを所有している人しか利用できません……再販が望まれますが、どうも厳しい状況のようですし。


※1
ただ表現力の問題は、複雑さとのトレードオフですしねーー素材のインポート/エクスポートまでできるようにすると、Unity などのゲームエンジンと操作性が変わらなくなっていくでしょうし。表現を拡張するMODもいろいろ公開されていますが、そもそもMODの導入自体、ふつうは敷居が高いものです。
※2
たとえば高齢キャラについては、パラメータの閾値を変えるMODを使えば、それなりに表現できないことはありませんーーとはいえこれは、モデルの破綻を利用しているだけですし:
images

個別:エモーションクリエイターズ、VRーMOD(VRMOD.Template)


Unity 製アプリでVRが体験できるMODを、obtdai氏が公開しています(このアプリ専用ではありません):[※1][※2][※3]

https://github.com/obtdai/VRMOD.Template

もともとはアプリ自体を改変するMODですが(IPA 対応)、差し戻しがかんたんなMOD(BepInEx 対応)としても動かせますーー次を導入し:

https://github.com/BepInEx/BepInEx
https://github.com/BepInEx/IPALoaderX

このMODの次のフォルダ群を、アプリの次のフォルダ下に置きます:

- <dir_app>/ <- <dir_mod>/[Plugins]
- <dir_app>/EmotionCreators_Data/ <- <dir_mod>/IPA/Data/[Plugins]

アプリの起動後は、次のフックで、通常のVRモードになります:

Ctrl+C -> Ctrl+C

※1
VR空間のUIは、デスクトップ画面のオーバーレイです(uDesktopDuplication / uTouchInjection )ーー負荷はそのぶん高くなりますが、他のアプリとの連携が必要な場面もあるので(とくにテキスト)、このアプリには合っていると思います(オーバーレイならXRランタイムの仮想デスクトップもありますが、アプリ側の操作と統一できませんし)。
※2
試した環境では、次の問題を確認していますーーUIの画面が小さい、コントローラのレイが効かない、空間の移動が乱れる、プレイヤの大きさを変更できないーーなお、あくまで汎用のMODなので、アプリに特化されないことによる問題はいろいろあります(モードごとの描画指定が反映されない、など)。
※3
プレイヤの大きさを変更できないのは、VRSettings.xmlのIPDScaleの値が、誤って代入されているためです(ほんらいはRenderScale の値が代入されるべき箇所)ーーEusth 氏のVRGIN からobtdai氏がフォークしたMODをみるかぎり(VRGIN/Core/VRCamera.cs)、たぶん次のように修正すべきかもしれませんがーーただ適用してみると、コントローラやUI画面とは独立にプレイヤが拡縮しますね……コントローラがXRリグの子ノードになってないのかな……:
VRMOD.Template/CoreModule/VRManager.cs
// 現状

#if UNITY_2018_3_OR_NEWER
            UnityEngine.XR.XRSettings.eyeTextureResolutionScale = VR.Settings.IPDScale;
#else
            UnityEngine.VR.VRSettings.renderScale = VR.Settings.IPDScale;
#endif
// 修正

#if UNITY_2018_3_OR_NEWER
            UnityEngine.XR.XRSettings.eyeTextureResolutionScale = VR.Settings.RenderScale;
#else
            UnityEngine.VR.VRSettings.renderScale = VR.Settings.RenderScale;
#endif
VRMOD.Template/CoreModule/VRCamera.cs
// 現状

        protected override void OnAwake()
        {
           ...
            _SteamVR_Camera = gameObject.AddComponent<SteamVR_Camera>();

            return;
        }
// 修正

        protected override void OnAwake()
        {
           ...
            _SteamVR_Camera = gameObject.AddComponent<SteamVR_Camera>();

            SteamVR_Camera c;
            c =_SteamVR_Camera.GetComponent<SteamVR_Camera>();
            c.origin.localScale = Vector3.one * VR.Settings.IPDScale;

            return;
        }

個別:エモーションクリエイターズ、VRーMOD(EC_VRcont2B )


このアプリ向けにVRMOD.Templateを改良したMODを、toitoi氏が公開しています:

https://yuki-portal.com/uploader/emotioncreator/52532/

もとのMODの問題はほぼ解決され、このアプリに特化した機能も実装されています(モードごとの描画指定が反映される、シーン上の配置をコントローラで行える、など)。[※1][※2]

とくにVRの各種設定を(VRSettings.xmlでなく)BepInEx.ConfigurationManagerを使ってアプリ内からも動的に変えられるようにしてあるので、いろいろな設定を気軽に試せますーーこういった改変ふくめ、すべての操作がシンプルで直観的なので、かなり使いやすいMODになっていると感じます。


※1
シーンのメイク/プレイを実行したあと、キャラメイクを行うと、シーンの描画指定(人物や背景の状態)が引き継がれてしまいますーーこれは問題なのかもしれませんが、シーンと同じ見え方でキャラメイクができるので、むしろこの方がいいのではないかと思ったり(コミック調のシーンなら、モノクロでキャラメイクができる)。それにパススルーでキャラメイクをしたいときにも、このふるまいが使えます(ALVR/ALXR の環境で、キャラメイクの前にシーンのメイクを実行し、背景を黒にするーーこれで現実のキーボード&マウスがみえるようになるので、数値入力などを楽に行える)ーーこれはたぶん現時点で、もっとも理想に近いMRのキャラメイク環境かもしれません。
※2
こちらからもいくつか要望を上げたりしたのですが(UI画面の配置やプレイヤの大きさなど)、いずれも的確に対応してもらえましたーー感謝です!