MkItYs

MkItYs > 

images

音楽・漫画・VR・自律制御

images

いろいろなメディア(音声・音楽・画像・映像/3D・VR・MR)について、それを作るツールをみていきますーーまた、機械が知覚し自律するための人工生命や人工知能についても考えます。

音声/画像/3D/物理演算/機械学習の原理


しくみ
images
N平均律の試み
images
FM音源による音の創造
images
ニューラルネットの万能近似定理と誤差逆伝搬法
images
回帰型ニューラルネットからマルチモーダルへ
つくる
images
3Dグラフィックを描く:Pure Data (GEM)
images
3Dグラフィックを描く+物理演算:Pure Data (GEM, pmpd)
images
シェルのパイプラインをビジュアルに表現する:Pure Data (ggee)

直観的な操作:2D(タブレットを使った創作)


しくみ
images
タブレットとタッチセンサ 〜 デバイスでの創作も直観的なものへ
つくる
images
音楽をタブレットで作る:iPad, microKEY Air, GarageBand
images
イラストをタブレットで描く:iPad, Apple Pencil, Procreate
images
ムービーをタブレットで作る:iPad, iMovie
images
ムービー(アニメーション)をタブレットで作る:iPad, CLIP STUDIO
images
物理演算のサンドボックスでしかけを作る:iPad, Algodoo

直観的な操作:2D(タブレットを使った創作〜漫画・絵本とシングルソース・パブリッシング)


しくみ
images
書籍と印刷のチップス:商業誌/同人誌、縮小印刷/原寸印刷、断ち切り/塗り足し
images
表現と印刷のチップス:カラー/グレースケール/モノクロ、2値化/トーン
images
描画のエンジニアリング:ラスタとベクタ
つくる
images
漫画・絵本を描く最低限の環境:iPad, Apple Pencil, Magic Keyboard, CLIP STUDIO
images
原稿を設定する(紙の本):キャンバス/製本/基本枠、解像度/基本線数:CLIP STUDIO
images
原稿を設定する(ウェブトゥーン):ピクセル、グリッド:CLIP STUDIO
images
地の文と台詞/コマとフキダシ:CLIP STUDIO
images
効率の向上/表現の制約:3Dデータを作る/使う:CLIP STUDIO, VRoid Studio

仮想環境でブロック遊び:3Dのモノをつくる


しくみ
images
3Dのモノをつくる環境(デスクトップとVR):Blender
images
3Dのモノを動かす環境(デスクトップとVR):Unity, Unreal Engine, Godot
つくる
images
3Dのモノをスクラッチからつくる:Blender
images
3Dのモノを変形させる(拡大/縮小):Unity (transform (scale))
images
3Dのモノを変形させる(一部を膨らませる/へこませる):Unity (shader)
images
3Dのモノを変形させる(自在な変形ーーモーフ):Blender (shape key)

仮想環境でブロック遊び:3Dのモノを動かす


しくみ
つくる
images
モノを生成する:Unity (GameObject)
images
モノに境界を付与する(コライダ):Unity (Collider)
images
モノに質量を付与する(リジッドボディ):Unity (Rigidbody)
images
モノどうしをくっつける:Unity (FixedJoint, HingeJoint)

仮想環境でドールハウス:3Dのキャラクタをつくる


しくみ
images
3Dのキャラクタのジェネレータ
つくる

仮想環境でドールハウス:3Dのキャラクタを動かす


しくみ
つくる

仮想環境でドールハウス:3Dのキャラクタを動かす:物理演算


しくみ
つくる

仮想環境でドールハウス:3Dのキャラクタを動かす:物理演算+自律制御


しくみ
つくる

知覚体験の幅を広げる:VR(3Dの環境に入る)


しくみ
images
VR・AR・MR・XR
つくる
images
VRのための最低限の機材#1(手のひらサイズのパソコンと外付けGPU):Intel NUC, eGFX Breakaway Puck, Quest 2
images
VR環境を移動する・拡縮する:Unity (XR.Interaction.Toolkit)
images
VRコントローラで、モノを押す・掴む:Unity (XR.Interaction.Toolkit)
images
VR向けの操作メニューを作る

知覚体験の幅を広げる:MR(現実と3Dの融合)


しくみ
images
バーチャルとリアルと融合させる2つの技術
つくる

3D制作の効率を上げる


しくみ
images
ディクショナリとシリアライザ:C# (Dictionary, XmlSerializer)
images
メタプログラミング:C# (System.Type, FieldInfo)
つくる
images
繰り返しの作業をスクリプトにする:Blender (BPY)
images
制作画面をカスタマイズする(エディタ拡張):Unity (UnityEditor)