強化学習を、クラウドのサーバを使って実行する手順です。
関連
- ◯
- クラウドのコンテナでＧＰＵを使う：GPC, Docker, nvidia-driver, cuda-toolkit
- ◯
- 物理ベースのキャラを、強化学習で自律的に歩かせる：Unity (ML-Agents (Walker)), UnityChan, VRM (VRoid) , DAZ
手順：クラウドでの強化学習
強化学習をビデオモニタがない（ヘッドレスの）サーバで行うときは、次の手順で実行します：［※１］
- ・
- サーバのＯＳに合わせた、ゲームの実行ファイルを作成（ビルド）
- ・
- サーバに、実行ファイル群をコピー
- ・
- サーバのターミナルからコマンドを打ち、学習を開始
コマンドは、ゲーム画面を表示しないので、引数「--no-graphics 」をつけて実行します：
$ cd ${DIR_ML_AGNETS}/ml-agents
$ mlagents-learn config/imitation/${FILE_YAML}.yaml --run-id=${ID_RUN} --env=${DIR_PLAYER}/${FILE_PLAYER}.x86_64 --no-graphics --num-envs=${NUMBER_OF_ENVS}
- ※１
- ここではＧＰＵを搭載したサーバを使っていますが、ただ＜歩かせる＞ことが目的の学習なら、ＧＰＵはほとんど使いません。じっさい、次のような使用率になります：
$ nvidia-smi
Fri Nov 5 13:34:01 2021
+-----------------------------------------------------------------------------+
| NVIDIA-SMI 495.29.05 Driver Version: 495.29.05 CUDA Version: 11.5 |
|-------------------------------+----------------------+----------------------+
| GPU Name Persistence-M| Bus-Id Disp.A | Volatile Uncorr. ECC |
| Fan Temp Perf Pwr:Usage/Cap| Memory-Usage | GPU-Util Compute M. |
| | | MIG M. |
|===============================+======================+======================|
| 0 Tesla T4 On | 00000000:00:04.0 Off | 0 |
| N/A 53C P0 27W / 70W | 1182MiB / 15109MiB | 5% Default |
| | | N/A |
+-------------------------------+----------------------+----------------------+
+-----------------------------------------------------------------------------+
| Processes: |
| GPU GI CI PID Type Process name GPU Memory |
| ID ID Usage |
|=============================================================================|
| 0 N/A N/A 3185 C /usr/bin/python3 1179MiB |
+-----------------------------------------------------------------------------+
$ nvidia-smi --query-gpu=timestamp,name,utilization.gpu,utilization.memory,memory.used,memory.free,memory.used --format=csv -l 1
...
2021/11/05 13:27:00.900, Tesla T4, 5 %, 0 %, 1182 MiB, 13927 MiB, 1182 MiB
2021/11/05 13:27:01.901, Tesla T4, 5 %, 0 %, 1182 MiB, 13927 MiB, 1182 MiB
...