Susanto, Evan Kusuma (2022) Multi-Goal Procedural Content Generation Menggunakan Deep Reinforcement Learning. Masters thesis, Institut Teknologi Sepuluh Nopember.
Preview |
Text
05111950010013-Master_Thesis.pdf - Accepted Version Download (3MB) | Preview |
Abstract
Mendesain sebuah level pada game adalah sebuah pekerjaan yang memerlukan waktu cukup lama dan sulit diotomasikan. Hal ini karena pada proses desain diperlukan pengalaman dan juga diperlukan pemahaman yang cukup mendalam terhadap mekanisme dan cara kerja dari game yang akan didesain. Telah banyak dilakukan penelitian untuk procedural content generation menggunakan metode search based dan metode machine learning. Namun semua metode yang ditemukan masih memerlukan metode evaluasi yang memerlukan ahli, perlu data training dalam jumlah besar dari ahli, atau hasilnya tidak dapat dikustomisasi sesuai permintaan.
Penelitian ini bertujuan membangun sebuah metode procedural level generation yang dapat membuat sebuah level sesuai dengan keinginan pengguna. Level generator yang dibuat dilatih dengan menggunakan metode multi-goal deep reinforcement learning. Untuk dapat melakukan hal ini, proses mendesain sebuah level game dibuat menjadi sebuah proses iteratif. Level generator hanya dapat memodifikasi satu bagian dari level kemudian sebuah environment mengevaluasi kriteria apa saja yang berhasil dipenuhi. Level generator kemudian akan mengulangi proses modifikasi hingga semua kriteria yang diminta pengguna berhasil terpenuhi. Reinforcement learning digunakan agar level generator dapat mempelajari sendiri modifikasi apa saja yang perlu dilakukan agar level memenuhi semua kriteria yang diminta tanpa perlu campur tangan ahli.
Pada penelitian ini dibuat sebuah level generator untuk game Zelda versi GVGAI. Digunakan 3 ukuran level yang berbeda, yaitu 6x6, 7x9, dan 7x11. Level generator dibuat dengan cara melatih sebuah neural network dengan algoritma multi-goal reinforcement learning DQN + HER dan GCSL. Dari hasil penelitian ditemukan bahwa untuk game Zelda, DQN kurang stabil (success rate turun dan tidak dapat kembali naik) sehingga tidak dapat membuat level generator dengan success rate yang tinggi. Metode GCSL mampu membuat level generator dengan rata-rata success rate 0.838 untuk level berukuran 6x6, 0.477 untuk level berukuran 7x9, 0.364 untuk level berukuran 7x11.
================================================================================================
Designing a video game level takes a long time. It is challenging to automate because the design process requires experience and a deep understanding of the mechanics and workings of the game. Many attempts have been done for procedural content generation using search-based and machine learning methods. However, all the previous methods still require evaluation methods made by experts, require large amounts of training data from experts, or the results cannot be customized according to the user's demand.
This study aims to build a procedural level generation method that can create a level based on user criteria. The level generator is trained using the multi-goal deep reinforcement learning method. To do this, game level design process is transformed into an iterative process. The level generator can only modify one part of the level then an environment evaluates what criteria have been met. The level generator then iteratively modifies the level until every user criteria have been met. Reinforcement learning is used so that the level generator can learn what modifications need to be done so that the level meets all the criteria requested without the need for expert intervention.
In this research, a level generator is made for the GVGAI version of the Zelda game. Three different level sizes are used, which are 6x6, 7x9, and 7x11. The generator level is created by training a neural network with the multi-goal reinforcement learning algorithm DQN + HER and GCSL. This study found that DQN is less stable (success rate goes down and cannot go back up), so it cannot make a generator level with a high success rate. The GCSL method can create a generator level with an average success rate of 0.838 for a 6x6 level, 0.477 for a 7x9 level, 0.364 for an 7x11 level.
| Item Type: | Thesis (Masters) |
|---|---|
| Uncontrolled Keywords: | procedural content generation, level design, deep reinforcement learning, hindsight experience replay |
| Subjects: | Q Science > Q Science (General) > Q325.5 Machine learning. Support vector machines. Q Science > QA Mathematics > QA336 Artificial Intelligence Q Science > QA Mathematics > QA76.87 Neural networks (Computer Science) |
| Divisions: | Faculty of Intelligent Electrical and Informatics Technology (ELECTICS) > Informatics Engineering > 55101-(S2) Master Thesis |
| Depositing User: | Evan Kusuma Susanto |
| Date Deposited: | 06 Feb 2022 06:18 |
| Last Modified: | 23 Sep 2024 01:30 |
| URI: | http://repository.its.ac.id/id/eprint/92846 |
Actions (login required)
 |
View Item |