Pengembangan Non-Playable Character Berbasis Akal Imitasi Generatif Untuk Pelatihan Komunikasi pada Orang dengan Demensia

Soeiono, Julio Geraldi (2026) Pengembangan Non-Playable Character Berbasis Akal Imitasi Generatif Untuk Pelatihan Komunikasi pada Orang dengan Demensia. Other thesis, Institut Teknologi Sepuluh Nopember.

Text 5025201079-Undergraduate_Thesis.pdf - Accepted Version Restricted to Repository staff only Download (11MB) | Request a copy

Abstract

Perkembangan teknologi *Virtual Reality* (VR) membuka peluang baru dalam pelatihan komunikasi, khususnya untuk simulasi interaksi dengan pasien demensia. Penelitian ini bertujuan mengembangkan *Non-Playable Character* (NPC) berbasis kecerdasan buatan generatif yang mampu berinteraksi secara verbal dengan pengguna dalam lingkungan VR. NPC dirancang sebagai pasien demensia yang dapat menerima masukan suara pengguna melalui *Speech-to-Text* (STT), menghasilkan respons percakapan menggunakan *Large Language Model* (LLM), serta mengubah respons teks menjadi suara melalui *Text-to-Speech* (TTS). Sistem dikembangkan menggunakan Unity Engine dengan integrasi OpenAI Whisper untuk pengenalan suara, LLM untuk pembentukan respons NPC, serta ElevenLabs untuk menghasilkan suara NPC yang lebih alami. Metode pengembangan yang digunakan adalah *Research and Development* (R&D) dengan model *prototyping*. Proses pengembangan meliputi tahap identifikasi kebutuhan, perancangan sistem, implementasi, pengujian, dan perbaikan secara iteratif. Simulasi dikembangkan dalam dua skenario pelatihan, yaitu skenario *Lupa Sholat* dan *Lupa Makan*, yang disesuaikan dengan karakteristik pasien demensia berdasarkan skenario dari bidang keperawatan. Selain percakapan interaktif, sistem juga dilengkapi dengan *heart score* untuk menilai kualitas respons pengguna serta fitur deteksi emosi auditori berdasarkan intensitas suara pengguna yang diklasifikasikan menjadi *Calm*, *Normal*, dan *Agitated*. Pengujian dilakukan melalui *playtesting* terhadap 15 responden menggunakan kuesioner skala Likert 1–5. Hasil pengujian menunjukkan nilai rata-rata keseluruhan sebesar 4,34 dari 5. Skor tertinggi diperoleh pada aspek kemampuan NPC mempertahankan karakter pasien selama percakapan dengan nilai rata-rata 4,60, sedangkan aspek realisme situasi komunikasi memperoleh nilai rata-rata 4,07. Hasil tersebut menunjukkan bahwa NPC yang dikembangkan mampu mendukung simulasi komunikasi dengan pasien demensia secara interaktif dan cukup realistis. Namun, pengujian ini masih memiliki keterbatasan karena responden yang terlibat bukan mahasiswa keperawatan, sehingga evaluasi lebih lanjut dengan pengguna yang sesuai dengan sasaran pelatihan masih diperlukan pada penelitian berikutnya.
====================================================================================================================================
The development of *Virtual Reality* (VR) technology has created new opportunities for communication training, particularly in simulating interactions with patients with dementia. This study aims to develop a generative artificial intelligence-based *Non-Playable Character* (NPC) capable of interacting verbally with users in a VR environment. The NPC is designed as a dementia patient who can receive user voice input through *Speech-to-Text* (STT), generate conversational responses using a *Large Language Model* (LLM), and convert text responses into speech through *Text-to-Speech* (TTS). The system was developed using Unity Engine by integrating OpenAI Whisper for speech recognition, an LLM for NPC response generation, and ElevenLabs to produce more natural-sounding NPC speech. The development method employed in this study is *Research and Development* (R&D) using a *prototyping* model. The development process consists of requirement identification, system design, implementation, testing, and iterative refinement. The simulation includes two training scenarios, namely *Forgot to Pray* and *Forgot to Eat*, which were designed according to the characteristics of dementia patients based on scenarios provided by the nursing team. In addition to interactive conversations, the system incorporates a *heart score* to assess the quality of user responses and an auditory emotion detection feature based on the intensity of the user's voice, which is classified into *Calm*, *Normal*, and *Agitated*. *Playtesting* was conducted with 15 respondents using a five-point Likert scale questionnaire. The results showed an overall average score of 4.34 out of 5. The highest score was achieved in the NPC's ability to maintain the patient's character throughout the conversation, with an average of 4.60, while the realism of the communication scenario received an average score of 4.07. These findings indicate that the developed NPC is capable of supporting interactive and sufficiently realistic communication training with dementia patients. However, this evaluation is limited because the respondents were not nursing students; therefore, further evaluation involving users from the intended training target is required in future studies.

Item Type:	Thesis (Other)
Uncontrolled Keywords:	Virtual Reality (VR), Pasien Demensia, Akal Imitasi, Virtual Reality (VR), Artificial Intelligence, Patients with Dementia
Subjects:	T Technology > T Technology (General)
Divisions:	Faculty of Intelligent Electrical and Informatics Technology (ELECTICS) > Informatics Engineering > 55201-(S1) Undergraduate Thesis
Depositing User:	Julio Geraldi Soeiono
Date Deposited:	03 Aug 2026 09:26
Last Modified:	03 Aug 2026 09:26
URI:	http://repository.its.ac.id/id/eprint/142193

Actions (login required)

View Item