Deteksi Emosi dalam Meningkatkan Efektivitas Studi Pengguna pada Virtual Reality untuk Edukasi Keperawatan Demensia

Alekhine, Julius (2025) Deteksi Emosi dalam Meningkatkan Efektivitas Studi Pengguna pada Virtual Reality untuk Edukasi Keperawatan Demensia. Masters thesis, Institut Teknologi Sepuluh Nopember.

Text 6025231036-Master_Thesis.pdf - Accepted Version Restricted to Repository staff only Download (3MB) | Request a copy

Abstract

Penelitian ini berfokus pada pengembangan dan penerapan sistem deteksi emosi sebagai bagian terintegrasi yang menganalisis pengalaman pengguna selama penggunaan gim edukatif berbasis Virtual Reality (VR) bernama ASA, yang dirancang untuk pembelajaran keperawatan demensia. Studi ini menekankan pada aspek teknis dari pengukuran emosi pengguna menggunakan kombinasi metode Exemplar Generative Adversarial Network (EXE-GAN) dan Google Vision API untuk mendeteksi ekspresi wajah, meskipun sebagian wajah tertutup oleh perangkat VR.
Sistem deteksi emosi ini digunakan untuk menangkap dinamika emosi peserta selama berinteraksi dalam skenario perawatan simulasi, guna memberikan wawasan tambahan terhadap dampak emosional yang muncul dalam proses belajar. Data pengalaman pengguna dikumpulkan melalui survei pasca-uji (post-test) dan dibandingkan dengan hasil deteksi emosi untuk mengevaluasi potensi korelasi antara persepsi pengguna dan respons emosional selama penggunaan VR.
Hasil uji menunjukkan bahwa penggunaan EXE-GAN sebelum tahap analisis oleh Google Vision API mampu meningkatkan akurasi deteksi emosi. Kombinasi ini menghasilkan nilai korelasi Spearman yang lebih tinggi serta penurunan nilai p-value dibandingkan dengan penggunaan Google Vision API saja. Temuan ini mendukung integrasi deteksi emosi berbasis AI sebagai pendekatan adaptif dalam mengevaluasi efektivitas pengalaman belajar berbasis VR untuk edukasi keperawatan demensia.
======================================================================================================================================
This study focuses on the development and implementation of an emotion detection system as an integrated component to analyze user experiences during the use of a Virtual Reality (VR)-based educational game called ASA, designed for dementia care training. The study emphasizes the technical aspects of measuring user emotions by employing a combination of Exemplar Generative Adversarial Network (EXE-GAN) and the Google Vision API to detect facial expressions, even when parts of the face are obscured by a VR headset.
The emotion detection system is used to capture the emotional dynamics of participants while interacting within simulated caregiving scenarios, providing additional insights into the emotional impact of the learning process. User experience data was collected through post-session surveys and compared with emotion detection results to evaluate the potential correlation between user perceptions and emotional responses during VR usage.
Test results show that using EXE-GAN before analysis with the Google Vision API improves the accuracy of emotion detection. This combination yields stronger Spearman correlation values and lower p-values compared to using Google Vision API alone. These findings support the integration of AI-based emotion detection as an adaptive approach in evaluating the effectiveness of VR-based learning experiences for dementia care education.

Item Type:	Thesis (Masters)
Uncontrolled Keywords:	Demensia, Gim Bermain Peran, Realitas Visual, Deteksi Emosi, Google Vision, GAN
Subjects:	T Technology > T Technology (General) > T58.5 Information technology. IT--Auditing T Technology > T Technology (General) > T59.7 Human-machine systems.
Divisions:	Faculty of Intelligent Electrical and Informatics Technology (ELECTICS) > Information System > 59101-(S2) Master Thesis
Depositing User:	Julius Alekhine
Date Deposited:	11 Aug 2025 10:17
Last Modified:	14 Aug 2025 01:14
URI:	http://repository.its.ac.id/id/eprint/128066

Actions (login required)

View Item