Pontoh, Sarah Hanifah (2024) Pengembangan Aplikasi Serious Game untuk Melatih Pengenalan Ekspresi Wajah pada Anak dengan Gangguan Spektrum Autisme Menggunakan Model MobileNet. Other thesis, Institut Teknologi Sepuluh Nopember.
![[thumbnail of 5027201006-Undergraduate_Thesis.pdf]](http://repository.its.ac.id/style/images/fileicons/text.png) |
Text
5027201006-Undergraduate_Thesis.pdf - Accepted Version Restricted to Repository staff only until 1 October 2026. Download (11MB) | Request a copy |
Abstract
Kemampuan intuitif manusia untuk memahami emosi seseorang melalui ekspresi wajah memiliki peran penting dalam interaksi sosial sehari-hari. Namun, pada anak dengan gangguan spektrum autisme (autism spectrum disorder), kemampuan ini sering terganggu dan terhambat, sehingga mempengaruhi interaksi sosial mereka. Studi membuktikan bahwa anak pengidap autisme familier dengan teknologi seperti smartphone dan video game. Penelitian ini mengusulkan solusi berupa aplikasi serious game berbasis mobile sebagai sarana edukasi untuk membantu anak pengidap autisme belajar dan berlatih mengenali emosi melalui ekspresi wajah. Serious game dianggap sebagai sarana edukasi yang tepat karena memanfaatkan empat pilar dalam pembelajaran, yaitu atensi atau perhatian, active learning, feedback, dan konsolidasi. Teknik gamifikasi yang digunakan adalah dengan menggunakan permainan ular tangga yang memberikan prompt kepada pengguna (anak dengan autisme) untuk menirukan ekspresi wajah yang muncul pada game. Aplikasi juga mengukur tingkat akurasi ekspresi wajah yang ditampilkan pengguna dengan model MobileNet, yang mana nilai akurasi ini akan dijadikan skor dalam permainan untuk meningkatkan engagement pengguna dengan game. Model yang digunakan mencapai validation accuracy tertinggi sebesar 0,89 dengan training accuracy 0,88. Model kemudian dievaluasi menggunakan test set dan mencapai akurasi sebesar 0,83.
=====================================================================================================================================
The human ability to understand someone's emotions through facial expressions plays a crucial role in everyday social interactions. However, in children with autism spectrum disorder (ASD), this ability is often impaired, affecting their social interactions. Studies have shown that children with ASD are well-acquainted with and often engage with technology, including smartphones and video games. This research proposes a solution in the form of a mobile-based serious game application as an educational tool to assist children with autism in learning human emotions through facial expressions. Serious games are considered appropriate educational tools because it leverages four pillars of learning: attention, active learning, feedback, and consolidation. The gamification technique used involves a snake and ladder game that prompts users (children with autism) to mimic the facial expressions displayed in the game. The game also measures the accuracy of the user's facial expressions using MobileNet model, then uses it as scores within the gameplay to enhance user engagement. This model reached the highest validation accuracy of 0.89 with training accuracy of 0.88. Final evaluation of the model is conducted using test set and resulted in an accuracy of 0.83.
Actions (login required)
 |
View Item |