Pengembangan Sistem Deteksi Kata Dalam Bahasa Isyarat Indonesia (BISINDO) Secara Real-Time Berbasis Mobile Menggunakan Teknik Deep-Learning

Putri, Tarisha Syira Mazaya (2025) Pengembangan Sistem Deteksi Kata Dalam Bahasa Isyarat Indonesia (BISINDO) Secara Real-Time Berbasis Mobile Menggunakan Teknik Deep-Learning. Other thesis, Institut Teknologi Sepuluh Nopember.

Text 5027211061-Undergraduate-Thesis.pdf - Accepted Version Restricted to Repository staff only Download (14MB) | Request a copy

Abstract

Komunikasi antara penyandang tunarungu dan masyarakat umum masih menjadi tantangan akibat rendahnya pemahaman terhadap Bahasa Isyarat Indonesia (BISINDO). Hal ini menyulitkan interaksi sosial dan membatasi akses mereka terhadap layanan publik, terutama karena minimnya penerjemah BISINDO. Kondisi ini menunjukkan perlunya solusi inovatif yang dapat menjembatani komunikasi antara komunitas tunarungu dan masyarakat luas. Hingga kini, masih sedikit sistem otomatis yang mampu menerjemahkan BISINDO ke dalam teks secara real-time. Oleh karena itu, penelitian ini berfokus pada pengembangan sistem deteksi kata dalam Bahasa Isyarat Indonesia (BISINDO) berbasis mobile secara real-time menggunakan model Deformable DETR ResNet. Model dilatih dengan dataset gabungan dari Roboflow, GitHub, Kaggle, dan data mandiri berisi gambar BISINDO, kemudian dilakukan preprocessing dan augmentasi menggunakan Roboflow. Penelitian ini juga membandingkan performa model Deformable DETR ResNet-50 dan DETR ResNet-50. Evaluasi model dilakukan menggunakan COCO Evaluator yang mengukur metrik seperti mean Average Precision (mAP) dan Average Precision (AP) pada berbagai tingkat Intersection over Union (IoU). Hasil pengujian menunjukkan bahwa model Deformable DETR ResNet-50 memiliki keunggulan dengan nilai AP_M sebesar 0,605, AP_L sebesar 0,723, AP_50 sebesar 0,875, AP_75 sebesar 0,834, dan mean Average Precision (mAP) pada rentang IoU 0,5 hingga 0,95 sebesar 0,709. Model yang telah dilatih diintegrasikan ke dalam aplikasi mobile berbasis Flutter, dengan model diakses melalui backend FastAPI untuk mendukung proses inferensi real-time. Hasil pengujian pengguna menunjukkan bahwa sistem memperoleh skor System Usability Scale (SUS) sebesar 71,67 yang tergolong “Good”, dan mayoritas responden memberikan skor 4–5 untuk aspek akurasi deteksi, kecepatan respons, dan kemudahan membentuk kalimat.
======================================================================================================================================
Communication between the deaf community and the general public remains a challenge due to the limited understanding of Indonesian Sign Language (BISINDO). This hinders social interaction and restricts their access to public services, especially given the scarcity of BISINDO interpreters. This situation highlights the urgent need for innovative solutions to bridge communication between the deaf community and society at large. To date, there are still very few automated systems capable of translating BISINDO into text in real time. Therefore, this study focuses on the development of a real-time, mobile-based Indonesian Sign Language (BISINDO) word detection system using the Deformable Detection Transformer model with a ResNet-50 backbone. The model was trained on a combined dataset collected from Roboflow, GitHub, Kaggle, and self-collected data consisting of BISINDO gesture images, followed by preprocessing and augmentation using Roboflow. This research also compares the performance of Deformable DETR ResNet-50 and standard DETR ResNet 50 models. Model evaluation was conducted using the COCO Evaluator, which measures metrics such as mean Average Precision (mAP) and Average Precision (AP) at various levels of Intersection over Union (IoU). The results show that the Deformable DETR model achieved better performance, with an

Item Type:	Thesis (Other)
Uncontrolled Keywords:	BISINDO, Deformable DETR, mobile, real-time, ResNet-50, tunarungu. BISINDO, deaf people, Deformable DETR, mobile, real-time, ResNet-50
Subjects:	T Technology > T Technology (General)
Divisions:	Faculty of Intelligent Electrical and Informatics Technology (ELECTICS) > Information Technology > 59201-(S1) Undergraduate Thesis
Depositing User:	Tarisha Syira Mazaya Putri
Date Deposited:	25 Jul 2025 13:04
Last Modified:	25 Jul 2025 13:04
URI:	http://repository.its.ac.id/id/eprint/121619

Actions (login required)

View Item