Sistem Penerjemah Bahasa Isyarat Berbasis Mediapipe Hand Landmark dan Deep Neural Network

Sagala, Andi Liem Mark Abigael (2025) Sistem Penerjemah Bahasa Isyarat Berbasis Mediapipe Hand Landmark dan Deep Neural Network. Other thesis, Institut Teknologi Sepuluh Nopember.

Text 5022211069-Undergraduate_Thesis.pdf - Accepted Version Restricted to Repository staff only Download (4MB) | Request a copy

Abstract

Bahasa isyarat adalah sebuah bentuk bahasa yang tidak menggunakan komunikasi verbal, bahasa isyarat memungkinkan orang yang memiliki keterbatasan bicara atau mendengar dapat tetap berkomunikasi. Akan tetapi ada masalah, yaitu terbatasnya orang yang dapat menggunakan bahasa isyarat, khususnya orang normal yang terbiasa menggunakan bahasa verbal. Berdasarkan hal itu, ditawarkan solusi berupa sistem pengenalan bahasa isyarat berbasis mediapipe yang memungkinkan seseorang dapat mengerti bahasa isyarat. Penelitian ini bertujuan mengembangkan solusi untuk menerjemahkan salah satu bahasa isyarat yang digunakan di Indonesia , yaitu Sistem Isyarat Bahasa Indonedia (SIBI). Sistem akan dapat mengenali hingga 20 kata dalam bahasa isyarat SIBI. Sistem yang digagas bertujuan untuk mengenali dan mengklasifikasikan bahasa isyarat dengan input gambar, kemudian hasil dari terjemahan ini dikeluarkan dalam bentuk output gambar dan teks. Untuk melakukan klasifikasi pada penelitian ini, digunakan model pengenalan tangan mediapipe yang dikembangkan oleh Google dalam mengekstrak fitur landmarks dari gambar tangan, landmarks hasil ini kemudian diproses dalam model DNN untuk mendapatkan hasil dari klasifikasi. Hasil dari akurasi pelatihan yang dibuat menggunakan model CNN buatan penulis, didapatkan tingkat akurasi sebesar 98%. Sedangkan tingkat latensi dari model dikembangkan memiliki nilai paling kecil di angka 4.54 ms pada percobaan menggunakan perangkat Poco M6 Pro. Setelah melakukan pengujian pada beberapa perangkat android, didapat nilai total latensi paling kecil dengan lama waktu 201.28 ms. Setelah melakukan pengujian pada responden, didapatkan hasil tingkat akurasi rata-rata sebesar 92.5%.
==================================================================================================================================
Sign language is a form of language that does not use verbal communication. Sign language allows people with speech or hearing impairments to continue communicating. However, there is a problem, namely the limited number of people who can use sign language, especially normal people who are accustomed to using verbal language. Therefore, a solution is offered in the form of a MediaPipe-based sign language recognition system that allows people to continue to understand sign language. This research aims to develop this solution to translate one of the sign languages used in Indonesia, namely the Indonesian Sign Language System (SIBI). The system will be able to recognize up to 20 words in SIBI sign language. Using a machine learning method based on deep neural networks, a system was created for this solution. The proposed system aims to recognize and classify sign language using image input, with the translation results output in both image and text formats. For classification in this study, the MediaPipe hand recognition model developed by Google was used to extract landmark features from the hands. The accuracy of the training model, developed using a CNN model created by the author, achieved an accuracy rate of 98%. The latency level of the developed models has the smallest value at 4.54 ms when tested on the android device of Poco M6 Pro. After testing on several Android devices, the smallest total latency value was obtained with a duration of 201.28 ms. After testing on respondents, the average accuracy rate was found to be 92.5%.

Item Type:	Thesis (Other)
Uncontrolled Keywords:	bahasa isyarat, deep neural network, machine learning, mediapipe, pengenalan gestur; deep neural network gesture recognition, machine learning, mediapipe, sign language.
Subjects:	Q Science > Q Science (General) > Q325.5 Machine learning. Support vector machines. Q Science > QA Mathematics > QA76.774.A53 Android Q Science > QA Mathematics > QA76.87 Neural networks (Computer Science)
Divisions:	Faculty of Intelligent Electrical and Informatics Technology (ELECTICS) > Electrical Engineering
Depositing User:	Andi Liem Mark Abigael Sagala
Date Deposited:	28 Jul 2025 07:04
Last Modified:	28 Jul 2025 07:05
URI:	http://repository.its.ac.id/id/eprint/122179

Actions (login required)

View Item