Rancang Bangun Teknologi Asistif Interpretasi Bahasa Isyarat Indonesia (SIBI) Berbasis Data Glove

Aponno, Dwisainstia (2022) Rancang Bangun Teknologi Asistif Interpretasi Bahasa Isyarat Indonesia (SIBI) Berbasis Data Glove. Other thesis, Institut Teknologi Sepuluh Nopember.

Text 07311840000027-Undergraduate_Thesis.pdf Restricted to Repository staff only Download (3MB)

Abstract

Penderita disabilitas tunarungu adalah individu yang memiliki kondisi fisik dengan kelemahan pendengaran. Pada umumnya individu yang merupakan penderita tunarungu juga memiliki keterbatasan dalam berbicara atau dikenal juga dengan istilah tunawicara. Penyandang disabilitas tunarungu dan tunawicara berkomunikasi dengan menggunakan bantuan bahasa isyarat. Bahasa isyarat disampaikan menggunakan gerakan jari dan tangan untuk menyampaikan pesan atau isyarat tertentu. Namun dikarenakan penggunaan bahasa isyarat masih belum banyak dimengerti oleh khalayak umum, maka pengembangan mengenai alat sistem interpretasi bahasa isyarat sangat perlu untuk dilakukan. Pada penelitian ini dirancang sebuah teknologi asistif sistem interpretasi Bahasa Isyarat Indonesia (SIBI) yang mampu menerjemahkan alfabet dalam bahasa isyarat SIBI menjadi bentuk vokal. Penelitian ini menggabungkan penggunaan dari gabungan flex sensor, sensor tekanan, dan modul MPU6050 (multi-sensor) dalam suatu bentuk data gloves untuk dapat membedakan bentuk jari dan pergerakan tangan saat melakukan gerakan isyarat. Sensor tersebut selanjutnya akan melalui proses Analog to Digital Converter serta pengklasifikasian menggunakan metode pendeteksian error terkecil didalam mikrokontroler. Hasil klasifikasi berupa teks akan dikirimkan ke ponsel pintar pengguna melalui modul bluetooth agar selanjutnya diubah menjadi bentuk vokal dengan bantuan fitur text to speech pada aplikasi ponsel pintar. Dalam penelitian mengenai alat asistif penerjemah ini, alat yang dibuat dalam penelitian ini berfungsi dengan baik. Keakuratan rata rata klasifikasi alfabet SIBI yang didapatkan dalam percobaan ke-1 dalam penelitian ini adalah sebesar 83,7 %. Lalu berdasarkan percobaan ulang ke-2 yakni dengan penyesuaian nilai kamus ADC yang disesuaikan untuk tiap tiap subjek, nilai keakuratan mampu ditingkatkan hingga mencapai 94%. Dari data rata rata percobaan yang dilakukan, alat asistif yang dibuat mampu mendeteksi dengan benar sebanyak 24 alfabet dari total 26 alfabet SIBI, dengan kesalahan pendeteksian lebih sering ditemukan hanya pada huruf R dan N. ==============================================================================================================================
People with hearing impairment are individuals who have physical conditions with hearing weakness. In general, individuals who are deaf also have limitations in speaking or also known as speech impaired. hearing and speech impaired persons communicate using sign language. Sign language is conveyed using finger and hand movements to express certain messages or gestures. However, because the use of sign language is still not widely understood by the general public, it is necessary to develop a sign language interpretation system tool. In this study, assistive technology for the Indonesian Sign Language Interpretation System (SIBI) was designed to translate the alphabet in the SIBI sign language into vowels. This study combine the use of a combination of flex sensors, pressure sensors, and MPU6050 module (multi-sensor) in form of data gloves to be able to distinguish finger shape and hand movements when making gestures. The sensor will then go through the Analog to Digital Converter process and classification using switch case in the microcontroller. The results of the classification in the form of text will be sent to the user smartphone via the bluetooth module so that it can then be converted into vocal form with the help of the text to speech feature on the smart phone application. The average accuracy of the SIBI alphabetical classification obtained in the 1st experiment in this study was 83.7%. Then based on the 2nd retrial, namely by adjusting the ADC dictionary value adjusted for each subject, the accuracy value can be increased up to 94%. From the average data of the experiments, the assistive tool was able to correctly detect 24 alphabets from a total of 26 SIBI alphabets, with detection errors more often found only in the letters R and N.

Item Type:	Thesis (Other)
Additional Information:	RSB 006.454 Apo d-1 2022
Uncontrolled Keywords:	Hearing Impaired, Speech Impaired, Assistive Technology, Sign Language, Multi-Sensor, Data Gloves.
Subjects:	R Medicine > R Medicine (General) > R857.M3 Biomedical materials. Biomedical materials--Testing.
Divisions:	Faculty of Intelligent Electrical and Informatics Technology (ELECTICS) > Biomedical Engineering > 11410-(S1) Undergraduate Thesis
Depositing User:	Mr. Marsudiyana -
Date Deposited:	18 Jun 2026 03:23
Last Modified:	18 Jun 2026 03:23
URI:	http://repository.its.ac.id/id/eprint/133882

Actions (login required)

View Item