Rancangan Sistem Penerjemah Bahasa Isyarat Indonesia Berbasis Machine Learning Bagi Penderita Tunarungu Dan Tunawicara

Ardan, Muhammad Farrel (2023) Rancangan Sistem Penerjemah Bahasa Isyarat Indonesia Berbasis Machine Learning Bagi Penderita Tunarungu Dan Tunawicara. Other thesis, Institut Teknologi Sepuluh Nopember.

Text 07311840000065-Undergraduate_Thesis.pdf - Accepted Version Restricted to Repository staff only until 1 April 2025. Download (3MB) | Request a copy

Abstract

Komunikasi adalah kunci untuk masyarakat bersosialisasi. Namun terdapat kesenjangan antara manusia normal dan manusia yang menderita tunarungu dan tunawicara. Dengan revolusi zaman, perkembangan teknologi pun semakin maju dan meningkat. Salah satu bentuk revolusi teknologi yang berdampak baik bagi manusia adalah untuk Kesehatan. Alasan dibuat alat ini adalah untuk membantu para penderita tunarungu dan tunawicara untuk berkomunikasi dengan mudah yang mampu menerjemahkan huruf alfabet dalam Bahasa isyarat SIBI. Dalam paper ini, kami menjelaskan desain dan implementasi sarung tangan penerjemah bahasa isyarat yang menggunakan sensor flex, sensor tekanan, dan sensor accelerometer. Sarung tangan ini dikendalikan oleh mikrokontroller ESP32 yang digunakan untuk mengumpulkan data dari sensor dan mengirimkan perintah ke perangkat penerima. Kami menunjukkan bahwa sarung tangan ini dapat digunakan untuk menerjemahkan gerakan tangan dari bahasa isyarat ke teks atau suara dengan tingkat akurasi yang tinggi. Untuk meningkatkan akurasi penerjemahan, kami menerapkan metode machine learning K-NN untuk mengklasifikasikan hasil penerjemahan dari sarung tangan. Metode ini memungkinkan sarung tangan untuk belajar dari data yang telah dikumpulkan sebelumnya dan menggunakan informasi tersebut untuk mengklasifikasikan hasil penerjemahan saat ini dengan lebih akurat. Kami menunjukkan hasil pengujian yang menunjukkan bahwa metode K-NN meningkatkan akurasi penerjemahan dari sarung tangan sebesar 96%. Selain itu, kami menjelaskan bahwa sarung tangan ini mudah digunakan dan dapat diterapkan dalam berbagai aplikasi, seperti komunikasi untuk komunitas tunarungu yang membutuhkan sarana komunikasi alternatif, pembelajaran bahasa isyarat untuk anak-anak atau orang yang tidak dapat berbicara. Secara keseluruhan, kami menunjukkan bahwa sarung tangan penerjemah bahasa isyarat yang menggunakan sensor flex, sensor tekanan, dan sensor accelerometer yang dikendalikan oleh mikrokontroller ESP32 dan diklasifikasikan menggunakan metode machine learning K-NN dapat meningkatkan akurasi penerjemahan bahasa isyarat dan dapat digunakan dalam berbagai aplikasi untuk memudahkan komunikasi dan pembelajaran.
====================================================================================================================================
Communication is key to societal societies. But there is a gap between normal humans and humans who suffer from deafness and hearing impairment. With the revolution of the times, technological developments are advancing and increasing. One form of technological revolution that has a good impact on humans is for health. The reason this tool was created was to help deaf and hard of hearing people communicate easily capable of translating the letters of the alphabet in SIBI sign language. In this paper, we describe the design and implementation of sign language interpreter gloves that use flex sensors, pressure sensors, and accelerometer sensors. These gloves are controlled by an ESP32 microcontroller which is used to collect data from sensors and transmit commands to the receiving device. We indicate that these gloves can be used to translate hand movements from sign language to text or voice with a high degree of accuracy. To improve translation accuracy, we applied the K-NN machine learning method to classify translation results from gloves. This method allows the glove to learn from previously collected data and use that information to classify current translation results more accurately. We showed test results showing that the K-NN method improved the translation accuracy of the glove by 96%. In addition, we explain that these gloves are easy to use and can be applied in a variety of applications, such as communication for deaf communities that need alternative means of communication, sign language learning for children or people who cannot speak. Overall, we demonstrated that sign language interpreter gloves that use flex sensors, pressure sensors, and accelerometer sensors controlled by ESP32 microcontrollers and classified using the K-NN machine learning method, can improve sign language translation accuracy and can be used in a variety of applications for easy communication and learning.

Item Type:	Thesis (Other)
Uncontrolled Keywords:	Bahasa Isyarat, Data Glove, Komunikasi, Machine Learning, Sensor Flex, Tunarungu, Tunawicara, Teknologi Sign Language, Glove Data, Communication, Machine Learning, Flex Sensors, Deaf, Visually Impaired, Technology
Subjects:	Q Science > Q Science (General) > Q325.5 Machine learning. R Medicine > RM Therapeutics. Pharmacology > RM950 Rehabilitation technology. T Technology > TK Electrical engineering. Electronics Nuclear engineering > TK7878 Electronic instruments
Divisions:	Faculty of Intelligent Electrical and Informatics Technology (ELECTICS) > Biomedical Engineering > 11410-(S1) Undergraduate Thesis
Depositing User:	Muhammad Farrel Ardan
Date Deposited:	14 Feb 2023 04:34
Last Modified:	14 Feb 2023 04:34
URI:	http://repository.its.ac.id/id/eprint/97173

Actions (login required)

View Item