Penerapan Convolutional Neural Network dan Long Short Term Memory untuk Pengenalan Bahasa Isyarat

Nathanael, Jeremy (2024) Penerapan Convolutional Neural Network dan Long Short Term Memory untuk Pengenalan Bahasa Isyarat. Other thesis, Institut Teknologi Sepuluh Nopember.

Text 5002201060-Undergraduate_Thesis.pdf - Accepted Version Restricted to Repository staff only until 1 October 2026. Download (5MB) | Request a copy

Abstract

Manusia berinteraksi dengan satu sama lain dengan melakukan komunikasi dalam bentuk bahasa secara lisan. Namun tidak semua manusia dapat berkomunikasi secara verbal, mereka yang memiliki gangguan pendengaran atau sulit dalam menggunakan bahasa lisan melakukan komunikasi dengan menggunakan bahasa isyarat. Terdapat 2 bahasa isyarat yang sering digunakan di Indonesia, yaitu Bahasa Isyarat Indonesia (BISINDO) dan Sistem Isyarat Bahasa Indonesia (SIBI). BISINDO merupakan suatu Bahasa isyarat muncul secara alami dengan sendirinya oleh budaya Indonesia untuk praktis dengan langsung dengan melakukan interaksi dalam kehidupan sehari-hari yang bervariasi dimilki tunarungu pada daerah masing-masingnya. SIBI merupakan bahasa isyarat yang dibuat oleh pemerintah yang tidak melibatkan Tunarunggu dalam pihak pengguna bahasa isyarat. Penggunaan bahasa isyarat masih kurang dikenal oleh masyarakat luas sehingga dapat menghambat komunikasi antar penyandang tunarungu dan tuna wicara dengan masyarakat, oleh karena itu dilakukan penelitian pengenalan bahasa isyarat. Convolutional Neural Network (CNN) adalah model yang digunakan untuk mengenali objek. CNN menjadi sangat signifikan dalam mendukung pengenalan objek pada tahun 2012. Selain itu, CNN juga unggul dalam adaptasi multimodal dan menunjukkan performa yang sangat baik dalam pengenalan objek. LSTM merupakan salah satu jenis arsitektur jaringan saraf yang memiliki keunggulan dalam menangani masalah urutan atau sekuensial, seperti dalam pemrosesan teks, deret waktu, atau data sekuensial lainnya. CNN diterapkan untuk pengenalan gerakan tangan dan LSTM diterapkan untuk penyusunan kalimat. Pada penelitian ini, pelatihan CNN AlexNet menghasilkan akurasi sebesar 0.9995, precision sebesar 0.9995, recall sebesar 0.9995 dan f1-score sebesar 0.9997 serta LSTM dengan nilai BLEU sebesar 0.8004. Dalam pengujiannya, AlexNet menghasilkan rata-rata akurasi 0.9146, dengan rata-rata precision 0.9109, recall 0.9146, f1-score 0.9018 dan LSTM dengan nilai BLEU sebesar 0.7316.

============================================================

Humans interact with each other by communicating in the form of spoken language. But not all humans can communicate verbally, those who have hearing loss or difficulty in using spoken language communicate using sign language. There are 2 sign languages that are often used in Indonesia, namely Indonesian Sign Language (BISINDO) and Indonesian Sign Language System (SIBI). BISINDO is a sign language that emerges naturally by itself by Indonesian culture to be practical directly by interacting in everyday life which varies for deaf people in their respective regions. SIBI is a sign language created by the government that does not involve Tunarunggu in the sign language user. The use of sign language is still less well known by the wider community so that it can hinder communication between deaf and speech impaired people with the community, therefore research on sign language recognition is carried out. Convolutional Neural Network (CNN) is a model used to recognize objects. CNN became very significant in supporting object recognition in 2012. In addition, CNNs also excel in multimodal adaptation and show excellent performance in object recognition. LSTM is a type of neural network architecture that has the advantage of handling sequence problems, such as in text processing, time series, or other sequential data. CNN is applied for hand gesture recognition and LSTM is applied for sentence construction. In this study, CNN AlexNet training resulted in accuracy of 0.9995, precision of 0.9995, recall of 0.9995 and f1-score of 0.9997 and LSTM with a BLEU value of 0.8004. In the test, AlexNet produces an average accuracy of 0.9146, with an average precision of 0.9109, recall of 0.9146, f1-score of 0.9018 and LSTM with a BLEU value of 0.7316.

Item Type:	Thesis (Other)
Uncontrolled Keywords:	Sign Language, Convolutional Neural Networks, Long Short Term Memory, Recognition, Bahasa Isyarat, Convolutional Neural Network, Long Short Term Memory, Pengenalan
Subjects:	Q Science > QA Mathematics Q Science > QA Mathematics > QA336 Artificial Intelligence Q Science > QA Mathematics > QA76.87 Neural networks (Computer Science)
Divisions:	Faculty of Mathematics and Science > Mathematics > 44201-(S1) Undergraduate Thesis
Depositing User:	Jeremy Nathanael
Date Deposited:	07 Aug 2024 16:38
Last Modified:	07 Aug 2024 16:38
URI:	http://repository.its.ac.id/id/eprint/114043

Actions (login required)

View Item