Pengembangan Aplikasi Pembelajaran dan Pengenalan Isyarat Kata sesuai Sistem Isyarat Bahasa Indonesia (SIBI) dengan X-Transformer

Dewanata, Rere Arga (2024) Pengembangan Aplikasi Pembelajaran dan Pengenalan Isyarat Kata sesuai Sistem Isyarat Bahasa Indonesia (SIBI) dengan X-Transformer. Other thesis, Institut Teknologi Sepuluh Nopember.

Text 5025201078-Undergraduate_Thesis.pdf - Accepted Version Restricted to Repository staff only Download (5MB) | Request a copy

Abstract

Melalui interaksi sosial, manusia saling berkomunikasi untuk memenuhi kebutuhan mereka. Kemampuan mendengar dan berbicara memiliki peran penting dalam proses komunikasi. Bagi individu yang tidak memiliki kemampuan tersebut, Sistem Isyarat Bahasa Indonesia (SIBI) hadir sebagai solusi yang diakui oleh pemerintah Indonesia untuk memfasilitasi kebutuhan berkomunikasi. Pemerintah telah mengesahkan laman SIBI yang menyediakan peraga abjad, kata, dan angka. Namun, laman ini masih belum mampu melakukan pengenalan isyarat secara langsung dengan memanfaatkan teknologi computer vision. Untuk mengatasi keterbatasan ini, pengenalan isyarat kata dapat dilakukan dengan melatih model deep learning menggunakan arsitektur X-Transformer. X-Transformer adalah arsitektur berbasis self-attention yang dirancang untuk meningkatkan kinerja arsitektur base Transformer. Sesuai dengan kebutuhan untuk mengenali representasi data, hanya bagian encoder dari arsitektur ini yang akan digunakan. Model ini dilatih menggunakan dua dataset yang berbeda, yaitu 50cls_prev dan 50cls_own. Berdasarkan pengujian beberapa skenario, didapatkan bahwa model X-Transformer dengan 8 multi-head attention dan 3 encoder layer (s-sf-sf) yang dilatih menggunakan data teraugmentasi 50cls_own memiliki kinerja terbaik dengan akurasi, presisi, recall, dan F-1 Score masing-masing sebesar 100%. Model ini akan menjadi dasar untuk pengembangan aplikasi pembelajaran berbasis desktop yang dilengkapi dengan fitur pembelajaran, pengenalan langsung, dan evaluasi.
========================================================================================================================
Through social interaction, people communicate to meet their needs. The ability to hear and speak plays a crucial role in the communication process. For individuals who lack these abilities, the Indonesian Sign Language System (SIBI) provides a solution recognized by the Indonesian government to facilitate their communication needs. The government has launched the SIBI website, which offers demonstrations of the alphabet, words, and numbers. However, this website still lacks the capability to directly recognize signs using computer vision technology. To address this limitation, sign recognition can be achieved by training a deep learning model using the X-Transformer architecture. X-Transformer is a self-attention-based architecture designed to enhance the performance of the base Transformer. To meet the need for data representation recognition, only the encoder part of this architecture will be used. This model is trained using two different datasets, 50cls_prev and 50cls_own. Based on testing several scenarios, it was found that the X-Transformer model with 8 multi-head attention and 3 encoder layers (s-sf-sf) trained using augmented data 50cls_own, achieved the best performance with an accuracy, precision, recall, and F-1 Score of 100% each. This model will serve as the foundation for developing a desktop-based learning application with features for learning, live translation, and evaluation.

Item Type:	Thesis (Other)
Uncontrolled Keywords:	SIBI, Bahasa Isyarat, Computer Vision, Deep Learning, X-Transformer, Sign Language
Subjects:	T Technology > T Technology (General) > T57.5 Data Processing T Technology > T Technology (General) > T58.5 Information technology. IT--Auditing
Divisions:	Faculty of Intelligent Electrical and Informatics Technology (ELECTICS) > Informatics Engineering > 55201-(S1) Undergraduate Thesis
Depositing User:	Rere Arga Dewanata
Date Deposited:	02 Aug 2024 07:21
Last Modified:	02 Aug 2024 07:21
URI:	http://repository.its.ac.id/id/eprint/110458

Actions (login required)

View Item