Pengenalan Video Peraga Menggunakan Transformer untuk Pembelajaran Bahasa Isyarat

Prasetyo, Adam Hadi (2023) Pengenalan Video Peraga Menggunakan Transformer untuk Pembelajaran Bahasa Isyarat. Other thesis, Institut Teknologi Sepuluh Nopember.

Text 05111940000224-Undergraduate_Thesis.pdf - Accepted Version Restricted to Repository staff only until 1 October 2025. Download (3MB) | Request a copy

Abstract

Dalam kehidupan sehari-hari, komunikasi merupakan aktivitas manusia yang paling sering dilakukan. Komunikasi bertujuan untuk menyampaikan maksud dalam bentuk lisan, tulisan, gambar atau gestur. Komunikasi dengan gestur biasa disebut bahasa isyarat. Pada umumnya bahasa isyarat digunakan karena keterbatasan fisik yang tidak memungkinkan penggunaan komunikasi lisan. Standar Isyarat Bahasa Indonesia (SIBI) memberikan panduan dalam bentuk buku, namun pembelajaran dengan media buku kurang efektif karena tidak dapat memberikan contoh riil. Selain itu buku kurang praktis untuk dibawa. Bahasa isyarat dapat dikenali oleh komputer melalui pengenalan gambar (image recognition). Sebelum komputer mampu mengenali gambar yang diberikan, terdapat model pengenalan gambar yang harus dilatih dengan machine learning. Transformer adalah salah satu metode machine learning yang dapat digunakan dalam melatih model. Transformer merupakan implementasi mekanisme self attention pada sebuah model, yang dapat memfokuskan bagian input yang diberikan. Mekanisme attention yang diberikan pada transformer memungkinkan model untuk mendapatkan konteks dari setiap bagian input. Model transformer yang digunakan pada tugas akhir ini menggunakan variasi encoder only. Model memiliki 4 multihead, 1 encoder layer dan dilatih selama 50 epoch. Dari pengaturan model tersebut dihasilkan akurasi test sebesar 100% dengan presisi test 100%. Setelah model transformer encoder only berhasil dilatih, aplikasi pembelajaran bahasa isyarat dirancang dan dikembangkan menggunakan model untuk mengenali gestur bahasa isyarat secara real time. Selain itu, aplikasi pembelajaran bahasa isyarat memiliki fitur untuk memutar video peraga bahasa isyarat
===============================================================================================================================
In everyday life, communication is the most frequently performed activity by humans. Communication aims to convey intentions in the form of speech, writing, images, or gestures. Communication through gestures is commonly known as sign language. Sign language is generally used due to physical limitations that prevent the use of oral communication. The Indonesian Sign Language Standard (SIBI) provides guidelines in the form of a book, but learning through books is less effective as they cannot provide real-life examples. Additionally, books are not practical to carry around. Sign language can be recognized by computers through image recognition. Before a computer can recognize the given images, there is a need to train an image recognition model using machine learning. Transformer is one of the machine learning methods that can be used to train the model. Transformer is an implementation of the self - attention mechanism in a model, which allows the model to focus on specific parts of the input. The attention mechanism provided by the transformer enables the model to capture the context of each input component. The transformer model used in this final project utilizes an encoder - only variation. The model consists of 4 multiheads, 1 encoder layers, and is trained for 50 epochs. From the configuration of the model, an test accuracy of 100% and a test precision of 100% are achieved. After successfully training the transformer encoder-only model, an application for sign language learning is designed and developed using the model to recognize sign language gestures in real time. Additionally, the sign language learning application features the playback of instructional sign language videos.

Item Type:	Thesis (Other)
Uncontrolled Keywords:	Bahasa Isyarat, SIBI, Image Recognition, Machine Learning, Transformer, Self-Attention, Encoder Only
Subjects:	Q Science > Q Science (General) > Q325.5 Machine learning. Support vector machines. Q Science > QA Mathematics > QA76 Computer software Q Science > QA Mathematics > QA76.87 Neural networks (Computer Science) R Medicine > R Medicine (General) > R858 Deep Learning
Divisions:	Faculty of Intelligent Electrical and Informatics Technology (ELECTICS) > Informatics Engineering > 55201-(S1) Undergraduate Thesis
Depositing User:	Adam Hadi Prasetyo
Date Deposited:	23 Aug 2023 08:14
Last Modified:	23 Aug 2023 08:14
URI:	http://repository.its.ac.id/id/eprint/102329

Actions (login required)

View Item