Klasifikasi Huruf Tulisan Tangan Online Berbasis Gerakan Tangan Menggunakan ConvLSTM

As'ad Adi Asta, Awang Karisma (2023) Klasifikasi Huruf Tulisan Tangan Online Berbasis Gerakan Tangan Menggunakan ConvLSTM. Masters thesis, Institut Teknologi Sepuluh Nopember.

Text 07111950050002-Master_Thesis.pdf - Accepted Version Restricted to Repository staff only until 1 September 2025. Download (4MB) | Request a copy

Abstract

Pengenalan tulisan tangan memberikan tantangan khusus karena variabilitas dan kompleksitas dari tulisan tangan manusia. Hal ini mempersulit dalam proses perekaman dengan metode tradisional. Pengenalan hand gesture muncul sebagai metode alternatif untuk melakukan prediksi tulisan tangan, menggunakan sensor seperti Kinect, LeapMotion, gyroscopes, accelerometers, dan electromyograms untuk mengekstrak informasi spasial dan geometrinya. Pengenalan hand gesture secara kontinyu menggunakan kamera lebih dipilih karena kemudahan dalam pemakaian dan efisiensi biaya. Beberapa peneliti telah mengusulkan berbagai metode yang berbeda untuk mengenali gerakan tangan, termasuk fuzzy logic, deterministic finite automata, metode yang berbasis trajectory, dan dynamic probability long short-term memory (DP-LSTM). Namun, penelitian terbaru menunjukkan bahwa penggunaan LSTM menyebabkan hilangnya informasi spasial. Oleh karena itu, penelitian ini mengusulkan sebuah arsitektur yang dapat merekam informasi spasial menggunakan Convolutional Neural Network (CNN) dan LSTM, atau bisa disebut ConvLSTM, yang dapat menghasilkan tingkat pengenalan hand gesture trajectories untuk huruf alfabet a sampai e yang di rekam menggunakan MediaPipe. Hasil penelitian menunjukkan bahwa model yang diusulkan dapat mencapai akurasi tinggi dalam klasifikasi, sebesar 0.8438.
=====================================================================================================================================
The recognition of handwritten text presents challenges due to the variability and complexity of human handwriting, making it difficult to capture subtle nuances through traditional methods. Hand gesture recognition has emerged as an alternative method for predicting handwritten text, using sensors such as Kinect, LeapMotion, gyroscopes, accelerometers, and electromyograms to extract geometric and spatial information. Continuous hand-gesture recognition using cameras is preferred due to its ease of use and low hardware costs. Researchers have proposed different methods for recognizing hand gestures, including fuzzy logic, deterministic finite automata, trajectorybased methods, and dynamic probability long short-term memory (DP-LSTM). However, the latest research has shown that using LSTM can result in spatial information being lost. Therefore, this work proposes an architecture that captures spatial information using Convolutional Neural Network (CNN) and LSTM as ConvLSTM, achieving high recognition rates in hand gesture trajectories for letters a to e in English captured using MediaPipe.
Our results show that our proposed model can achieve high accuracy in classification and attained 0.8438.

Item Type:	Thesis (Masters)
Uncontrolled Keywords:	hand gesture, handwriting recognition, mediapipe, lstm, convolution
Subjects:	Q Science > Q Science (General) > Q325.5 Machine learning.
Divisions:	Faculty of Electrical Technology > Electrical Engineering > 20101-(S2) Master Thesis
Depositing User:	Awang Karisma As'ad Adi Asta
Date Deposited:	27 Jul 2023 07:13
Last Modified:	27 Jul 2023 07:13
URI:	http://repository.its.ac.id/id/eprint/99489

Actions (login required)

View Item