Pengenalan Dan Ekstraksi Bahasa Isyarat Indonesia (SIBI) Menggunakan Feedforward Neural Networks - Symmetric Deletion Spelling Correction

Safitri, Maulina (2024) Pengenalan Dan Ekstraksi Bahasa Isyarat Indonesia (SIBI) Menggunakan Feedforward Neural Networks - Symmetric Deletion Spelling Correction. Masters thesis, Institut Teknologi Sepuluh Nopember.

Text 6022221009-Master_Thesis.pdf - Accepted Version Restricted to Repository staff only until 1 October 2026. Download (3MB) | Request a copy

Abstract

Komunikasi melalui bahasa isyarat merupakan bentuk interaksi manusia
yang mendalam dan esensial, terutama bagi individu yang tuli atau memiliki
gangguan pendengaran. Bahasa isyarat, yang akarnya berasal dari abad ke-17,
telah berkembang menjadi bahasa visual yang canggih dan metode komunikasi
yang digunakan secara global oleh komunitas tunarungu. Kemajuan teknologi,
terutama integrasi bahasa isyarat ke dalam platform komunikasi video, telah
secara signifikan meningkatkan aksesibilitas dan inklusivitas. Namun,
mengubah gerakan bahasa isyarat yang direkam dalam video menjadi teks
menghadirkan tantangan teknis, termasuk huruf yang terduplikasi dan format
yang tidak konsisten akibat ketidakteraturan artikulasi dan kecepatan frame
video. Untuk mengatasi tantangan ini, diperlukan solusi inovatif yang
memanfaatkan pembelajaran mesin, penglihatan komputer, dan pemrosesan
bahasa alami. Penelitian ini mengeksplorasi pendekatan baru, menggunakan
sistem Bahasa Isyarat Indonesia (SIBI), untuk meningkatkan akurasi dan
koherensi dalam mentranskripsi gerakan bahasa isyarat menjadi teks, yang
pada akhirnya meningkatkan komunikasi bagi komunitas tunarungu dan
individu dengan gangguan pendengaran. Penelitian ini menunjukkan bahwa
klasifikasi SIBI menggunakan FNN mencapai akurasi sebesar 97%. Selain
itu, koreksi ejaan memberikan hasil yang menguntungkan melalui langkah
pra-pemrosesan, seperti menghilangkan duplikasi dan distorsi, sehingga
meningkatkan proses koreksi. Penggunaan Symspell untuk koreksi ejaan juga
memberikan hasil yang baik dengan nila Word Error Rare (WER) 0,08. ========================================================================================================================
Communication through sign language is a profound and essential form of
human interaction, particularly for individuals who are deaf or hard of hearing.
Sign language, with its roots dating back to the 17th century, has evolved into a
sophisticated visual language and communication method used globally by the
deaf community. Technological advancements, notably the integration of sign
language into video communication platforms, have significantly improved
accessibility and inclusivity. However, converting sign language gestures
captured in video to text presents technical challenges, including duplicated
letters and inconsistent formatting due to articulation irregularities and video
frame rates. To address these challenges, innovative solutions leveraging
machine learning, computer vision, and natural language processing are
necessary. This paper explores a novel approach, utilizing the Indonesian
Sign Language system (SIBI), to improve the accuracy and coherence of
transcribing sign language gestures into text, enhancing communication for
the deaf community and individuals with hearing impairments. This research
shows that the classification of SIBI using FNN achieves an accuracy of
97%. Additionally, spelling correction yields favorable outcomes through
preprocessing steps, such as eliminating duplicates and distortions, thereby
enhancing the correction process. The use of SymSpell for spelling correction
also yielded good results with a Word Error Rate (WER) of 0,08.

Item Type:	Thesis (Masters)
Uncontrolled Keywords:	FNN, Pengenalana Gerakan Tangan, Sistem Isyarat Bahasa Indonesia, SymSpell, hand gestures recognition, indonesian sign language, SymSpell.
Subjects:	T Technology > TK Electrical engineering. Electronics Nuclear engineering > TK5105.546 Computer algorithms
Divisions:	Faculty of Intelligent Electrical and Informatics Technology (ELECTICS) > Electrical Engineering > 20101-(S2) Master Thesis
Depositing User:	Maulina Safitri
Date Deposited:	26 Jul 2024 03:33
Last Modified:	26 Jul 2024 03:33
URI:	http://repository.its.ac.id/id/eprint/108972

Actions (login required)

View Item