Daniels, Steve (2020) Pengenalan Bahasa Isyarat pada Data Video Menggunakan Metode CNN dengan Arsitektur YOLO. Other thesis, Intitut Teknologi Sepuluh Nopember.
Preview |
Text
05111640000084-Undergraduate_Thesis.pdf Download (1MB) | Preview |
Abstract
Bahasa isyarat adalah salah satu sarana penting dalam berkomunikasi. Isyarat merupakan bentuk komunikasi yang mudah dipakai oleh penyandang tunarungu, individu yang memiliki hambatan dalam berbicara, atau orang yang memiliki anggota keluarga penyandang tunarungu. Akan tetapi, kebanyakan orang normal tidak mempelajari bahasa isyarat. Karena itu, translasi dari bahasa isyarat menjadi alfabet/teks secara otomatis akan memudahkan komunikasi dengan pengguna bahasa isyarat.
Tujuan tugas akhir ini adalah mengembangkan sistem pengenalan bahasa isyarat yang dapat membaca masukan dari data video secara real-time menggunakan metode You Only Look Once (YOLO). YOLO merupakan salah satu metode deteksi objek berbasis Convolutional Neural Network (CNN) yang terkenal dengan kecepatannya. Pelatihan dilakukan dengan penyesuaian berdasarkan jumlah channel dan jumlah kelas dari dataset.
Dataset yang dipakai untuk pelatihan dan pengujian model adalah data yang diambil secara mandiri berdasarkan Bahasa Isyarat Indonesia (Bisindo). Dataset melalui tahapan praproses yaitu resizing, konversi ke grayscale, dan penambahan data/augmentasi. Sebagian data hasil praproses dipakai untuk pelatihan model, yang dilakukan dengan berbagai learning rate. Model terbaik didapatkan dari pelatihan dengan learning rate sebesar 0.001. Dari uji coba pengenalan Bahasa isyarat menggunakan YOLO, didapatkan nilai tertinggi dari presisi, recall, akurasi, dan F1 score sebesar 100% pada uji coba data gambar. Untuk uji coba data video, didapatkan presisi sebesar 77.14%, recall sebesar 93.1%, akurasi sebesar 72.97%, F1 score sebesar 84.38%, serta tingkat Frame Per Seconds (FPS) sebesar 8 frame setiap detik.
| Item Type: | Thesis (Other) |
|---|---|
| Uncontrolled Keywords: | Pengenalan Bahasa Isyarat, Convolutional Neural Network, YOLO |
| Subjects: | Q Science > QA Mathematics > QA336 Artificial Intelligence |
| Divisions: | Faculty of Intelligent Electrical and Informatics Technology (ELECTICS) > Informatics Engineering > 55201-(S1) Undergraduate Thesis |
| Depositing User: | Steve Daniels |
| Date Deposited: | 23 Aug 2020 03:05 |
| Last Modified: | 21 Jun 2023 15:13 |
| URI: | http://repository.its.ac.id/id/eprint/80257 |
Actions (login required)
 |
View Item |