-, Khamid (2017) Peningkatan Akurasi Pengenalan Gesture Dalam Sistem Isyarat Bahasa Indonesia Berbasis Klasifikasi Naïve Bayes Menggunakan Multi Modal Leap Motion dan Myo Armband. Masters thesis, Institut Teknologi Sepuluh Nopember.
Preview |
Text
2215206004-Master-Theses.pdf - Published Version Download (3MB) | Preview |
Abstract
Sistem Isyarat Bahasa Indonesia (SIBI) adalah bahasa isyarat Indonesia yang terdiri dari gerak statis dan dinamis pada praktiknya, seringkali memenuhi beberapa metode pengenalan khusus pada gerakan tertentu, terutama yang memiliki pose tangan serupa, misalnya: gerak tubuh yang didasarkan pada gerakan huruf dasar. . Gerakan ini akan membuat aplikasi pengenalan isyarat turun pada kinerja dan keakuratannya. Penelitian ini ditargetkan untuk mengatasi permasalahan tersebut dengan menerapkan metode multimodal. Dengan memanfaatkan dua sensor pengendali lompatan dan pengendali myo armband yang berbeda yang akan digunakan untuk menangkap pose tangan, kemudian menerapkan pembeda Naïve Bayes sebagai pembelajaran mesin yang digunakan untuk pengenalan isyarat, diyakini dapat meningkatkan akurasi pengenalan dibandingkan dengan Penelitian sebelumnya terkait di bidang ini. Arus data yang diambil dari pose tangan oleh pengendali ini didasarkan pada metode time-domain series yang akan menjamin data yang dihasilkan disinkronkan secara akurat. Fitur yang dipilih untuk gerakan loncatan akan didasarkan pada posisi jari, sudut, dan elevasi, karena ban lengan myo didasarkan pada sinyal listrik yang dihasilkan oleh delapan saluran pengendali yang sesuai dengan aktivitas otot jari dan jari tangan yang terkait. Kedua kumpulan data ini digabungkan menjadi satu dataset yang kemudian digunakan untuk menghasilkan model untuk setiap gerakan tangan. Penelitian ini membandingkan penelitian klasifikasi antara modal tunggal dan multi modal controller, dan hasilnya menunjukkan adanya peningkatan yang signifikan terhadap keakuratannya, dari 91 untuk single modality menjadi 98 untuk multi modal. Matriks kebingungan juga menunjukkan kinerja yang lebih baik daripada modalitas tunggal. Jadi, dapat disimpulkan bahwa penerapan pengontrol multi-modal untuk pengenalan isyarat SIBI menghasilkan akurasi dan kinerja yang lebih baik daripada modalitas tunggal.
=================================================================
Sistem Isyarat Bahasa Indonesia (SIBI) is an Indonesia sign language consists of static and dynamic gesturs on its practice, frequently meets some specific recognition method on certain gesturs, especially for the ones have similar hand poses, e.g.: gesturs which is based on basic letters movement. These gestur will make the gestur recognition apps down on its performance and accuracy. This research is targeted to solve these issues by implementing the multimodal methods. By utilizing two different sensors leap motion and myo armband controllers which will be used for capturing any hand poses, then implementing a Naïve Bayes classifier as its machine learning used for the gestur recognition, it is believed to improve the recognition accuracy comparing to the related previous research in this area. The data stream captured from hand-poses by these controllers is based on time-domain series method which will warrant the generated data synced accurately. The selected features for leap motion would be based on fingers positions, angles, and elevations, for the myo armband would be based on electrical signal generated by eight channels of controller relevant to the activities of linked finger’s and forearm muscles. These both features dataset is merged into a single dataset which is then used for generating a model for each hand gestur. The research compares the classification research between single modal and multi modal controller, and the result shows there a significant improvement on its accuracy, from 91 for single to 98 for multi-modal. The confusion matrix also show the better performance than the single-modality. So, it can be conclude the implementation of multi-modal controllers for SIBI’s gestur recognition generates the better accuracy and performance instead of single modality.
| Item Type: | Thesis (Masters) |
|---|---|
| Uncontrolled Keywords: | Leap motion, Myo armband, Electromiograph (EMG), Sign Language, SIBI |
| Subjects: | Q Science > QA Mathematics > QA76.87 Neural networks (Computer Science) T Technology > TK Electrical engineering. Electronics Nuclear engineering > TK5105.546 Computer algorithms |
| Divisions: | Faculty of Industrial Technology > Electrical Engineering > 20101-(S2) Master Thesis |
| Depositing User: | Khamid . |
| Date Deposited: | 28 Nov 2017 02:02 |
| Last Modified: | 06 Mar 2019 02:16 |
| URI: | http://repository.its.ac.id/id/eprint/43704 |
Actions (login required)
 |
View Item |