Klasifikasi Pola Tangan 3D menggunakan Sensor Leap Motion Berbasis Naive Byes Pada Aplikasi Museum Virtual

DHARMAYASA, I GEDE ARIS (2017) Klasifikasi Pola Tangan 3D menggunakan Sensor Leap Motion Berbasis Naive Byes Pada Aplikasi Museum Virtual. Masters thesis, Toyo University.

Text 07111750050005_Master_Thesis.pdf Restricted to Repository staff only Download (21MB) | Request a copy

Abstract

Kemajuan dalam bidang teknologi saat ini dapat menyampaikan suatu informasi dalam bentuk virtual. Museum virtual ini dirancang untuk mempermudah mempelajari koleksi museum. Penelitian ini bertujuan untuk merancang interaksi yang lebih mudah pada museum virtual dengan menggunakan sensor pengindera tangan Leap Motion. Museum virtual ini divisualisasikan menggunakan teknik Stereoscopic 3D side-by-side dengan perangkat TV 3D display. Beberapa fitur yang disajikan adalah berupa simulasi budaya (culture simulation), virtual guide, lingkungan budaya (culture environment) dan interaksi 3D (3D interaction). Dalam pembuatan interaksi 3D, diperlukan pola-pola tangan yang nantinya berfungsi untuk melakukan interaksi. Untuk mencegah terjadinya kesalahan (miss) dalam melakukan interaksi, maka perlu dilakukan klasifikasi pola tangan untuk meningkatkan akurasi dan lebih presisi sehingga tidak mengurangi kualitas imersif pada museum virtual. Pada penelitian ini akan dibandingkan tiga buah metode klasifikasi yang akan diterapkan pada gesture 3D yang didapat melalui sensor pengindera tangan Leap Motion. Langkah pertama yang dilakukan adalah proses akuisisi data yang digunakan sebagai data training menggunakan Leap Motion Controller yang mengambil data nilai vektor (x, y, z) dari setiap ujung jari. Kemudian dilakukan proses perhitungan data pada jarak, besar sudut dan nilai elvasi pada ujung jari untuk memudahkan proses selanjutnya yakni proses ekstraksi ciri (feature). Ciri yang diekstraksi diantaranya adalah besar nilai sudut antar jari, nilai sudut antara ujung jari, nilai sudut antara ujung jari dengan telapak tangan, vektor jarak antara ujung jari dan telapak tangan dan nilai elevasi antara ujung jari dengan telapak tangan. Selanjutnya dilakukan proses klasifikasi menggunakan metode Naive Bayes. Berdasarkan hasil pengujian klasifikasi, rata-rata hasil akurasi data train yang didapat dari metode Naive Bayes adalah sebesar 92.96%, ke- mudian rata-rata hasil data uji yang didapat adalah sebesar 85.69%. Pada pengujian implementasi aplikasi museum virtual dilakukan 10 kali perulangan pada masing-masing gesture tangan. Pada gesture tangan Left, 10 gerakan terdeteksi sebagai gesture Left. Kemudian pada gesture Right terdeteksi sebanyak tujuh gerakan, dimana dua gesture terdeteksi sebagai gesture Ring dan 1 gesture terdeteksi sebagai gerakan Tap. Selanjutnya pada pola tangan Ring, terdeteksi 1 gerakan sebagai gesture Left. Pada gesture Tap, sebanyak 10 gerakan terdeteksi sebagai gesture Tap. Kemudian pada gesture sebanyak dua gerakan terdeteksi sebagai gesture Ring dan satu gerakan terdeteksi sebagai gesture Right.
=================================================================================================================================
Advancement in the field of technology nowadays can convey information of museum in a virtual form. This virtual museum is designed to facilitate the learning process of museum collections. This study aims to design and implement immersive interactions in virtual museums using the Leap Motion hand sensing sensor. This virtual museum is visualized using Stereoscopic 3D techniques side-by-side with 3D display TV devices. To get an immersive exploration sensation, it is necessary to make features in this application. Some features presented are in the form of cultural simulation, virtual guide, cultural 3D environment, and 3D interaction. In this study, the Naive Bayes classification method for 3D gesture will be used through the Leap Motion hand sensing sensor. In this study, a virtual museum application that is more immersive will be developed and compared to the previous research. Using hand patterns as an interaction feature, it is expected to improve user experience. The immersive experience that is mean here is when users explore the virtual museum does make 3D interactions easily and accurately. The next step is pre-processing and data labelling, where in this process raw data from the hand pattern record is done by separating the values of vectors x, y, and z at each fingertip. The value obtained from the subsequent data retrieval is normalized. The next step is extraction of features, where features are extracted including large angle values between fingers, angle values between fingertips, angle values between fingertips and palms, distance vector between fingertips and palms and elevation values between fingertips and palms. Next is generating a Gaussian distribution based on parameters that exist as prior probability in each classes. The average accuracy results in the Naive Bayes classification test reached 91.82%, with 94.80% on Left gesture, 80.35% on Right gesture, 91.22% on Ring gesture, 87.74% on Tap gesture, and 84.95% on Wave gesture. In testing the implementation of the virtual museum application 10 repetitions were performed on each of the gesture hands. At Left hand gesture, 10 movements are detected as gesture Left. Then at Right gesture seven movements are detected, where two gestures are detected as gesture Ring and one gesture is detected as a Tap movement. Next in the Ring hand pattern, one motion is detected as gesture Left. At Tap gesture, as many as 10 movements are detected as Tap gesture. Then at two gestures it is detected as a gesture Ring and one motion is detected as gesture Right.

Item Type:	Thesis (Masters)
Uncontrolled Keywords:	Museum Virtual, Leap Motion, Stereoscopic 3D, side-by-side
Subjects:	H Social Sciences > HD Industries. Land use. Labor > HD108 Classification (Theory. Method. Relation to other subjects ) Q Science > QA Mathematics > QA75 Electronic computers. Computer science. EDP Q Science > QA Mathematics > QA76.9 Computer algorithms. Virtual Reality. Computer simulation. Q Science > QA Mathematics > QA76.9.D343 Data mining. Querying (Computer science)
Divisions:	Faculty of Electrical Technology > Electrical Engineering > 20101-(S2) Master Thesis
Depositing User:	I Gede Aris Dharmayasa
Date Deposited:	05 Aug 2026 08:39
Last Modified:	05 Aug 2026 08:39
URI:	http://repository.its.ac.id/id/eprint/65073

Actions (login required)

View Item