Hand 6 Degree Of Freedom Orientation Estimation Using Deep Learning

Setiawan, Dion (2024) Hand 6 Degree Of Freedom Orientation Estimation Using Deep Learning. Masters thesis, Institut Teknologi Sepuluh Nopember.

Text 6022221013-Master_Thesis.pdf - Accepted Version Restricted to Repository staff only until 1 October 2026. Download (74MB) | Request a copy

Abstract

The concept of Industry 4.0, introduced in 2011, has been undergoing an implementation process for more than a decade in the manufacturing industry. This development has led to the idea of collaboration between humans and robots in completing tasks with a variety of designs, especially sensor designs such as cameras. In robot control, a value is needed that is used as a set point as a reference point as a goal for the movement of the robot manipulator in giving or taking objects from and to humans. There are several methods that can be used in detecting human hand gestures in two dimensions or three dimensions. These methods do not produce position coordinate data related to the camera coordinates. So in this research we focus on building a method to estimate an orientation of the detected hand. We designed a performance chain of dataset collection using a stereo camera, hand segmentation, and orientation data training with an architectural model based on CNN. The result we get in the segmentation process is that our model can solve the segmentation task with an accuracy value of 0.9661. As for the prediction of human hand position and orientation estimation, the evaluation metrics RMSE is 0.34859, and MAE is 0.2488.
=================================================================================================================================
Konsep Industri 4.0 yang diperkenalkan sejak tahun 2011 telah mengalami proses implementasi selama lebih dari satu dekade di industri manufaktur. Perkembangan ini telah mengarah pada ide kolaborasi antara manusia dan robot dalam menyelesaikan tugas dengan beragam desain terutama desain sensor seperti kamera. Pada kendali robot, dibutuhkan sebuah nilai yang dijadikan setpoint sebagai titik acuan sebagai tujuan untuk pergerakan robot manipulator dalam memberikan atau mengambil objek dari dan kepada manusia. Terdapat beberapa metode yang dapat digunakan dalam mendeteksi gestur tangan manusia dalam dua dimensi ataupun tiga dimensi. Metode-metode tersebut tidak menghasilkan data koordinat posisi yang berhubungan dengan koordinat kamera. Sehingga pada penelitian ini kami berfokus untuk merangkai sebuah metode untuk mengestimasi sebuah orientasi dari tangan yang terdeteksi. Kami mendesain sebuah rangkaian kinerja dari pengumpulan data dataset dengan menggunakan kamera stereo, segmentasi tangan, dan pelatihan data orientasi dengan model arsitektur yang berdasarkan pada CNN. Hasil yang kami dapatkan pada proses segmentasi adalah model kami dapat mengatasi hasil tugas segmentasi dengan nilai akurasi sebesar 0,9661. Sedangkan untuk prediksi estimasi posisi dan orientasi tangan manusia didapatkan hasil metrik evaluasi RMSE sebesar 0.34859, dan MAE sebesar 0.2488.

Item Type:	Thesis (Masters)
Uncontrolled Keywords:	Human and Robot Collaboration, Hand Position and Orientation Estimation, Hand Segmentation Prediction, 6 DoF Pose Estimation.
Subjects:	T Technology > T Technology (General) > T59.7 Human-machine systems. T Technology > TK Electrical engineering. Electronics Nuclear engineering > TK5105.546 Computer algorithms
Divisions:	Faculty of Intelligent Electrical and Informatics Technology (ELECTICS) > Electrical Engineering > 20101-(S2) Master Thesis
Depositing User:	Dion Setiawan
Date Deposited:	29 Jul 2024 02:00
Last Modified:	29 Jul 2024 02:00
URI:	http://repository.its.ac.id/id/eprint/109234

Actions (login required)

View Item