Estimasi Pose 6d Menggunakan Kamera RGB-D-NIR

Senjaya, Delonix (2022) Estimasi Pose 6d Menggunakan Kamera RGB-D-NIR. Other thesis, Institut Teknologi Sepuluh Nopember.

Text 07111840000119-Undergraduate_Thesis.pdf - Accepted Version Restricted to Repository staff only until 1 April 2025. Download (4MB) | Request a copy

Abstract

Pose Estimation adalah suatu metode penginderaan visual yang berfungsi untuk memprediksi pose atau position and oritentation. Pose Estimation merupakan suatu teknik yang akan sangat berguna dalam banyak bidang, khususnya pada bidang Augmented Reality, Virtual Reality dan robotika, dengan menggunakan input sensor kamera. 6D disini adalah 6 Degree of Freedom (X, Y, Z, Roll, Pitch, dan Yaw). Hasil dari sistem 6D Pose Estimation ini adalah posisi dan orientasi objek (translasi dan rotasi), serta proyeksi pointcloud dari objek tersebut. Tantangan selanjutnya adalah bagaimana sistem estimasi pose bisa lebih robust atau tahan terhadap tingkat pencahayaan yang berubah. Umumnya metode dari estimasi pose hanya menggunakan kamera RGB atau kombinasi kamera RGBD saja. Sensor NIR akan ditambahkan agar kombinasi sensor bisa dipakai untuk membuat sistem estimasi pose lebih tahan terhadap perubahan pencahayaan, dengan tetap mempertahankan property informasi dari ketiga sensor tersebut. Proses fusi informasi pada RGB dan NIR akan dilakukan menggunakan Guided Filtering Fusion. Pada hasil fusi, gambar RGB akan lebih dominan pada saat pencahayaan cukup serta informasi pada gambar NIR akan lebih dominan pada keadaan gelap, menjadikan fusi ini menjanjikan untuk adaptasi berbagai scenario. Pada hasil akhir percobaan dihasilkan perbandingan dimana metode fusi informasi bisa bekerja dengan baik untuk estimasi pose dan bisa diimplementasikan dengan dataset pribadi yang dibuat (dengan formati LINEMOD). Didapatkan hasil pada scenario 1; tingkat keakuratan RGB-D = 81.8, NIR-D = 74.2 , RGB-D-NIR = 68.56, serta hasil pada scenario 2; tingkat keakuratan RGB-D = 0, NIR-D = 86.6, RGB-D-NIR = 86.3.
==============================================================================================================================
Pose Estimation is a method to predict object(s) or person(s) pose (position and oritentation). Pose Estimation will be very useful in Augmented Reality, Virtual Reality and Robotics, with only using few sensor or camera. 6d means 6 Degree of Freedom (X, Y, Z, Roll, Pitch, dan Yaw). The end results of 6d Pose Estimation is information and projection of the object’s(s) pose, represented by the camera’s rotation and translation matrix, and also the projection of the object’s pointcloud. Previous works implemented just an RGB or RGB-D camera. While this research will also use an addition, a NIR Camera. The usage of NIR Camera will provide more robust information regardless of the lighting condition. The fusing phase of RGB and NIR image will be done using Guided Filtering Fusion Method. The method allow us to fuse the information from both RGB and NIR, and retain the information of the two sensors. We make our own dataset using LINEMOD (Hinterstoisser et al) dataset format as it is compatible with DenseFusion. In the addition of Infrared Images, we will try to compare the combination 3 of sensors (RGB-D, NIR-D, and RGB-D-NIR). The accuracy of the model are: scenario 1; RGB-D = 81.8, NIR-D = 74.2 , RGB-D-NIR = 68.56, and on scenario 2; RGB-D = 0, NIR-D = 86.6, RGB-D-NIR = 86.3.

Item Type:	Thesis (Other)
Uncontrolled Keywords:	Pose Estimation, Artificial Intelligence, Deep Learning, Neural Network
Subjects:	Q Science > QA Mathematics > QA336 Artificial Intelligence R Medicine > R Medicine (General) > R858 Deep Learning T Technology > TK Electrical engineering. Electronics Nuclear engineering
Divisions:	Faculty of Intelligent Electrical and Informatics Technology (ELECTICS) > Electrical Engineering > 20201-(S1) Undergraduate Thesis
Depositing User:	Delonix Senjaya
Date Deposited:	31 Jan 2023 06:50
Last Modified:	31 Jan 2023 06:50
URI:	http://repository.its.ac.id/id/eprint/95868

Actions (login required)

View Item