Pembuatan Dataset Menggunakan Kamera RGB-D-NIR Untuk Estimasi Pose 6D

Istanto, Alfian Rizky Akmal (2024) Pembuatan Dataset Menggunakan Kamera RGB-D-NIR Untuk Estimasi Pose 6D. Other thesis, Institut Teknologi Sepuluh Nopember.

Text 5022201222-Undergraduate_Thesis.pdf - Accepted Version Restricted to Repository staff only until 1 October 2026. Download (5MB) | Request a copy

Abstract

Estimasi pose 6D adalah proses untuk memperkirakan posisi (3D) dan orientasi (3D) suatu objek dalam ruang tiga dimensi. Dengan kata lain, estimasi pose 6D menentukan enam derajat kebebasan dari suatu objek, yaitu tiga parameter posisi (X, Y, Z) dan tiga parameter rotasi (Roll, Pitch, Yaw). Estimasi pose 6d sering digunakan dalam berbagai bidang seperti Computer Vision, Robotika, Augmented Reality, Virtual Reality, dan Image Processing. Umumnya metode dari estimasi pose 6d hanya memanfaatkan kamera RGB atau kombinasi kamera RGB dan Depth. Sensor Near-Infrared (NIR) akan diintegrasikan untuk meningkatkan ketangguhan sistem estimasi pose terhadap fluktuasi pencahayaan. Ini dilakukan dengan mempertahankan karakteristik informasi dari ketiga sensor. Proses fusi estimasi pose 6d pada RGB dan Depth atau NIR dan Depth akan dilakukan menggunakan metode DenseFusion. Hasil dari fusi tersebut menghasilkan gambar RGB yang lebih mendominasi dalam kondisi pencahayaan yang terang, sementara informasi dari gambar NIR kurang mendominasi dalam cahaya cukup. Dengan demikian, pendekatan fusi ini menawarkan potensi adaptabilitas yang lebih baik dalam berbagai skenario pencahayaan. Pada hasil akhir percobaan, ditemukan bahwa metode fusi informasi menunjukkan kinerja yang sangat baik dalam estimasi pose. Metode ini dapat diimplementasikan dengan efektif menggunakan dataset pribadi yang telah dibuat, yang mengikuti format LINEMOD. Hasilnya menunjukkan akurasi sebesar 89,822% dengan sensor RGB dan Depth, dan 82,448% dengan sensor NIR dan Depth.
======================================================================================================================================
6D pose estimation is the process of estimating the (3D) position and (3D) orientation of an object in three-dimensional space. In other words, 6D pose estimation determines six degrees of freedom of an object, namely three position parameters (X, Y, Z) and three rotation parameters (Roll, Pitch, Yaw). 6D pose estimation is often used in various fields such as Computer Vision, Robotics, Augmented Reality, Virtual Reality, and Image Processing. Generally, methods of 6d pose estimation only utilise RGB cameras or a combination of RGB and Depth cameras. Near-Infrared (NIR) sensors will be integrated to improve the robustness of the pose estimation system against lighting fluctuations. This is done by maintaining the information characteristics of the three sensors. The 6d pose estimation fusion process on RGB and Depth or NIR and Depth will be performed using the DenseFusion method. The result of such fusion is that the RGB image dominates more in bright lighting conditions, while the information from the NIR image dominates less in low light. As such, this fusion approach offers the potential for better adaptability in various lighting scenarios. In the final experimental results, it is found that the information fusion method shows excellent performance in pose estimation. The method can be effectively implemented using the created private dataset, which follows the LINEMOD format. The results show an accuracy of 89.822% with RGB and Depth sensors, and 82.448% with NIR and Depth sensors.

Item Type:	Thesis (Other)
Uncontrolled Keywords:	Pose Estimation, Machine Vision, Deep Learning, Neural Network
Subjects:	T Technology > TK Electrical engineering. Electronics Nuclear engineering > TK7882.P3 Pattern recognition systems
Divisions:	Faculty of Intelligent Electrical and Informatics Technology (ELECTICS) > Electrical Engineering > 20201-(S1) Undergraduate Thesis
Depositing User:	Alfian Rizky Akmal Istanto
Date Deposited:	30 Jul 2024 06:21
Last Modified:	30 Jul 2024 06:21
URI:	http://repository.its.ac.id/id/eprint/110234

Actions (login required)

View Item