Pengembangan Sistem Pendeteksi Benda Rumah Tangga Menggunakan Yolo Dengan Input Rgb, Depth, Dan Nir

Meidiantoyo, Cahya Dwiki Rezya (2026) Pengembangan Sistem Pendeteksi Benda Rumah Tangga Menggunakan Yolo Dengan Input Rgb, Depth, Dan Nir. Masters thesis, Institut Teknologi Sepuluh Nopember.

Text 6022232009-Master_Thesis.pdf - Accepted Version Restricted to Repository staff only Download (4MB) | Request a copy

Abstract

Domestic service robot merupakan teknologi yang dirancang untuk membantu aktivitas sehari-hari manusia di lingkungan tempat tinggal. Agar dapat beroperasi secara mandiri, robot harus memiliki kemampuan deteksi objek (object detection) yang andal. Namun, lingkungan rumah tangga sering kali memiliki kondisi pencahayaan yang tidak menentu, di mana sistem deteksi yang hanya berbasis citra warna (RGB) mengalami penurunan kinerja yang signifikan pada kondisi gelap. Untuk mengatasi keterbatasan tersebut, pengembangan sistem persepsi robot kini mulai mengadopsi sensor multimodal yang tidak hanya mengandalkan warna, tetapi juga memanfaatkan informasi kedalaman (depth) dan Near-Infrared (NIR). Data depth menyediakan informasi geometris dan jarak objek, sedangkan NIR memiliki karakteristik yang lebih stabil terhadap perubahan intensitas cahaya tampak. Dengan adanya variasi kondisi lingkungan tersebut, fusi data multikanal menjadi solusi yang potensial. Pendekatan ini dirancang untuk menggabungkan keunggulan setiap modalitas, sehingga sistem tetap mampu melihat objek meskipun dalam kondisi minim cahaya. Penelitian ini bertujuan untuk mengintegrasikan citra RGB, depth, dan NIR ke dalam arsitektur YOLOv5 menggunakan strategi Early Fusion dan Hybrid Fusion. Serta untuk mengetahui performa akurasi sistem deteksi objek pada benda-benda rumah tangga dalam skenario pencahayaan terang dan redup. Dalam penelitian ini, objek yang dideteksi meliputi berbagai perabot rumah tangga yang umum dimanipulasi oleh robot layanan. Pengujian dilakukan dengan membandingkan kinerja model pada dataset yang diambil menggunakan kamera Orbbec Femto Bolt. Hasil yang diperoleh menunjukkan bahwa metode Hybrid Fusion menghasilkan sistem deteksi objek yang paling robust terhadap kondisi gelap, di mana modalitas NIR memberikan kontribusi dominan dalam mempertahankan akurasi deteksi.
==============================================================================================================================
Domestic service robots are technological innovations designed to assist humans with daily activities in residential environments. To operate autonomously, these robots require reliable object detection capabilities. However, household environments often present fluctuating lighting conditions, causing detection systems based solely on color images (RGB) to suffer significant performance degradation in low-light settings. To address these limitations, the development of robot perception systems has begun adopting multimodal sensors that utilize not only color but also depth and Near-Infrared (NIR) information. Depth data provides geometric and distance information, while NIR exhibits characteristics that are more stable against variations in visible light intensity. Given these environmental variations, multichannel data fusion emerges as a potential solution. This approach is designed to combine the strengths of each modality, enabling the system to detect objects even in low-light conditions. This study aims to integrate RGB, depth, and NIR images into the YOLOv5 architecture using Early Fusion and Hybrid Fusion strategies. It also seeks to evaluate the accuracy of the object detection system on household items under both bright and dim lighting scenarios. The detected objects in this study include various household items commonly manipulated by service robots. Testing was conducted by comparing model performance on a dataset captured using an Orbbec Femto Bolt camera. The results indicate that the Hybrid Fusion method yields the most robust object detection system in dark conditions, with the NIR modality making a dominant contribution to maintaining detection accuracy.

Item Type:	Thesis (Masters)
Uncontrolled Keywords:	deteksi objek, hybrid fusion, NIR, robot layanan domestik, YOLOv5, domestic service robot, hybrid fusion, NIR, object detection, YOLOv5
Subjects:	T Technology > T Technology (General) > T57.5 Data Processing T Technology > T Technology (General) > T57.74 Linear programming
Divisions:	Faculty of Intelligent Electrical and Informatics Technology (ELECTICS) > Electrical Engineering > 20101-(S2) Master Thesis
Depositing User:	Cahya Dwiki Rezya Meidiantoyo
Date Deposited:	22 Jan 2026 10:35
Last Modified:	22 Jan 2026 10:35
URI:	http://repository.its.ac.id/id/eprint/129986

Actions (login required)

View Item