Pengenalan Material Benda Menggunakan Pembelajaran Mesin Dengan Kamera Inframerah

Yudiono, Alexius Octavio (2025) Pengenalan Material Benda Menggunakan Pembelajaran Mesin Dengan Kamera Inframerah. Other thesis, Institut Teknologi Sepuluh Nopember.

Text 5022211109-Undergraduate_Thesis.pdf - Accepted Version Restricted to Repository staff only Download (3MB) | Request a copy

Abstract

Rekognisi material adalah salah satu bidang dalam pembelajaran mesin yang penting dan cukup menantang untuk dilakukan. Error dalam rekognisi benda biasa terjadi karena kurangnya data, data yang ada di dalam rekognisi benda biasa hanyalah data RGB dari suatu benda tersebut dan bergantung dari pencahayaan dan tipe benda data RGB tersebut bisa sangat mirip dan akan menimbulkan error. Dengan menggunakan spektroskopi inframerah dari kamera yang memiliki kapabilitas mendeteksi cahaya inframerah untuk mengenali berbagai jenis jenis material dengan bantuan model AI. Penggunaan model AI multimodal dengan dua input dari data IR dan RGB sangat membantu model AI dalam mengenali jenis jenis material yang ada. Pada kondisi pencahayaan terang kombinasi model AI yang paling unggul adalah model Xception (IR) dan ResNet50V2 (RGB) yang dilatih dengan pembagian data 90:10 tanpa fine tuning dengan hasil akurasi sebesar 92%, presisi sebesar 95.8%, recall sebesar 91.6% dan F1-Score sebesar 92%. Pada kondisi pencahayaan gelap kombinasi model AI yang paling unggul adalah model ResNet50V2 (IR) dan InceptionV3 (RGB) yang dilatih dengan pembagian data 80:20 menggunakan fine tuning dengan hasil akurasi sebesar 91.6%, presisi sebesar 94.4%, recall sebesar 91.6% dan F1-Score sebesar 91%.
======================================================================================================================================
Material recognition is one of the important and quite challenging areas in machine learning to do. Errors in object recognition usually occur due to lack of data, the data in ordinary object recognition is only RGB data from an object and depending on the lighting and type of object, the RGB data can be very similar and will cause errors. By using infrared spectroscopy from a camera that has the capability to detect infrared light to recognize various types of materials with the help of an AI model. The use of a multimodal AI model with two inputs from IR and RGB data greatly helps the AI ​​model in recognizing the types of materials available. In bright lighting conditions, the most superior combination of AI models is the Xception (IR) and ResNet50V2 (RGB) models trained with a 90:10 data division without fine tuning with an accuracy of 92%, a precision of 95.8%, a recall of 91.6% and an F1-Score of 92%. In dark lighting conditions, the most superior combination of AI models is the ResNet50V2 (IR) and InceptionV3 (RGB) models trained with an 80:20 data split using fine tuning with an accuracy of 91.6%, precision of 94.4%, recall of 91.6% and F1-Score of 91%.

Item Type:	Thesis (Other)
Uncontrolled Keywords:	Pengenalan material, Kamera Inframerah, Pembelajaran mesin Material recognition, Infrared Camera, Machine Learning.
Subjects:	A General Works > AI Indexes (General) A General Works > AI Indexes (General) T Technology > TK Electrical engineering. Electronics Nuclear engineering > TK7882.P3 Pattern recognition systems
Divisions:	Faculty of Intelligent Electrical and Informatics Technology (ELECTICS) > Electrical Engineering > 20201-(S1) Undergraduate Thesis
Depositing User:	Alexius Octavio Yudiono
Date Deposited:	27 Jul 2025 12:24
Last Modified:	27 Jul 2025 12:24
URI:	http://repository.its.ac.id/id/eprint/122053

Actions (login required)

View Item