Deteksi dan Verifikasi Planogram Freezer Es Krim Dengan Pendekatan Image Matching Berbasis Unsupervised Learning

Wibowo, Ignatius Aris (2026) Deteksi dan Verifikasi Planogram Freezer Es Krim Dengan Pendekatan Image Matching Berbasis Unsupervised Learning. Masters thesis, Institut Teknologi Sepuluh Nopember.

Text 6025242004-Master_Thesis.pdf - Accepted Version Restricted to Repository staff only Download (9MB) | Request a copy

Abstract

Kepatuhan planogram sangat penting dalam penjualan ritel, karena penempatan produk yang konsisten secara langsung meningkatkan visibilitas produk dan kinerja penjualan. Namun, pendekatan yang ada bergantung pada deteksi objek terawasi, yang membutuhkan data beranotasi yang banyak dan pelatihan ulang yang sering ketika produk baru diperkenalkan. Lebih lanjut, pendekatan tak terawasi juga memiliki keterbatasan karena hanya bergantung pada kemiripan gambar, dan akan bermasalah ketika terdapat banyak produk yang secara visual serupa. Keterbatasan ini mengakibatkan kegagalan dalam mengenali isi freezer es krim yang sangat padat, di mana kemasan yang mudah berubah bentuk dan penumpukan yang padat akan menciptakan oklusi dan mengaburkan batas objek, yang menyebabkan akurasi deteksi yang buruk. Untuk mengatasi masalah ini, kami mengusulkan kerangka kerja tak terawasi multi-tahap untuk evaluasi kepatuhan planogram, yang mengintegrasikan beberapa pendekatan yang dirancang untuk menangani oklusi dan deformasi kemasan secara robust tanpa bergantung pada data pelatihan beranotasi. Berdasarkan eksperimen kami pada 69 gambar freezer dengan 2.236 instance produk beranotasi di 28 kelas produk, metode yang diusulkan mencapai skor F1 sebesar 91,04%, yang 11,76% lebih tinggi daripada metode tak terawasi terkini. Selain itu, metode ini menunjukkan kemampuan generalisasi yang kuat, mencapai skor F1 sebesar 90,55% pada 12 gambar yang berisi satu kelas produk baru yang belum pernah dilihat sebelumnya tanpa pelatihan ulang, mengungguli seluruh metode pembanding pada skenario yang sama.
===================================================================================================================================
Planogram compliance is crucial in retail sales, as consistent product placement directly improves product visibility and sales performance. However, existing approaches rely on supervised object detection, which requires extensive annotated data and frequent retraining when new products are introduced. Furthermore, unsupervised approaches also have limitations because they use only on image similarity, which is problematic when there are many visually similar products. This limitation results in failure to recognize highly crowded ice cream counters, where easily deformed packaging and dense stacking create severe occlusions and blur object boundaries, leading to poor detection accuracy. To resolve these issues, we propose a multi-stage unsupervised framework for planogram compliance evaluation, integrating several approaches designed to robustly handle severe occlusions and packaging deformations without relying on annotated training data. Based on our experiments on 69 freezer images with 2,236 annotated product instances across 28 product classes, the proposed method achieves an F1 score of 91.04%, which is 11.76% higher than the state-of-the-art unsupervised method. Furthermore, the method demonstrates strong generalization ability, achieving an F1 score of 90.55% on 12 images containing one previously unseen product class without retraining, outperforming all compared methods on the same scenario.

Item Type:	Thesis (Masters)
Uncontrolled Keywords:	CLIP, freezer es krim, GLM-OCR, kepatuhan planogram, pembelajaran zero-shot, RANSAC homography, SAM3, CLIP, GLM-OCR, ice cream freezer, planogram compliance, RANSAC homography, SAM3, zero-shot learning
Subjects:	T Technology > T Technology (General) > T57.5 Data Processing T Technology > TA Engineering (General). Civil engineering (General) > TA1637 Image processing--Digital techniques. Image analysis--Data processing. T Technology > TK Electrical engineering. Electronics Nuclear engineering > TK7882.P3 Pattern recognition systems
Divisions:	Faculty of Intelligent Electrical and Informatics Technology (ELECTICS) > Information System > 59101-(S2) Master Thesis
Depositing User:	Ignatius Aris Wibowo
Date Deposited:	24 Jul 2026 03:41
Last Modified:	24 Jul 2026 03:41
URI:	http://repository.its.ac.id/id/eprint/135013

Actions (login required)

View Item