Analisis Dan Deteksi Objek Di Lingkungan Area Pejalan Kaki Berbasis Deep Learning

Khanafi, Nur Putra (2024) Analisis Dan Deteksi Objek Di Lingkungan Area Pejalan Kaki Berbasis Deep Learning. Other thesis, Institut Teknologi Sepuluh Nopember.

Text 05111940000020-Undergraduate_Thesis.pdf - Accepted Version Restricted to Repository staff only until 1 March 2026. Download (8MB) | Request a copy

Abstract

Mata adalah salah satu bagian tubuh manusia sebagai indera penglihatan dengan merekam dan memperlihatkan objek-objek lingkungan di sekitar untuk membantu manusia dalam mengenal kondisi lingkungan di sekitarnya. Namun beberapa orang memiliki kekurangan untuk dapat melihat (tunanetra). Menurut statistik, terdapat 3,7 juta penyandang tunanetra di Indonesia. Para tunanetra cenderung membutuhkan bantuan orang lain atau media visual untuk menavigasi mereka. Secara tradisional, para tunanetra biasanya menggunakan tongkat atau anjing pemandu untuk memberikan informasi mengenai lingkungan sekitarnya. Namun hal tersebut belum cukup untuk dapat membantu memberikan gambaran posisi dan jarak objek-objek yang ada pada lingkungan sekitar. Penggunaan metode object detection pada citra yang tertangkap oleh kamera dapat memberikan gambaran objek-objek pada citra. Sistem ini dapat berfungsi selayaknya penglihatan manusia. Penerapan object detection pada sistem membutuhkan suatu model yang dilatih dengan machine learning untuk dapat mendeteksi objek-objek pada citra. YOLO merupakan salah satu metode dalam tugas pendeteksian objek yang dapat berjalan secara real-time untuk mengklasifikasi dan melokalisasi objek-objek yang tertangkap pada citra. Hasil deteksi objek berupa teks yang kemudian diubah menjadi bentuk audio informatif mengenai posisi dan jarak tiap objek relatif terhadap pengguna. Dataset yang digunakan berisi kumpulan citra lingkungan pejalan kaki yang diambil secara mandiri di beberapa titik trotoar di Surabaya. Pelatihan model dengan dataset tersebut menghasilkan model object detection dan dievaluasi menggunakan metrik mean Average Precision (mAP) untuk mengukur akurasi kecocokan anotasi pada objek yang diprediksi. Selanjutnya dilakukan perbandingan kinerja berdasarkan model YOLO, variasi data, dan hiperparameter serta metode penentuan jarak dengan model terbaik. Ditemukan hasil model terbaik pada penelitian ini yaitu model yang dilatih pada dataset augmentasi brightness ±25% dan noise 1,5% dengan model YOLOv5mu, aktivasi SiLU, serta optimasi AdamW yang memberikan nilai mAP50 yaitu 66,3% dan mAP50-95 yaitu 45,7%. Adapun metode penentuan jarak objek terbaik adalah metode perhitungan koordinat XY objek dengan pembagian grid horizontal dan titik terjauh dalam citra serta menggunakan dataset tanpa objek lampu lalu lintas yang memiliki kinerja mAP50 59,1%.
=====================================================================================================================================
The eyes are one of the human body parts serving as the sense of sight, capturing and displaying objects in the surrounding environment to assist humans in recognizing the conditions around them. However, some people have visual impairments (blindness). According to statistics, there are 3.7 million visually impaired individuals in Indonesia. Visually impaired individuals tend to require assistance from others or visual aids to navigate. Traditionally, visually impaired individuals often use a cane or guide dogs to provide information about their surroundings. However, this is not sufficient to provide a clear understanding of the position and distance of objects in the surrounding environment. The use of object detection methods on images captured by a camera can provide insights into the objects in the images. This system can function like human vision. The implementation of object detection in the system requires a model trained with machine learning to detect objects in images. YOLO is one method in object detection tasks that can run in real-time to classify and localize objects captured in images. The results of object detection are in the form of text, which is then converted into informative audio about the position and distance of each object relative to the user. The dataset used in this study consists of a collection of pedestrian environment images taken independently at various sidewalk points in Surabaya. Training a model with this dataset resulted in an object detection model, which was evaluated using the mean Average Precision (mAP) metric to measure the accuracy of anotation matching on predicted objects. Subsequently, performance comparisons were made based on YOLO model architectures, data variations, hyperparameters, and distance determination methods using the best-performing model. The study identified the best-performing model, trained on a dataset with brightness augmentation of ±25% and 1.5% noise, utilizing the YOLOv5mu architecture, SiLU activation, and AdamW optimizer. This model achieved a performance of 66.3% for mAP50 and 45.7% for mAP50-95. The best method for determining object distance involved calculating XY coordinates of objects using horizontal grid division and identifying the farthest point in the image, using a dataset without traffic light objects, resulting in a mAP50 performance of 59.1%.

Item Type:	Thesis (Other)
Uncontrolled Keywords:	Mata, Tunanetra, Object Detection, Trotoar, YOLO, Eyes, Blind, Object Detection, Sidewalk, YOLO.
Subjects:	T Technology > T Technology (General) > T174 Technological forecasting T Technology > T Technology (General) > T57.5 Data Processing T Technology > T Technology (General) > T59.7 Human-machine systems.
Divisions:	Faculty of Intelligent Electrical and Informatics Technology (ELECTICS) > Informatics Engineering > 55201-(S1) Undergraduate Thesis
Depositing User:	Nur Putra Khanafi
Date Deposited:	15 Feb 2024 05:46
Last Modified:	15 Feb 2024 05:46
URI:	http://repository.its.ac.id/id/eprint/107134

Actions (login required)

View Item