Prediksi Perilaku Penyeberang Jalan Menggunakan Convolutional Neural Network dengan Pelacak Objek BoT-SORT

Nasution, Abdul Harits Iftikar (2023) Prediksi Perilaku Penyeberang Jalan Menggunakan Convolutional Neural Network dengan Pelacak Objek BoT-SORT. Other thesis, Institut Teknologi Sepuluh Nopember.

Text 06111940000056-Undergraduate_Thesis.pdf - Accepted Version Restricted to Repository staff only until 1 September 2025. Download (33MB) | Request a copy

Abstract

Masalah lalu lintas merupakan salah satu isu terbesar yang terjadi di Indonesia saat ini salah satunya adalah kemacetan. Permasalahan tersebut dapat diatasi dengan menerapkan intelligent transportation system (ITS). Salah satu bentuk dari ITS yang masih dikembangkan saat ini adalah autonomous driving. Dalam membuat sistem autonomous driving yang aman baik bagi pengguna maupun pejalan kaki, diperlukan sebuah sistem yang mendeteksi dan memprediksi perilaku penyeberang jalan. Prediksi perilaku penyeberang jalan dilakukan dengan melacak pergerakan pejalan kaki kemudian mengklasifikasikan perilaku penyeberang jalan. Oleh karena itu pemilihan metode pelacak objek juga sangat penting dalam mengembangkan sistem yang akurat dalam memprediksi perilaku penyeberang jalan. Pelacak objek yang biasanya berupa model Multi Object Tracking (MOT) yang melakukan pelacakan pada banyak objek secara bersamaan. Model BoT-SORT merupakan salah satu model MOT dengan performa yang lebih baik daripada model MOT sebelumnya. Model BoT-SORT menggunakan pelacakan fitur berbasis pelacak fitur berbasis kompensasi pergerakan kamera dan merubah vektor keadaan pada filter Kalman yang lebih baik dalam melacak bounding box. Pada penelitian ini BoT-SORT telah diimplementasikan dalam sistem prediksi perilaku penyeberang jalan sebagai pelacak objek. Kemampuan BoT-SORT untuk mempertahankan identitas pejalan kaki membuat model ini berhasil memunculkan prediksi perilaku penyeberang jalan. Berdasarkan hasil uji coba yang dilakukan, penelitian ini telah menghasilkan sistem prediksi perilaku penyeberang jalan yang ampuh dalam memprediksi pejalan kaki dalam jarak dekat dengan rata-rata akurasi sebesar 86.33%, presisi sebesar 87.26%, recall sebesar 88.67%, dan F1 score sebesar 86.84%.
====================================================================================================================================
Problems in traffic are one of the biggest issues currently happening in Indonesia, one of them is traffic congestion. This problem can be addressed by implementing intelligent transportation system (ITS). One of the products of ITS which is still being developed until today is autonomous driving. To make a safe autonomous driving system for both users and pedestrians, a system for detecting and predicting pedestrian crossing intent is needed. Crossing intent prediction is done by tacking pedestrian movements and then classifying pedestrian behavior. Therefore, the selection of object tracking methods is also important in developing an accurate system for predicting crossing intent. The object tracker is a Multi Object Tracking (MOT) model which tracks many objects simultaneously. BoT-SORT is one of the MOT models with better performance than previous MOT models. BoT-SORT uses camera motion compensation-based feature tracker and modified the state vector in Kalman filter for better bounding box tracking. This research has successfully implemented as an object tracker for the pedestrian intent prediction model. It’s capability in tracking and maintaining pedestrian IDs made the prediction model able to predict each pedestrian’s intention. Based on the testing that was done, this research created a pedestrian intent prediction system which excels at predicting pedestrian intention at close distance with an average accuracy of 86.33%, precision of 87.26%, recall of 88.67%, and F1 score of 86.84%

Item Type:	Thesis (Other)
Uncontrolled Keywords:	Perilaku Penyeberang Jalan, Computer Vision, BoT-SORT, Multi Object Tracking, Convolutional Neural Network; Pedestrian Crossing Intent, Computer Vision, BoT-SORT, Multi Object Tracking, Convolutional Neural Network
Subjects:	Q Science > QA Mathematics Q Science > QA Mathematics > QA336 Artificial Intelligence Q Science > QA Mathematics > QA76.87 Neural networks (Computer Science) Q Science > QA Mathematics > QA76.9 Computer algorithms. Virtual Reality. Computer simulation.
Divisions:	Faculty of Science and Data Analytics (SCIENTICS) > Mathematics > 44201-(S1) Undergraduate Thesis
Depositing User:	Abdul Harits Iftikar Nasution
Date Deposited:	04 Sep 2023 06:49
Last Modified:	04 Sep 2023 06:49
URI:	http://repository.its.ac.id/id/eprint/102799

Actions (login required)

View Item