Efisisensi Model Attention Based Spatio-Temporal Graph Convolution Networks Menggunakan Knowledge Distilation Pada Kasus Prediksi Volume Kepadatan Kendaraan

Muhamad, Wicaksono Leksono (2023) Efisisensi Model Attention Based Spatio-Temporal Graph Convolution Networks Menggunakan Knowledge Distilation Pada Kasus Prediksi Volume Kepadatan Kendaraan. Other thesis, Institut Teknologi Sepuluh Nopember.

Text 06111840000088_Undergraduate_Thesis.pdf - Accepted Version Restricted to Repository staff only until 1 April 2025. Download (5MB) | Request a copy

Abstract

Model deep learning (DL) dikenal dengan kemampuan prediksi yang sangat akurat dengan seiring bertambahnya data latih. Akan tetapi, satu kekurangan yang signifikan pada model deep learning terdapat pada jumlah parameter yang sangat besar mengakibatkan waktu komputasi sangat lama. Model knowledge distilation (KD) bertujuan untuk mengurangi parameter model DL sehingga waktu komputasi lebih cepat dengan mempertimbangkan akurasi yang tidak jauh dari parameter defaultnya. Untuk permasalahan prediksi arus lalu-lintas kendaraan, model attention-based spatial temporal graph convolution networks (ASTGCN) merupakan salah satu model dengan prediksi yang sangat tinggi, akan tetapi jumlah parameter yang dibutuhkan sangat banyak. Oleh karena itu, Tugas Akhir ini mengusulkan sebuah model yang mengintegrasikan KD pada ASTGCN yang dinamakan ASTGCN+KD. Tujuan dari Tugas Akhir ini adalah untuk melakukan efisiensi pada model ASTGCN pada kasus prediksi arus kendaraan. Pada Tugas Akhir ini, model ASTGCN-KD diujikan pada dataset publik dari arus lalu lintas di kota San Fransisco, California. Hasil eksperimen menunjukkan bahwa model ASTGCN-KD berhasil memiliki akurasi yang lebih baik dibandingkan model kompresi ASTGCN. Sebagai tambahan, model ASTGCN-KD memiliki performansi lebih efisien dari model ASTGCN original dari segi waktu dan jumlah parameter.
=================================================================================================================================
Deep learning(DL) models are known for their highly accurate prediction capabilities as more training data is added. However, a significant drawback of deep learning models is their large number of parameters which can lead to heavy computation. Knowledge distilation(KD) is a method that aims to reduce the number of parameters in DL models while maintaining its accuracy with regard to its default parameter, resulting in faster computation times. In the context of predicting vehicle traffic flow, attention-based spatial temporal graph convolution networks (ASTGCN) have been shown to be highly accurate, but they require a large number of parameters. This final project proposes a model that combines KD with ASTGCN, called ASTGCN+KD. In order to increase the efficiency of ASTGCN model for this particular prediction task. The proposed model was tested on a public dataset of traffic congestion in San Francisco, california. The results of this experiment showed that ASTGCN-KD managed to have better accuracy compared to compressed ASTGCN. In addition, ASTGCN-KD model performs more efficiently than the original ASTGCN model in terms of time and number of parameters.

Item Type:	Thesis (Other)
Uncontrolled Keywords:	Knowledge Distilation, Convolutional, Attention mechanism, Graph Convolution Networks.
Subjects:	Q Science > QA Mathematics > QA166 Graph theory Q Science > QA Mathematics > QA336 Artificial Intelligence Q Science > QA Mathematics > QA76.9.D343 Data mining. Querying (Computer science)
Divisions:	Faculty of Science and Data Analytics (SCIENTICS) > Mathematics > 44201-(S1) Undergraduate Thesis
Depositing User:	Wicaksono leksono muhamad
Date Deposited:	15 Feb 2023 04:54
Last Modified:	15 Feb 2023 04:54
URI:	http://repository.its.ac.id/id/eprint/97148

Actions (login required)

View Item