Integrasi Model Swin Transformer dengan Transformer sebagai Pembangkit Keterangan Citra untuk Pelanggaran Lalu Lintas pada Kendaraan Bermotor

Herlambang, Muhammad Jalu (2024) Integrasi Model Swin Transformer dengan Transformer sebagai Pembangkit Keterangan Citra untuk Pelanggaran Lalu Lintas pada Kendaraan Bermotor. Other thesis, Institut Teknologi Sepuluh Nopember.

Text 5002201132-Undergraduate_Thesis.pdf - Accepted Version Restricted to Repository staff only until 1 October 2026. Download (12MB) | Request a copy

Abstract

Pelanggaran lalu lintas yang paling banyak terjadi di Indonesia adalah pelanggaran yang dilakukan oleh pengendara sepeda motor. Deteksi pelanggaran lalu lintas tersebut dapat dilakukan dengan menggunakan teknologi berbasis Artificial intelligence seperti deteksi objek dan klasifikasi yang sudah terdapat pada ETLE (Electronic Traffic Law enforcement). Kini visi komputer telah membuat kemajuan signifikan dalam pemrosesan citra dengan menggunakan kemajuan dalam klasifikasi citra dan pengenalan objek untuk membuat satu atau lebih teks keterangan yang secara visual
dan otomatis mendeskripsikan konten citra yang dikenal dengan nama image captioning. Penelitian ini mengusulkan pembangkit keterangan citra otomatis (image captioning)
untuk pelanggaran lalu lintas pada kendaraan bermotor. Dengan mengintegrasikan image captioning, sistem dapat membantu meningkatkan kevalidan identifikasi pelanggaran
dan menghasilkan keterangan citra yang lebih deskriptif pada surat tilang. Metode yang diusulkan menggunakan integrasi model Swin Transformer sebagai encoder untuk mengekstraksi fitur dan pemahaman citra, kemudian menggunakan decoder Transformer untuk menghasilkan keterangan citra. Penelitian ini menggunakan dataset sekunder hasil citra CCTV beberapa jalan raya di Surabaya yang telah dilakukan pelabelan keterangan citra secara manual. Model Swin Transformer dengan Transformer terbaik berdasarkan skor metrik yaitu menggunakan varian model swin-large 384 sebagai encoder dengan menambahkan global average pooling. Skor metrik yang didapatkan model terbaik adalah 63.62 BLEU-1, 53.06 BLEU-2, 46.20 BLEU-3, 34.20 BLEU-4, 49.27 BLEU Average, dan 62.70 ROUGE-L.
============================================================
The most common traffic violations in Indonesia are those committed by motorcycle riders. Detecting these traffic violations can be accomplished using AI-based technology,
such as object detection and classification, which are already implemented in ETLE (Electronic Traffic Law Enforcement). Computer vision has now made significant
advances in image processing by using improvements in image classification and object recognition to generate one or more captions that visually and automatically describe the
content of an image, known as image captioning. This research proposes an automatic image captioning generator for traffic violations involving motor vehicles. By integrating image captioning, the system can help enhance the validity of violation identification and produce more descriptive image captions for traffic tickets. The proposed method integrating the Swin Transformer model as the encoder to extract image features and understanding, and then uses a Transformer decoder to generate image captions. This study uses a secondary dataset of CCTV images from several roads in Surabaya, which have been manually labeled with image captions. The best Swin Transformer model based on metric scores uses the swin-large 384 model variant as the encoder,
with the addition of global average pooling. The best model’s metric scores are 63.62 BLEU-1, 53.06 BLEU-2, 46.20 BLEU-3, 34.20 BLEU-4, 49.27 BLEU Average, and 62.70 ROUGE-L.

Item Type:	Thesis (Other)
Uncontrolled Keywords:	Pelanggaran Lalu lintas, Image Captioning, Transformer, Swin Transformer. ============================================================ Traffic Violation, Image Captioning, Transformer, Swin Transformer
Subjects:	Q Science > QA Mathematics > QA336 Artificial Intelligence Q Science > QA Mathematics > QA76.87 Neural networks (Computer Science)
Divisions:	Faculty of Science and Data Analytics (SCIENTICS) > Mathematics > 44201-(S1) Undergraduate Thesis
Depositing User:	Muhammad Jalu Herlambang
Date Deposited:	06 Aug 2024 07:38
Last Modified:	06 Aug 2024 07:38
URI:	http://repository.its.ac.id/id/eprint/113655

Actions (login required)

View Item