Penerapan Vision Transformer dan Generative Pre-Trained Transformer-2 untuk Image Captioning pada Kerusakan Citra Jembatan

Nathanael, Nathanael (2024) Penerapan Vision Transformer dan Generative Pre-Trained Transformer-2 untuk Image Captioning pada Kerusakan Citra Jembatan. Other thesis, Institut Teknologi Sepuluh Nopember.

Text 5002201167-Undergraduate_Thesis.pdf - Accepted Version Restricted to Repository staff only Download (11MB) | Request a copy

Abstract

Integritas, keselamatan, dan kegunaan jembatan merupakan prinsip dasar yang harus dijamin sepanjang masa pakainya, mengingat peran yang sangat krusial dari komponen infrastruktur tersebut dalam menyokong kelancaran sistem transportasi. Inspeksi jembatan secara rutin sangat penting untuk mendeteksi kerusakan dini dan memastikan keselamatan
pengguna. Salah satu pendekatan yang menjanjikan adalah penggunaan metode image captioning. Metode tersebut memungkinkan penyediaan penjelasan berbasis teks yang ramah
pengguna mengenai kerusakan jembatan pada citra sehingga memudahkan teknisi dengan pengalaman yang relatif sedikit dan bahkan staf administratif tanpa keahlian teknis yang luas untuk memahami citra kerusakan jembatan. Sistem ini mengintegrasikan keunggulan Vision Transformer (ViT) dalam mengolah informasi visual dan Generative Pre-trained Transformer�2 (GPT-2) untuk menghasilkan teks deskriptif atau caption. Hasil pengujian menunjukan bahwa kombinasi varian ViT Base-16 dan GPT-2 Small dengan strategi Top-P Sampling menghasilkan nilai metrik Bilingual Evaluation Understudy (BLEU) dan Recall- Oriented Understudy for
Gisting Evaluation-Longest (ROUGE-L) terbaik dengan masing-masing mencapai nilai BLEU�1 (39.22%), BLEU-2 (15.62%), BLEU-3 (7.49%), BLEU-Avg (20.78%), dan ROUGE-L (0.31%).

Item Type:	Thesis (Other)
Uncontrolled Keywords:	Kerusakan Jembatan, Image Captioning, Vision Transformer, Generative Pre-Trained Transformer-2
Subjects:	Q Science > QA Mathematics > QA76.6 Computer programming. Q Science > QA Mathematics > QA76.87 Neural networks (Computer Science)
Divisions:	Faculty of Science and Data Analytics (SCIENTICS) > Mathematics > 44201-(S1) Undergraduate Thesis
Depositing User:	Nathanael Nathanael
Date Deposited:	06 Aug 2024 17:59
Last Modified:	06 Aug 2024 17:59
URI:	http://repository.its.ac.id/id/eprint/113650

Actions (login required)

View Item