Penerapan Convolutional Neural Network dan Transformer untuk Image Captioning pada Tanaman Cabai Berpenyakit

Mubarok, Muhammad Khusni Nailul (2024) Penerapan Convolutional Neural Network dan Transformer untuk Image Captioning pada Tanaman Cabai Berpenyakit. Masters thesis, Institut Teknologi Sepuluh Nopember.

Text 6002212006-Master_Thesis.pdf - Accepted Version Restricted to Repository staff only until 1 July 2026. Download (14MB) | Request a copy

Abstract

Cabai merupakan sayuran favorit masyarakat Indonesia. Hal tersebut didukung dengan produksi sayuran terbesar di Indonesia adalah cabai. Meskipun demikian, produksi cabai tidak selalu berjalan dengan baik karena adanya serangan dari hama atau penyakit. Jika produksi cabai yang bagus terganggu oleh hama atau penyakit, maka akan mempengaruhi harga cabai sehingga menjadi tinggi. Oleh karena itu, dikembangkan teknologi yang membuat deskripsi tanaman dan deteksi untuk mendeskripsikan kondisi tanaman cabai. Sehingga diusulkan untuk image captioning dan deteksi objek pada bagian yang terserang hama atau penyakit di tanaman cabai. Image captioning merupakan teknik menangkap citra dan menghasilkan kalimat yang mendeskripsikannya. Sedangkan deteksi objek merupakan teknik untuk menangkap objek pada citra dengan memberikan batas berupa bounding box. Image captioning yang diusulkan menggunakan encoder ResNet50 dan ResNeXt50 sebagai perbandingan dengan decoder Transformer. Digunakan ResNeXt50 karena untuk mengatasi penggalian fitur yang kurang lengkap oleh ResNet50. Sedangkan untuk melakukan deteksi objek menggunakan YOLOv8, karena dari penelitian sebelumnya diperoleh akurasi deteksi objek sebesar 93,4%. Berdasarkan hasil uji coba, ditemukan nilai BLEU sebesar 30,52% pada model ResNeXt50, menunjukkan kualitas yang bagus. Selain itu, nilai mAP pada deteksi objek mencapai 99,4%, menandakan hasil deteksi yang sangat baik. Dengan demikian, penggunaan ResNeXt50 dan Transformer untuk image captioning, serta YOLOv8 untuk deteksi objek, menghasilkan kinerja yang baik.
==================================================================================================================================
Chili is a favorite vegetable among the Indonesian people, supported by the fact that the largest vegetable production in Indonesia is chili. However, chili production doesn’t always go smoothly due to attacks from pests or diseases. If a good chili production is disrupted by pests or diseases, it will impact the chili prices, making them higher. Therefore, technology has been developed to describe plant conditions and detect issues in chili plants. It is proposed to use image captioning and object detection on the parts of the plants affected by pests or diseases. Image captioning is a technique to capture images and generate sentences describing them. Meanwhile, object detection is a technique to capture objects in images by providing bounding boxes. The proposed image captioning uses ResNet50 as the encoder and Transformer as the decoder for comparison. ResNeXt50 is used to address incomplete feature extraction by ResNet50. For object detection, YOLOv8 is used, as previous research has obtained an object detection accuracy of 93.4%. Based on the experimental results, a BLEU score of 30.52% was found for the ResNeXt50 model, indicating good quality. Additionally, the mAP value for object detection reached 99.4%, signifying excellent detection results. Thus, the use of ResNeXt50 and Transformer for image captioning, along with YOLOv8 for object detection, yields good performance.

Item Type:	Thesis (Masters)
Uncontrolled Keywords:	Deteksi Objek, ResNet50, ResNext50, Transformer, YOLOv8; Image Captioning, Object Detection, ResNet50, ResNeXt50, Transformer, YOLOv8, Image Captioning
Subjects:	Q Science > Q Science (General) > Q325.5 Machine learning. Support vector machines. Q Science > Q Science (General) > Q337.5 Pattern recognition systems Q Science > QA Mathematics > QA336 Artificial Intelligence Q Science > QA Mathematics > QA76.6 Computer programming. Q Science > QA Mathematics > QA76.87 Neural networks (Computer Science) S Agriculture > S Agriculture (General)
Divisions:	Faculty of Science and Data Analytics (SCIENTICS) > Mathematics > 44101-(S2) Master Thesis
Depositing User:	Muhammad Khusni Nailul Mubarok
Date Deposited:	12 Feb 2024 07:34
Last Modified:	12 Feb 2024 07:34
URI:	http://repository.its.ac.id/id/eprint/106830

Actions (login required)

View Item