Generative Pretrained Transformer Berdasarkan Konten Gambar dan Personality Pengguna untuk Pembuatan Caption di Media Sosial

Ariansyah, Ikhsan (2025) Generative Pretrained Transformer Berdasarkan Konten Gambar dan Personality Pengguna untuk Pembuatan Caption di Media Sosial. Masters thesis, Institut Teknologi Sepuluh Nopember.

Text 6025231045-Master_Thesis.pdf - Accepted Version Restricted to Repository staff only until 1 April 2027. Download (6MB) | Request a copy

Abstract

Media sosial merupakan sebuah wadah dalam berbagi informasi dan interaksi antar pengguna. Informasi dan interaksi tersebut dapat berupa gambar yang diikuti dengan caption yang relevan dan menarik sesuai dari personality pengguna. Caption berperan penting dalam meningkatkan keterlibatan pengguna di media sosial, karena caption yang menarik mampu mendorong pengguna lain untuk berkomentar, menyukai, atau berbagi konten. Oleh karena itu, adanya caption generator yang mempermudah dalam pembuatan caption menjadi sangat dibutuhkan. Saat ini caption generator media sosial yang ada masih memiliki keterbatasan, seperti fitur lengkap yang berbayar, belum adanya dukungan untuk Bahasa Indonesia, masih membutuhkan perintah untuk membuat caption pada generator tersebut, dan akurasi pendeteksian objek yang belum optimal. Untuk mengatasi masalah ini, sebuah metode baru yang mampu untuk membuat caption generation media sosial berdasarkan konten gambar dan personality pengguna dengan tujuan mempermudah dan mempercepat dalam membuat caption tersebut. Caption generator pada penelitian ini telah disesuaikan menggunakan Bahasa Indonesia. Konten gambar yang dieksplorasi berupa objek gambar dan scenery, dimana objek gambar akan diidentifikasi dengan menggunakan Graph Convolutional Network (GCN) untuk klasifikasi personality, pendekatan Convolutional Neural Network (CNN) untuk mendeteksi objek pada gambar dan VGG16 untuk mendeteksi scenery. Keunggulan dari penggabungan ketiga model ini terletak pada caption yang dihasilkan tidak hanya relevan secara visual namun diharapkan sesuai dengan personality pengguna. Pengujian model akan menggunakan evaluasi kuantitatif dan evaluasi subjektif. Hasil akhir dari penelitian ini menunjukkan bahwa caption yang dibuat dengan mempertimbangkan personality mendapatkan hasil akurasi sebesar 64,58% sedangkan tanpa mempertimbangkan personality hanya sebesar 4,17% yang membuktikan bahwa pendekatan ini mampu menghasilkan caption yang relevan berdasarkan personality pengguna.
==================================================================================================================================
Social media is a platform for sharing information and interactions between users, often involving images with captions that reflect the user's personality. Captions are essential for fostering user engagement on social media, as well-crafted captions encourage others to comment, like, or share content. Hence, a caption generator that facilitates the creation of such captions becomes a critical tool. Currently, existing social media caption generators have limitations, such as requiring payment for full features, lack of support for Bahasa (Indonesian Language), dependency on user input to generate captions, and suboptimal object detection accuracy. To address these issues, a new method is proposed for generating social media captions based on image content and user personality to simplify the caption creation process. This caption generator has been developed and specifically adapted to utilize Bahasa. The content of the image will be explored through image objects and scenery. Image objects are identified using a Graph Convolutional Network (GCN) for personality classification. At the same time, a Convolutional Neural Network (CNN) approach will be employed to detect objects within images, and VGG16 will be used to detect scenery . Then, these three models are combined with a GPT to generate new captions. The integration of these three models offers the advantage of generating captions that are not only visually relevant but are also expected to align with the user's personality. The evaluation of the model will be conducted through subjective assessments. The final results of this study indicate that captions generated by considering personality achieved an accuracy of 64.58%, while those generated without considering personality only achieved 4.17%. This demonstrates that this approach is capable of producing captions that are relevant based on the user's personality.

Item Type:	Thesis (Masters)
Uncontrolled Keywords:	Caption Generation, Generative Pre-trained Transformer, Identifikasi Objek, Identifikasi Personality, Media Sosial, Pengenalan Scene. Caption generation, Generative pre-trained transformer, Object identification, Personality identification, Scene recognition, Social media.
Subjects:	T Technology > T Technology (General)
Divisions:	Faculty of Intelligent Electrical and Informatics Technology (ELECTICS) > Informatics Engineering > 55101-(S2) Master Thesis
Depositing User:	Ikhsan Ariansyah
Date Deposited:	01 Feb 2025 14:43
Last Modified:	01 Feb 2025 14:43
URI:	http://repository.its.ac.id/id/eprint/117534

Actions (login required)

View Item