Analisis Sentimen Meme Bahasa Indonesia Multimodal Berbasis Keypoints-Graf Dan Vektor-Teks Menggunakan Ensemble Deep Learning

Asmawati, Endah (2026) Analisis Sentimen Meme Bahasa Indonesia Multimodal Berbasis Keypoints-Graf Dan Vektor-Teks Menggunakan Ensemble Deep Learning. Doctoral thesis, Institut Teknologi Sepuluh Nopember.

Text 7025211030-Doctoral.pdf - Accepted Version Restricted to Repository staff only Download (3MB)

Abstract

Meme merupakan salah satu media yang sering digunakan masyarakat untuk menyampaikan ide/aspirasinya dalam bentuk tekstual, gambar, atau keduanya. Meme dibuat saat suatu hal menjadi trending topic. Dalam berbagai bidang, seringkali pemangku kepentingan perlu mengetahui sentimen dari opini masyarakat yang tersebar di media sosial atau media online. Analisis sentimen merupakan salah satu metode analisis yang dapat digunakan untuk mempelajari opini publik secara cepat melalui banyaknya meme yang tersebar di media sosial. Penelitian ini bertujuan mengembangkan model klasifikasi sentimen pada data meme multimodal, yaitu gambar meme yang memuat teks bahasa Indonesia, dari media sosial dan media online dengan menggunakan pendekatan ensemble deep learning. Penelitian ini juga bertujuan untuk membangun dataset meme multimodal berbahasa Indonesia karena saat ini belum ada dataset publik untuk mendeteksi sentimen meme multimodal Bahasa Indonesia. Tahapan penelitian meliputi identifikasi permasalahan, yang meliputi studi literatur dan pengumpulan dataset penelitian, kemudian pembangunan dataset meme multimodal bahasa Indonesia. Data yang terkumpul dilakukan pra-proses dan dilanjutkan dengan membangun model sentimen dari data teks, gambar, dan gabungan teks-gambar. Pada penelitian sebelumnya, klasifikasi meme biasanya menggunakan metode machine learning atau deep learning klasik. Akurasi yang diperoleh masih relatif rendah. Pada penelitian ini, klasifikasi gambar meme akan dilakukan berbasis keypoint dengan merepresentasikan dalam graf dan vektor-teks untuk data tekstual. Akurasi terbaik didapatkan dengan metode ensemble voting dari model LSTM-BiLSTM-CNN untuk teks dan representasi keypoin dalam berbagai graf untuk klasifikasi gambar. Hasil klasifikasi terbaik diperoleh dengan menggunakan LSTM (untuk teks) dan keypoint-graf utk klasifikasi gambar. Tahap terakhir adalah pengujian dan evaluasi model. Evaluasi hasil penelitian dilakukan menggunakan confusion matrix dengan menghitung akurasi, precision, recall, dan F-1 score. Berdasarkan hasil evaluasi, diperoleh akurasi klasifikasi teks meme sebesar 85% dengan model LSTM, akurasi klasifikasi gambar meme 83% dengan representasi keypoin dalam graf berarah model DNN, dan klasifikasi meme multimodal menghasilkan akurasi 92% dengan menggunakan LSTM untuk klasifikasi teks dan keypoint-graf-ekspresi wajah untuk klasifikasi gambar. Hasil ini lebih baik dibandingkan penggunaan geometri modern untuk klasifikasi wajah.
=======================================================================================================================================
Memes are one of the media that people often use to convey their ideas/aspirations through text, images, or both. Memes are created when something becomes a trending topic. In various fields, stakeholders often need to know the sentiments of public opinion spread on social media or online media. Sentiment analysis is an analytical method that can be used to study public opinion quickly through the many memes spread on social media. This study uses an ensemble deep learning approach to develop a sentiment classification model for multimodal meme data containing Indonesian text from social media and online media. In addition, this research also aims to build a dataset of Indonesian-language multimodal memes because currently there is no public dataset to detect Indonesian-language multimodal meme sentiments. The research stages include problem identification, literature review, and dataset collection, followed by the development of a multimodal Indonesian meme dataset. The collected data is preprocessed and then followed by the development of a sentiment model from text, image, and text-image combinations. Previous research has typically used machine learning or classical deep learning methods for meme classification. The resulting accuracy is relatively low. In this study, meme image classification will be performed based on keypoints, representing textual data in graphs and vectors. The best accuracy was achieved using the ensemble voting method using the LSTM-BiLSTM-CNN model for text and keypoint representation in various graphs for image classification. The best classification results were obtained using LSTM (for text) and keypoint-graph for image classification. The final stage is model testing and evaluation. Evaluation of the research results was carried out using a confusion matrix by calculating accuracy, precision, recall, and F-1 score. Based on the evaluation results, the meme text classification accuracy was 0.85 with the LSTM model, the meme image classification accuracy was 0.83 with the keypoint representation in the directed graph of the DNN model, and the multimodal meme classification produced an accuracy of 0.92 using LSTM for text classification and keypoint-graph-facial expression for image classification. These results are better than the use of modern geometry for face classification.

Item Type:	Thesis (Doctoral)
Uncontrolled Keywords:	analisis sentimen, deep learning, graf, keypoint, meme, sentiment analysis, graph, keypoint
Subjects:	Q Science Q Science > QA Mathematics Q Science > QA Mathematics > QA336 Artificial Intelligence
Divisions:	Faculty of Intelligent Electrical and Informatics Technology (ELECTICS) > Informatics Engineering > 55001-(S3) PhD Thesis (Comp Science)
Depositing User:	Endah Asmawati
Date Deposited:	31 Jul 2026 07:10
Last Modified:	31 Jul 2026 07:10
URI:	http://repository.its.ac.id/id/eprint/141366

Actions (login required)

View Item