Analisis Performa Klasifikasi Pada Dataset Ulasan Pengguna dengan Kata Tidak Lengkap Menggunakan Model Transformer Berbasis BERT

Vantie, Lauretha Devi Fajar (2025) Analisis Performa Klasifikasi Pada Dataset Ulasan Pengguna dengan Kata Tidak Lengkap Menggunakan Model Transformer Berbasis BERT. Masters thesis, Institut Teknologi Sepuluh Nopember.

Text 6025231062-Master_Thesis.pdf - Accepted Version Restricted to Repository staff only Download (10MB) | Request a copy

Abstract

Ulasan pengguna aplikasi merupakan sumber informasi penting bagi pengembang untuk memahami kebutuhan dan preferensi pengguna serta memberikan masukan untuk meningkatkan kualitas aplikasi. Dengan jumlah ulasan yang sangat besar, analisis manual menjadi sulit dan memakan waktu, terutama karena banyak ulasan menggunakan bahasa non-formal, kata slang, dan singkatan. Ulasan ini tidak hanya mencakup masalah aplikasi (teknis) seperti bug, error, dan kecepatan, tetapi juga proses bisnis (non-teknis) seperti pemberian promo, respon penjual, dan kualitas barang. Untuk meningkatkan efisiensi dan efektivitas dalam menindaklanjuti ulasan, diperlukan klasifikasi otomatis agar ulasan ditangani oleh tim yang tepat. Oleh karena itu penelitian ini mengusulkan metode klasifikasi menggunakan DistilBERT, BERT, dan RoBERTa berdasarkan aspek teknis, non-teknis dan umum dari ulasan. Ketiga metode ini menggunakan arsitektur encoder pada transformer, dimana metode ini melakukan pemahaman konteks yang lebih baik melalui mekanisme attention. Dataset diambil dari Google Play Store dengan melakukan pelabelan data awal menggunakan metode snorkel berdasarkan kata kunci untuk menghemat waktu dan biaya, yang biasanya tinggi jika dilakukan secara manual pada ulasan dalam jumlah besar. Normalisasi bahasa slang dan koreksi ejaan menggunakan Symspell diterapkan untuk mengatasi struktur bahasa dalam ulasan. Hasil penelitian ini menunjukkan dengan normalisasi bahasa slang dan penyempurnaan kata dengan symspell meningkatkan performa model klasifikasi. BERT dengan model pretrained indobenchmark/indobert-large-p2 memiliki nilai performa yang lebih tinggi dibandingkan metode distilBERT dan RoBERTa. Rata-rata F1 Score dari 10 kali percobaan menunjukkan hasil sebagai berikut: BERT sebesar 0.8338, distilBERT sebesar 0.7848, dan RoBERTa sebesar 0.7977.
======================================================================================================================================
App user reviews are an important source of information for developers to understand user needs and preferences and provide feedback to improve app quality. With such a large number of reviews, manual analysis becomes difficult and time-consuming, especially since many reviews use informal language, slang words, and abbreviations. These reviews cover not only app (technical) issues such as bugs, errors, and speed, but also business (non-technical) processes such as promo delivery, seller response, and item quality. To improve efficiency and effectiveness in following up reviews, automatic classification is needed so that reviews are handled by the right team. Therefore, this research proposes a classification method using DistilBERT, BERT, and RoBERTa based on technical, non-technical and general aspects of the reviews. These three methods use encoder architecture on transformers, where these methods perform better context understanding through the attention mechanism. The dataset is taken from Google Play Store by doing initial data labelling using the snorkel method based on keywords to save time and cost, which is usually high if done manually on a large number of reviews. Slang normalisation and spelling correction using Symspell are applied to address the language structure in the reviews. This research is expected to identify the best performing method, making it easier to assign the right team to follow up reviews more efficiently. The results of this study show that normalisation of slang language and word refinement with symspell improve the performance of the classification model. BERT with the pretrained model indobenchmark / indobert-large-p2 has a higher performance value than the distilBERT and RoBERTa methods. The average F1 Score from 10 trials showed the following results: BERT of 0.8339, distilBERT of 0.7848, and RoBERTa of 0.7977.

Item Type:	Thesis (Masters)
Uncontrolled Keywords:	BERT, distilBERT, RoBERTa, snorkel, symspell, ulasan pengguna, snorkel, user reviews
Subjects:	T Technology > T Technology (General) > T57.5 Data Processing
Divisions:	Faculty of Intelligent Electrical and Informatics Technology (ELECTICS) > Informatics Engineering > 55101-(S2) Master Thesis
Depositing User:	Lauretha Devi Fajar Vantie
Date Deposited:	12 Jun 2025 07:26
Last Modified:	24 Jun 2025 06:42
URI:	http://repository.its.ac.id/id/eprint/119162

Actions (login required)

View Item