Deteksi Teks Abusive di X Menggunakan Large Languange Models (LLMs)

Prayitno, Rahadian Suryo (2024) Deteksi Teks Abusive di X Menggunakan Large Languange Models (LLMs). Other thesis, Institut Teknologi Sepuluh Nopember.

Text 5025201149-Undergraduate_Thesis.pdf - Accepted Version Restricted to Repository staff only until 1 October 2026. Download (3MB) | Request a copy

Abstract

X adalah platform media sosial seperti Facebook, Instagram, dan lainnya. X adalah re-branding dari Twitter yang didirikan pada tahun 2006, dan akan di-rebranding menjadi X pada tahun 2022. Banyak komentar muncul dari beberapa orang yang menyebut diri mereka anonim atau tidak, yang bisa dikatakan sebagai komentar liar, karena X dapat mengunggah apa saja tanpa batasan. Oleh karena itu, ada 2 jenis komentar liar, yaitu komentar ujaran kebencian dan juga komentar kasar. Di mana ujaran kebencian sendiri lebih menyerang individu atau kelompok dengan jenis serangan penghinaan. Perilaku kasar adalah sama untuk individu dan kelompok tetapi lebih menyerang terhadap ras, agama, jenis kelamin, dan sebagainya. Menggunakan metode NLP (Pemrosesan Bahasa Alami) kita dapat mengklasifikasikan berbagai jenis teks yang ada, untuk konteks kali ini kita akan mengklasifikasikan ujaran kebencian dan juga pelecehan yang terdapat dalam komentar di X yang diperoleh dari dataset Kaggle. Selain metode NLP, ada 2 model yang digunakan, yaitu BERT (Bidirectional Encoder Representations From Transformers) dan juga GPT 3.5 Turbo. Skenario eksperimen yang digunakan adalah pengujian data 70-30, pengujian data 80-20 dan juga K-Fold Cross Validation dengan parameter menggunakan epoch 10, learning rate 2e-5, eval batch 16, dan juga train batch 16. Setelah melakukan semua proses dari pra-pelatihan, pelatihan, pengujian, dan evaluasi, diperoleh hasil yang sangat menarik. Di mana dari BERT ke GPT 3.5 Turbo menghasilkan hasil yang cukup signifikan. Untuk label Ujaran Kebencian, akurasi terendah adalah dari skenario 70-30 sebesar 83%. Tertinggi dalam dua skenario tersisa, yaitu 80-20 dan K-Fold, sebesar 85%. Kemudian untuk model GPT 3.5 Turbo, yang terendah adalah 80-20 sebesar 96%. Tertinggi di K-Fold, yaitu 97%. Untuk label kasar, yang terendah di BERT adalah 70-30, sebesar 92%. Tertinggi adalah 80-20 sebesar 93%. Dan yang terakhir adalah kasar untuk GPT 3.5 Turbo, yang terendah adalah 97% dan yang tertinggi adalah K-Fold, yaitu 98%. Dan model terbaik pada kedua label adalah GPT 3.5 Turbo menggunakan K-Fold Cross Validation
===================================================================================================================
X is a social media platform such as Facebook, Instagram and others. X is a re-branding of Twitter which was founded in 2006, and will be re-branded to X in 2022. On Many comments emerged from several people who called themselves anonymous or not, which could be said to be wild comments, because X can upload anything without restrictions. Therefore, there are 2 types of wild comments, namely hate speech comments and also abusive comments. Where hate speech itself is more offensive towards attacking individuals or groups with insult attack types. Abusive behavior is the same for individuals and groups but is more offensive towards race, religion, gender and so on. Using the NLP (Natural Language Processing) method we can classify various types of existing text, for context this time we will classify hate speech and also abuse contained in comments on X obtained from the Kaggle dataset. Apart from the NLP method, there are 2 models used, namely BERT (Bidirectional Encoder Representations From Transformers) and also GPT 3.5 Turbo. Training and testing were carried out for the classification process and also carried out evaluations using the metrics Accuracy, Precision, Recall, F 1 Score and also Confusion Matrix. The experimental scenario used is 70-30 data testing, 80-20 data testing and also K-Fold Cross Validation with parameters using epoch 10, learning rate 2e-5, eval batch 16 and also train batch 16. After carrying out all the processes from pre training, training, testing and evaluation, obtained very interesting results. Where from BERT to GPT 3.5 Turbo produces quite significant results. For the Hate Speech label, the lowest accuracy is from the 70-30 scenario at 83%. The highest is in the remaining two scenarios, namely 80-20 and K Fold, at 85%. Then for the GPT 3.5 Turbo model, the lowest is 80-20 at 96%. The highest in K-Fold, with 97%. For abusive labels, the lowest in BERT is 70-30, at 92%. The highest is 80-20 at 93%. And the last one is abusive for GPT 3.5 Turbo, the lowest is 97% and the highest is K Fold, namely 98%. And the best model on both labels is GPT 3.5 Turbo using K Fold Cross Validation.

Item Type:	Thesis (Other)
Uncontrolled Keywords:	BERT, Teks Abusive, Hate Speech , Sosial Media, Large Languange Models (LLMs) , Open AI GPT 3.5 Turbo, X, Abusive Text, BERT, Hate Speech, Social Media, Large Languange Models (LLMs), OpenAI GPT 3.5 Turbo, X
Subjects:	T Technology > T Technology (General) T Technology > T Technology (General) > T57.5 Data Processing
Divisions:	Faculty of Intelligent Electrical and Informatics Technology (ELECTICS) > Informatics Engineering > 55201-(S1) Undergraduate Thesis
Depositing User:	Rahadian Suryo Prayitno
Date Deposited:	02 Aug 2024 01:54
Last Modified:	02 Aug 2024 01:54
URI:	http://repository.its.ac.id/id/eprint/110549

Actions (login required)

View Item