Penyederhanaan Kalimat Menggunakan Bidirectional Auto-Regressive Transformers dan Variational Autoencoder

Udhiah, Rosita Laili (2023) Penyederhanaan Kalimat Menggunakan Bidirectional Auto-Regressive Transformers dan Variational Autoencoder. Other thesis, Institut Teknologi Sepuluh Nopember.

Text 06111940000019-Undergraduate_Thesis.pdf - Accepted Version Restricted to Repository staff only until 1 September 2025. Download (13MB) | Request a copy

Abstract

Untuk membantu pemahaman dalam membaca suatu artikel, penyederhanaan teks atau text simplification menjadi salah satu pendekatan penting dikarenakan gaya penulisan yang terlalu berbelit atau rumit. Dengan adanya model natural language processing seperti Bidirectional Auto Regressive Transformer (BART), dapat dilakukan penyederhanaan kalimat secara otomatis, agar memudahkan pembaca dalam memahami suatu artikel. Akan tetapi, model BART tidak memperhatikan kaidah struktur penulisan, sehingga ditemukan adanya hasil penyederhanaan kalimat yang tidak memiliki makna atau bahkan sampai menghilangkan komponen penting dari suatu kalimat, seperti subjek kalimat. Oleh karena itu, penelitian Tugas Akhir ini mengusulkan sebuah model variational autoencoder (VAE) dengan modul encoder dan decoder berdasarkan model BART, yang dinamakan dengan VAE-BART. Tujuan dari penelitian Tugas Akhir ini adalah untuk menyederhanakan suatu kalimat yang diberikan secara otomatis dengan mempertahankan susunan kalimat. Metode yang diusulkan diuji pada publik dataset berbahasa inggris dikarenakan telah memiliki ground-truth (kalimat sederhana dari ahli bahasa). Hasil eksperimen menunjukkan bahwa model VAE-BART berhasil menyederhanakan kalimat lebih baik dibandingkan model pembanding lainnya yang ditunjukkan melalui perhitungan BLEU, ROUGE, dan BERT-Score lebih baik dibandingkan dengan model pembanding
==================================================================================================================================
To help better understand when reading articles, text simplification becomes an important approach as it can avoid writing styles that are convoluted or complicated. We can apply one of the natural language models, such as Bidirectional Auto Regressive Transformer (BART), to simplify the sentence automatically, yet readers can understand the articles easier. However, BART often neglects the standard writing structures, which makes the text simplification results have no meaning and even pivotal sentence components like its subject. Therefore, this study proposes a text simplification model by unifying BART into a variational autoencoder (VAE), namely VAE-BART. This study aims to simplify sentences automatically while maintaining the sentence structure. In this study, we will evaluate the proposed model on a public dataset in the English language as it has ground truth (simplified sentences provided by experts). We successfully compiled VAE-BART on text simplification tasks. Moreover, VAE-BART showed higher BLEU, ROUGE, and BERT-scores than the baseline models

Item Type:	Thesis (Other)
Uncontrolled Keywords:	Natural Language Processing, Penyederhanaan kalimat, BART, VAE; Natural Language Processing, Text simplification, BART, VAE
Subjects:	Q Science > Q Science (General) > Q325.5 Machine learning. Support vector machines.
Divisions:	Faculty of Science and Data Analytics (SCIENTICS) > Mathematics > 44201-(S1) Undergraduate Thesis
Depositing User:	Rosita Laili Udhiah
Date Deposited:	31 Aug 2023 06:46
Last Modified:	31 Aug 2023 06:46
URI:	http://repository.its.ac.id/id/eprint/101437

Actions (login required)

View Item