Deteksi Teks AI dalam Karya Tulis Ilmiah Menggunakan Model Hibrid Bi-LSTM, Transformer, dan Conv1D

Syahafidh, Laurivasya Gadhing (2025) Deteksi Teks AI dalam Karya Tulis Ilmiah Menggunakan Model Hibrid Bi-LSTM, Transformer, dan Conv1D. Other thesis, Institut Teknologi Sepuluh Nopember.

Text 5025211136-Undegraduate_Thesis.pdf - Accepted Version Restricted to Repository staff only Download (3MB) | Request a copy

Abstract

Bahasa merupakan kemampuan fundamental yang memungkinkan individual untuk mengekspresikan gagasan sekaligus membangun interaksi sosial. Sebaliknya, komputer secara alami tidak memiliki kapasitas untuk memahami atau menghasilkan bahasa manusia, kecuali jika didukung oleh algoritma kecerdasan buatan yang dirancang secara khusus. Perkembangan model AI generatif telah memungkinkan pembuatan teks yang sangat menyerupai tulisan manusia, menciptakan tantangan dalam membedakan konten akademik yang dihasilkan AI dari tulisan manusia. Penelitian sebelumnya menunjukkan bahwa para ahli mengalami kesulitan mengidentifikasi abstrak AI dengan akurasi hanya 68%, mengindikasikan perlunya pengembangan sistem deteksi yang lebih efektif. Tujuan penulisan Tugas Akhir ini adalah untuk mengidentifikasi arsitektur model yang paling optimal dengan mengembangkan model hibrid yang mengintegrasikan arsitektur Bi-LSTM, Transformer, dan Conv1D untuk meningkatkan performa deteksi abstrak karya tulis ilmiah yang dihasilkan AI.
Penelitian ini menggunakan 24.673 abstrak yang dihasilkan oleh empat model AI generatif (Deepseek-V3, GPT-4o-mini, Cohere Command-R. dan Gemini 2.0 Flash) dan dievaluasi menggunakan metrik METEOR dan MoverScore. Evaluasi abstrak hasil model AI generatif menghasilkan skor MoverScore 0,764 dan METEOR 0,496, mengindikasikan bahwa teks AI memiliki kesamaan semantik yang baik namun keterbatasan dalam aspek leksikal. Pembangunan model deteksi dilakukan melalui tiga fase: optimasi model tunggal, pengembangan model hibrid dua komponen dengan pendekatan sequential dan parallel, dan integrasi model hibrid tiga komponen.
Hasil evaluasi menunjukkan peningkatan performa yang konsisten dari model tunggal hingga hibrid tiga komponen. Model Transformer tunggal mencapai accuracy 0,856, model hibrid dua komponen Conv1D + Transformer parallel mencapai accuracy 0,910, dan model hibrid tiga komponen parallel mencapai performa optimal dengan accuracy 0,957, precesion 0,966, recall 0,950, dan F1-Score 0,957. Penelitian ini membuktikan efektivitas pendekatan hibrid dalam mengoptimalkan kemampuan deteksi teks AI melalui integrasi kemampuan ekstraksi fitur yang berbeda dari setial model arsitektur.

=====================================================================================================================================

Language is a fundamental capability that enables individuals to express ideas and build social interactions. Conversely, computers naturally do not have the capacity to understand or generate human language, unless supported by specifically designed artificial intelligence algorithms. The development of generative AI models has enabled the creation of text that closely resembles human writing, creating challenges in distinguishing AI-generated academic content from human writing. Previous research shows that experts experience difficulty identifying AI abstracts with only 68% accuracy, indicating the need for developing more effective detection systems.
The objective of this thesis is to identify the most optimal model architecture by developing a hibrid model that integrates Bi-LSTM, Transformer, and Conv1D architectures to improve the performance of detecting AI-generated scientific abstracts. This research uses 24.673 abstracts generated by four generative AI models (DeepSeek-V3, GPT-4o-mini, Cohere Command-R, and Gemini 2.0 Flash) and evaluated using METEOR and MoverScore metrics. Evaluation of generative AI model abstracts yielded MoverScore of 0,764 and METEOR of 0,496, indicating that AI text has good semantic similarity but limitations in lexical aspects. Model development was conducted through three phases: single model optimization, hibrid two-component model development with sequential and parallel approaches, and hibrid three-component model integration. Evaluation results show consistent performance improvement from single models to hibrid three-component models. The single Transformer model achieved ] accuracy of 0,856, the hibrid two-component Conv1D + Transformer parallel model reached accuracy of 0,910, and the hibrid three-component parallel model achieved optimal performance with accuracy of 0,957, precision of 0,966, recall of 0,950, and F1-Score of 0,957. This research demonstrates the effectiveness of the hibrid approach in optimizing AI text detection capabilities through integrating different features extraction of each architectural model.

Item Type:	Thesis (Other)
Uncontrolled Keywords:	AI Text Detection, Bi-LSTM, Conv1D, Hibrid Model, Transformer, Bi-LSTM, Conv1D, Deteksi Teks AI, Model Hibrid, Transformer
Subjects:	Q Science > QA Mathematics > QA336 Artificial Intelligence
Divisions:	Faculty of Intelligent Electrical and Informatics Technology (ELECTICS) > Informatics Engineering > 55201-(S1) Undergraduate Thesis
Depositing User:	Laurivasya Gadhing Syahafidh
Date Deposited:	30 Jul 2025 03:55
Last Modified:	30 Jul 2025 03:55
URI:	http://repository.its.ac.id/id/eprint/123142

Actions (login required)

View Item