Sistem Otomasi Penilaian Ujian Esai Menggunakan Active Multiple Grader Estimator

Maran, Arianto (2025) Sistem Otomasi Penilaian Ujian Esai Menggunakan Active Multiple Grader Estimator. Other thesis, Institut Teknologi Sepuluh Nopember.

Text 5002211095-Undergraduate_Thesis.pdf - Accepted Version Restricted to Repository staff only Download (3MB)

Abstract

Pembelajaran secara daring memberikan keleluasan ruang dan waktu untuk seseorang dalam menempuh pendidikan. Namun, penilaian otomatis ujian membutuhkan histori ujian yang telah dinilai sebagai data pelatihan yang tidak dimungkinkan dalam semester baru atau materi baru. Selain itu, beberapa ujian mengharuskan untuk menunjukkan nilai masing - masing rubrik yang menjadikan proses penilaian semakin mahal. Oleh karena itu, Penelitian Tugas Akhir ini mengusulkan sebuah metode penilaian otomatis berbasis konsep Active Learning dan Multi Task Learning yang disebut dengan Active Multiple Grader Estimator (AMGE). Penelitian Tugas Akhir ini bertujuan untuk mengurangi biaya penilaian yang dilakukan oleh guru atau penguji dengan memilihkan jawaban yang perlu untuk dinilai penguji sesedikit mungkin. Pada Penelitian Tugas Akhir ini, AMGE dikembangkan dengan memperhatikan dua skema yaitu global dan local samplings yang disebut dengan Global Error Task Sampling dan Local Error Task Sampling. Secara singkat, teknik global sampling berusaha untuk memilih jawaban yang secara keseluruhan nilai komponennya sulit untuk diestimasi berdasarkan varians galat prediksi tertinggi. Sedangkan, teknik local sampling memilih satu atau lebih jawaban yang paling tidak satu nilai kompononen sulit untuk diestimasi. AMGE diuji pada ujian IELTS pada data IELTS Writing Task Evaluation. Dari hasil eksperimen menunjukkan bahwa AMGE mampu konvergen lebih awal dengan hanya menilai jawaban dari penilai lebih sedikit dibandingkan dengan metode baseline. Tidak hanya itu, teknik local sampling mampu meningkatkan keakuratan penilaian secara otomatis dibandingkan dengan metode baseline.
=====================================================================================================================================
Online learning provides flexibility in terms of time and space for individuals pursuing education. However, automated exam scoring requires a history of manually graded responses as training data, which is often unavailable for new semesters or newly introduced materials. Furthermore, some assessments demand scores for each rubric dimension, making the evaluation process increasingly costly. To address these challenges, we propose an automatic assessment method based on the concepts of Active Learning and Multi-Task Learning, referred to as Active Multiple Grader Estimator (AMGE). The objective of AMGE is to reduce the annotation cost for teachers or evaluators by selecting as few responses as possible for manual grading. AMGE developed under two sampling strategies: global and local sampling, denoted as Global Error Task Sampling and Local Error Task Sampling, respectively. In brief, the global sampling technique selects responses for which the overall component scores are difficult to estimate, based on the highest predictive error variance. In contrast, the local sampling technique selects one or more responses for which at least one of the component scores is difficult to estimate. AMGE evaluated on the IELTS exam using the IELTS Writing Task Evaluation dataset. Experimental results show that AMGE achieves earlier convergence while requiring fewer human-graded responses compared to baseline methods. Moreover, the local sampling strategy improves the accuracy of automatic scoring relative to the baseline.

Item Type:	Thesis (Other)
Subjects:	Q Science > QA Mathematics > QA336 Artificial Intelligence Q Science > QA Mathematics > QA76.87 Neural networks (Computer Science)
Depositing User:	Arianto Blawa Maran
Date Deposited:	01 Aug 2025 01:59
Last Modified:	01 Aug 2025 02:26
URI:	http://repository.its.ac.id/id/eprint/125149

Actions (login required)

View Item