Evaluasi Efektivitas Teknik Prompt Engineering pada Berbagai Model LLM untuk Penilaian Kemampuan Berpikir Kritis pada Esai Berbahasa Indonesia: Studi Kasus Mata Pelajaran Fisika SMA

Oktaviansyah, Muhammad Rifqi (2025) Evaluasi Efektivitas Teknik Prompt Engineering pada Berbagai Model LLM untuk Penilaian Kemampuan Berpikir Kritis pada Esai Berbahasa Indonesia: Studi Kasus Mata Pelajaran Fisika SMA. Other thesis, Institut Teknologi Sepuluh Nopember.

Text 5027221067_Undergraduate_Thesis.pdf - Accepted Version Restricted to Repository staff only Download (7MB) | Request a copy

Abstract

Penilaian esai merupakan salah satu metode evaluasi pembelajaran yang efektif dalam mengukur kemampuan berpikir kritis siswa, khususnya pada mata pelajaran Fisika. Namun, penilaian esai secara manual memerlukan waktu, konsistensi, dan ketelitian yang tinggi, sehingga memunculkan kebutuhan akan sistem otomatis yang objektif dan efisien. Penelitian ini mengembangkan sistem penilaian esai otomatis menggunakan pendekatan prompt engineering pada berbagai model LLM. Lima skenario pengujian utama dilakukan, membandingkan kinerja model closed-source dan open-source menggunakan berbagai teknik prompt engineering (zero-shot, few-shot, Chain-of-Thought, dan rubric-based) dengan dan tanpa Retrieval Augmented Generation (RAG). Sebagai pembanding, metode fine-tuning dengan LoRA juga digunakan dalam penelitian. Metrik utama yang digunakan adalah Quadratic Weighted Kappa (QWK) untuk mengukur tingkat kesepakatan skor. Hasil penelitian menunjukkan bahwa model open-source Qwen3 Next 80B A3B Instruct tanpa RAG memberikan kinerja optimal dengan QWK rata-rata tertinggi sebesar 0,25 untuk prompt zero-shot dan rubric-based, mengungguli model lainnya, sekaligus mempertahankan efisiensi waktu yang tinggi. Secara umum RAG hanya efektif secara selektif untuk berbagai case saja. Penelitian ini menyimpulkan bahwa strategi prompt engineering pada LLM open-source dengan parameter besar adalah pendekatan yang paling efektif dan efisien untuk AES berpikir kritis, yang menunjukkan bahwa kinerja LLM open-source dapat melampaui model closed-source dalam tugas domain spesifik ini.
===================================================================================================================================
Essay scoring is one of the effective learning evaluation methods for measuring students' critical thinking ability, particularly in Physics subjects. However, manual essay scoring requires significant time, consistency, and high accuracy, leading to the need for an objective and efficient automated system. This study develops an automated essay scoring system using a prompt engineering approach on various LLM models. Five main testing scenarios were conducted, comparing the performance of closed-source and open-source models using various prompt engineering techniques (zero-shot, few-shot, Chain-of-Thought, and rubric-based) with and without Retrieval Augmented Generation (RAG). Fine-tuning with the LoRA method was also used in the study as a comparative method. The primary metric used was Quadratic Weighted Kappa (QWK) to measure the level of score agreement. The results show that the open-source model Qwen3 Next 80B A3B Instruct without RAG delivers optimal performance, achieving the highest average QWK of 0,25 for both zero-shot and rubric-based prompts, outperforming other models while simultaneously maintaining high time efficiency. Generally, RAG was only selectively effective for various cases. This study concludes that prompt engineering strategies applied to large-parameter open-source LLM are the most effective and efficient approach for critical thinking AES, indicating that the performance of open-source LLM can surpass closed-source models in this specific domain task.

Item Type:	Thesis (Other)
Uncontrolled Keywords:	Automatic Essay Scoring, LLM, prompt engineering, QWK, RAG
Subjects:	Q Science > QA Mathematics > QA336 Artificial Intelligence
Divisions:	Faculty of Intelligent Electrical and Informatics Technology (ELECTICS) > Information Technology > 59201-(S1) Undergraduate Thesis
Depositing User:	Muhammad Rifqi Oktaviansyah
Date Deposited:	24 Jul 2026 01:36
Last Modified:	24 Jul 2026 01:37
URI:	http://repository.its.ac.id/id/eprint/137010

Actions (login required)

View Item