Validation of Teaching Style Transfer in AI Tutoring Agent with Pedagogical Decomposition to Improve Deployment Confidence

Pujiastuti, Rezky Dwisantika (2025) Validation of Teaching Style Transfer in AI Tutoring Agent with Pedagogical Decomposition to Improve Deployment Confidence. Other thesis, Institut Teknologi Sepuluh Nopember.

Text 5024221001-Undergraduate_Thesis.pdf - Accepted Version Restricted to Repository staff only Download (15MB) | Request a copy

Abstract

AI agents are increasingly employed in educational settings due to their capabilities to increase productivity. Not only used by students to support their learning process, many educators also leverage AI agents to support their teaching, for example employing teaching agent that is appropriate for teaching-learning environment and still upholds educational value to be used by their students. Yet they lack systematic methods for educators to verify whether these agents reliably embody the intended teaching styles. Current AI tutors risk misalignment between their configured strategies and real-world behavior, creating barriers to educator's trust for deployment. This work investigates how teaching-style transfer in AI tutoring agents can be validated through teaching element decomposition. By breaking down teaching strategies into modular and verifiable units by adopting software unit testing concept, we propose a structured framework that enables instructors to assess teaching style alignment and identify failures more efficiently than manual or unstructured testing. Through comparative user studies with Graduate Teaching Assistant, we examine the extent to which element decomposition improves deployment confidence, measuring trust, efficiency, and willingness to adopt AI tutors in authentic educational contexts. Findings indicate that structured validation increases test coverage, reduces cognitive effort, and enhances educators' readiness to integrate AI tutoring agents into practice.
=========================================================================================================================
Agen AI semakin banyak digunakan dalam konteks pendidikan karena kemampuannya dalam meningkatkan produktivitas. Tidak hanya dimanfaatkan oleh mahasiswa untuk mendukung proses belajar, banyak pendidik juga memanfaatkan agen AI untuk menunjang kegiatan mengajar, misalnya dengan menggunakan agen pengajar yang sesuai dengan lingkungan pembelajaran serta tetap menjunjung nilai-nilai pedagogis bagi peserta didik. Namun demikian, hingga saat ini masih belum tersedia metode yang sistematis bagi pendidik untuk memverifikasi apakah agen tersebut secara konsisten merepresentasikan gaya mengajar yang diharapkan. Agen tutor AI yang ada berpotensi mengalami ketidaksesuaian antara strategi yang dikonfigurasikan dan perilaku aktual di lapangan, sehingga menimbulkan hambatan terhadap kepercayaan pendidik dalam proses penerapannya. Penelitian ini mengkaji bagaimana transfer gaya mengajar pada agen tutor AI dapat divalidasi melalui pendekatan dekomposisi elemen pedagogis. Dengan memecah strategi pengajaran menjadi unit-unit modular yang dapat diverifikasi, serta mengadopsi konsep unit testing dalam pengembangan perangkat lunak, penelitian ini mengusulkan sebuah kerangka kerja terstruktur yang memungkinkan pengajar untuk menilai keselarasan gaya mengajar serta mengidentifikasi kegagalan secara lebih efisien dibandingkan dengan pengujian manual atau tidak terstruktur. Melalui studi pengguna komparatif yang melibatkan Asisten Pengajar Pascasarjana, penelitian ini mengevaluasi sejauh mana dekomposisi elemen pedagogis dapat meningkatkan kepercayaan dalam penerapan, dengan mengukur tingkat kepercayaan, efisiensi, dan kemauan pendidik untuk mengadopsi agen tutor AI dalam konteks pendidikan yang autentik. Hasil penelitian menunjukkan bahwa validasi terstruktur meningkatkan cakupan pengujian, mengurangi beban kognitif, serta meningkatkan kesiapan pendidik untuk mengintegrasikan agen tutor AI ke dalam praktik pembelajaran.

Item Type:	Thesis (Other)
Uncontrolled Keywords:	Intelligent Tutoring System, Multi-Agent Architecture, Large Language Model, Teaching Style Validation, Educational AI, Sistem Tutor Cerdas, Arsitektur Multi-Agen, LLM, Validasi Elemen Pengajaran, Kecerdasan Buatan untuk Pendidikan.
Subjects:	L Education > LB Theory and practice of education Q Science > QA Mathematics > QA336 Artificial Intelligence T Technology > T Technology (General) > T59.7 Human-machine systems.
Divisions:	Faculty of Intelligent Electrical and Informatics Technology (ELECTICS) > Computer Engineering > 90243-(S1) Undergraduate Thesis
Depositing User:	Rezky Dwisantika Pujiastuti
Date Deposited:	19 Jan 2026 08:00
Last Modified:	19 Jan 2026 08:00
URI:	http://repository.its.ac.id/id/eprint/129575

Actions (login required)

View Item