Edysa, Cedric Anthony (2026) Oxyra: Chatbot Berbasis LLM Sebagai Sistem Informasi Cerdas Kualitas Udara. Other thesis, Institut Teknologi Sepuluh Nopember.
![[thumbnail of 5024221015_Undergraduate_Thesis.pdf]](http://repository.its.ac.id/style/images/fileicons/text.png) |
Text
5024221015_Undergraduate_Thesis.pdf - Accepted Version Restricted to Repository staff only Download (4MB) | Request a copy |
Abstract
Penelitian ini mengembangkan Oxyra, sebuah chatbot berbasis LLM yang menyederhanakan informasi kualitas udara sekaligus menekan halusinasi melalui pemisahan peran: seluruh nilai numerik diambil kode program melalui mekanisme pemanggilan fungsi (tool calling), saran tindakan ditetapkan secara deterministik berdasarkan kategori AQI standar US EPA, sedangkan model bahasa hanya merangkai jawaban—sehingga kecerdasan sistem terletak pada pemahaman maksud kalimat pengguna dan pembahasaan hasil, bukan pada peramalan maupun analisis data. Sistem dilengkapi strategi anti-halusinasi berlapis berupa gerbang pertanyaan di luar lingkup, validasi wilayah, dan penguraian pertanyaan majemuk. Arsitektur yang sama diterapkan pada dua subsistem dengan karakteristik data berbeda, yaitu data real-time 16 kota di Jawa Timur dan data historis US EPA yang nilai AQI-nya dihitung sendiri dari konsentrasi mentah. Pengujian dilakukan menggunakan 40 pertanyaan yang dikumpulkan dari responden masyarakat awam. Jawaban sistem dengan model inti Llama 3.1 8B memperoleh skor rata-rata 8,58 dari skala 5 hingga 10 pada penilaian ahli terhadap dua belas pertanyaan perwakilan, dibandingkan 8,25 pada model pembanding Qwen3 8B. Audit terhadap 80 jawaban yang dihasilkan tiap model menunjukkan model inti tidak menyampaikan satu pun kondisi tanpa dukungan data, sedangkan model pembanding menyampaikannya pada enam jawaban. Validasi terhadap 18 pertanyaan berkueri acuan pada subsistem US EPA menunjukkan kesesuaian penuh dengan basis data. Seluruh halusinasi model pembanding terjadi ketika model tidak memanggil fungsi, sehingga kepatuhan terhadap mekanisme tool calling teridentifikasi sebagai penentu keandalan sistem. Pengujian preferensi tersamar terhadap 10 responden awam menunjukkan mayoritas responden memilih jawaban sistem dibandingkan jawaban model bahasa yang sama tanpa arsitektur yang dikembangkan pada keempat pasangan pertanyaan yang diujikan.
=================================================================================================================================
This research develops Oxyra, an LLM-based chatbot that simplifies air quality information while suppressing hallucination through a separation of roles: all numerical values are retrieved by program code through a tool-calling mechanism, action recommendations are determined deterministically based on the US EPA AQI categories, and the language model is limited to composing the answer—so that the system’s intelligence lies in understanding the user’s intent and verbalizing the results, rather than in forecasting or data analysis. The system is equipped with a layered anti-hallucination strategy consisting of an out-of-scope question gate, region validation, and compound-question decomposition. The same architecture is applied to two subsystems with different data characteristics, namely real-time data from 16 cities in East Java and historical US EPA data whose AQI values are computed independently from raw concentrations. Testing was conducted using 40 questions collected from lay respondents. Answers produced by the core model, Llama 3.1 8B, obtained an average score of 8.58 on a 5 to 10 scale in an expert assessment of twelve representative questions, compared to 8.25 for the comparison model, Qwen3 8B. An audit of 80 answers per model showed that the core model conveyed no actual condition unsupported by data, whereas the comparison model did so in six answers. Validation of 18 questions with reference queries on the US EPA subsystem showed full agreement with the database. All hallucinations of the comparison model occurred when the model did not invoke a function, identifying compliance with the tool-calling mechanism as a determinant of system reliability. A blinded preference test with 10 lay respondents showed that the majority of respondents favored the system’s answers over those of the same base model without the developed architecture across all four question pairs tested.
Actions (login required)
 |
View Item |