Bahy, Muhammad Bintang (2026) Pengembangan Sistem Penjadwalan Pod Kubernetes Berbasis Prompt Menggunakan Large Language Model (LLM) dengan Pertimbangan Komunikasi Antar-Layanan. Masters thesis, Institut Teknologi Sepuluh Nopember.
|
Text
6025222003-Master_Thesis.pdf - Accepted Version Restricted to Repository staff only Download (14MB) | Request a copy |
Abstract
Sistem penjadwalan bawaan Kubernetes menempatkan pod berdasarkan aturan dan fungsi skoring yang tetap, sehingga perubahan tujuan penjadwalan memerlukan perubahan konfigurasi atau kode, dan pola komunikasi antarlayanan tidak dipertimbangkan secara langsung. Penelitian ini merancang dan mengimplementasikan metode penjadwalan pod Kubernetes berbasis Large Language Model (LLM) yang memungkinkan pengguna menyatakan tujuan penjadwalan secara bebas melalui prompt bahasa alami. Metode ini dievaluasi terhadap sistem penjadwalan bawaan dari sisi kendali penempatan, distribusi beban, latensi, overhead, dan biaya. Mekanisme penjadwalan dirancang sebagai plugin Scheduler Framework dua fase. Fase filter deterministik menyaring node yang memenuhi syarat. Fase skoring mengirim kondisi klaster, peta dependensi antarlayanan dari aliran jaringan Cilium Hubble, dan prompt kebijakan dari Kubernetes ConfigMap ke LLM untuk memeringkat node. Prompt kebijakan dibaca ulang pada setiap keputusan sehingga dapat diganti tanpa mengubah kode. Evaluasi dilakukan pada Amazon EKS (Kubernetes 1.36) dengan desain faktorial atas tiga konfigurasi sistem penjadwalan, tiga tingkat beban, dan 10 pengulangan, menggunakan tiga model dari tiga penyedia: Claude Haiku 4.5, Amazon Nova 2 Lite, dan gpt-5.4-nano. Latensi lintas-node diemulasikan sebagai penalti tetap 20 ms. LLM terbukti memanfaatkan kondisi klaster dan peta dependensi dalam menentukan penempatan. Prompt latensi memaketkan pasangan layanan dependen dengan co-location 0,95–1,00, dibanding 0,40–0,58 pada sistem penjadwalan bawaan dan 0,48 pada penempatan acak. Dibandingkan sistem penjadwalan bawaan, co-location menurunkan latensi p95 pada beban rendah dari sekitar 228 ms menjadi sekitar 196 ms terhadap penalti yang diemulasikan. Keuntungan tersebut hilang ketika model memusatkan terlalu banyak pod pada satu node atau klaster jenuh. Sistem penjadwalan berbasis prompt juga menambah overhead 2,3–7,8 detik per keputusan dan biaya USD 0,58–3,61 per 1.000 keputusan. Penggantian prompt mengubah penempatan secara terukur pada ketiga model: prompt load-balance menghasilkan Jain's Fairness Index 0,89–0,94, berbanding 0,25–0,77 pada prompt latensi, dan ketiga hipotesis kendali penempatan signifikan pada setiap model (uji Mann-Whitney U satu sisi dengan koreksi Holm-Bonferroni, Â12 ≥ 0,92). Namun, prompt load-balance tidak terbukti melampaui sistem penjadwalan bawaan pada pemerataan beban, karena JFI-nya sudah 0,87–0,89. Dengan demikian, penjadwalan berbasis prompt layak untuk menyatakan dan mengganti kebijakan penempatan dalam bahasa alami secara konsisten lintas penyedia model. Keuntungan latensinya bersifat kondisional, sedangkan overhead dan biayanya perlu diperhitungkan.
======================================================================================================================================
The default Kubernetes scheduler places pods using fixed rules and scoring functions, so a new scheduling objective needs configuration or code changes, and inter-service communication is not considered. This research designs and implements a Kubernetes pod scheduler based on Large Language Models (LLMs) that lets users state scheduling objectives freely in natural-language prompts. It is evaluated against the default scheduler on placement control, load distribution, latency, overhead, and cost. In this two-phase Scheduler Framework plugin, a deterministic filter selects eligible nodes and a scoring phase sends the cluster state, the dependency map from Cilium Hubble network flows, and the policy prompt from a Kubernetes ConfigMap to the LLM, which ranks the nodes. Re-reading the prompt on every decision lets it be replaced without code changes. The evaluation runs a factorial design on Amazon EKS (Kubernetes 1.36): three scheduler configurations, three load levels, 10 repetitions, and three models from three providers (Claude Haiku 4.5, Amazon Nova 2 Lite, and gpt-5.4-nano). Cross-node latency is emulated as a fixed 20 ms penalty. The LLM uses the cluster state and dependency map when placing pods. The latency prompt co-locates dependent service pairs (co-location 0.95–1.00, versus 0.40–0.58 for the default scheduler and 0.48 for random placement). Under low load, co-location lowers p95 latency from about 228 ms (default scheduler) to about 196 ms against the emulated penalty. The benefit disappears when a model packs too many pods onto one node or the cluster saturates. The scheduler also adds 2.3–7.8 s of overhead per decision and costs USD 0.58–3.61 per 1,000 decisions. Changing the prompt changes placement for all three models: the load-balancing prompt yields a Jain's Fairness Index of 0.89–0.94, versus 0.25–0.77 for the latency prompt, and the three placement-control hypotheses are significant for every model (one-sided Mann-Whitney U with Holm-Bonferroni correction, Â12 ≥ 0.92). However, the load-balancing prompt does not significantly beat the default scheduler, which already reaches 0.87–0.89. Prompt-based scheduling is therefore feasible for expressing and changing placement policies in natural language, consistently across model providers. Its latency benefit is conditional, and its overhead and cost must be considered.
| Item Type: | Thesis (Masters) |
|---|---|
| Uncontrolled Keywords: | Generative AI, Kubernetes, Large Language Model (LLM), Microservices, Observabilitas Jaringan, Penempatan Workload, Penjadwalan Berbasis Prompt, Network Observability, Prompt-Based Scheduling, Workload Placement |
| Subjects: | Q Science > QA Mathematics > QA76.585 Cloud computing. Mobile computing. |
| Divisions: | Faculty of Intelligent Electrical and Informatics Technology (ELECTICS) > Informatics Engineering > 55101-(S2) Master Thesis |
| Depositing User: | Muhammad Bintang Bahy |
| Date Deposited: | 10 Nov 2026 05:55 |
| Last Modified: | 10 Nov 2026 05:55 |
| URI: | http://repository.its.ac.id/id/eprint/146047 |
Actions (login required)
![]() |
View Item |
