Aggregation and Analysis of Time-Series Solar Data

Putra, Alsyahrir Zahni (2026) Aggregation and Analysis of Time-Series Solar Data. Other thesis, Institut Teknologi Sepuluh Nopember.

Text 5026211192_Undergraduate_Thesis.pdf Restricted to Repository staff only Download (1MB) | Request a copy

Abstract

Photovoltaic (PV) systems generate large volumes of operational records, but inconsistent formats and non-standardised column naming conventions across monitoring platforms make it difficult to combine information from multiple installations. This project develops the Solar Data Aggregator, a Python library that automates multi-source PV integration using LLM-assisted column detection. The library employs the Llama 3.3 70B model via the Groq API to semantically interpret ambiguous column names and map them to a standardised schema, addressing cases where conventional keyword matching fails. A modular architecture comprising schema definition, column detection, processing, LLM integration, and visualisation modules supports the ingestion of CSV and Excel files and produces standardised daily outputs. The library was validated using two real-world datasets: the NREL PVDAQ repository containing over 1.1 million sub-daily records from a five-year US installation, and operational inverter exports from an industrial facility in Penang, Malaysia. The LLM correctly mapped non-standard column names from both sources without manual configuration. Additionally, a Random Forest regression model was developed to predict daily energy production for the Penang installation using weather variables from the Open-Meteo API. The model achieved an R-squared value of 0.493 and a Mean Absolute Percentage Error of 18.97%, demonstrating moderate predictive capability constrained by the limited eight-month collection period. Feature importance revealed that the temporal feature day_of_year dominated predictions, indicating that a multi-year dataset would be needed to isolate independent contributions of weather variables. The project demonstrates the practical viability of LLM-assisted processing for addressing heterogeneity in photovoltaic systems and provides a foundation for weather-based energy forecasting.
====================================================================================================================================
Sistem Fotovoltaik (PV) menghasilkan rekaman operasional dalam jumlah besar, tetapi format yang tidak konsisten dan konvensi penamaan kolom yang tidak terstandarisasi di berbagai platform pemantauan menyulitkan penggabungan informasi dari beberapa instalasi. Proyek ini mengembangkan Solar Data Aggregator, sebuah pustaka Python yang mengotomatiskan integrasi PV dari berbagai sumber menggunakan deteksi kolom berbantuan LLM. Pustaka ini menggunakan model Llama 3.3 70B melalui Groq API untuk menginterpretasikan nama kolom yang ambigu secara semantik dan memetakkannya ke skema terstandarisasi, mengatasi kasus-kasus di mana pencocokan kata kunci konvensional gagal. Arsitektur modular yang terdiri dari modul definisi skema, deteksi kolom, pemrosesan, integrasi LLM, dan visualisasi mendukung pemrosesan berkas CSV dan Excel serta menghasilkan luaran harian yang terstandarisasi. Pustaka ini divalidasi menggunakan dua himpunan data dunia nyata: repositori NREL PVDAQ yang berisi lebih dari 1,1 juta rekaman sub-harian dari instalasi lima tahun di AS, dan ekspor inverter operasional dari fasilitas industri di Penang, Malaysia. LLM berhasil memetakan nama kolom non-standar dari kedua sumber tersebut secara tepat tanpa konfigurasi manual. Selain itu, model regresi Random Forest dikembangkan untuk memprediksi produksi energi harian pada instalasi di Penang menggunakan variabel cuaca dari Open-Meteo API. Model tersebut mencapai nilai R-squared sebesar 0,493 dan Mean Absolute Percentage Error sebesar 18,97%, yang menunjukkan kemampuan prediktif tingkat menengah yang dibatasi oleh periode pengumpulan data selama delapan bulan yang tergolong singkat. Tingkat kepentingan fitur (feature importance) mengungkapkan bahwa fitur temporal day_of_year mendominasi prediksi, mengindikasikan bahwa himpunan data multi-tahun diperlukan untuk memisahkan kontribusi independen dari variabel cuaca. Proyek ini membuktikan kelayakan praktis pemrosesan berbantuan LLM untuk menangani heterogenitas pada sistem fotovoltaik dan memberikan fondasi bagi prakiraan energi berbasis cuaca.

Item Type:	Thesis (Other)
Uncontrolled Keywords:	photovoltaic, large language model, column detection, Random Forest, energy forecasting, schema standardisation
Subjects:	T Technology > T Technology (General) T Technology > T Technology (General) > T57.5 Data Processing T Technology > T Technology (General) > T58.6 Management information systems
Divisions:	Faculty of Intelligent Electrical and Informatics Technology (ELECTICS) > Information System > 57201-(S1) Undergraduate Thesis
Depositing User:	Alsyahrir Zahni Putra
Date Deposited:	21 Aug 2026 00:40
Last Modified:	21 Aug 2026 00:40
URI:	http://repository.its.ac.id/id/eprint/144379

Actions (login required)

View Item