Pengembangan Query Monitoring pada BigQuery dan Flatten Schema pada MongoDB untuk Pengolahan Data PT. Global Digital Niaga

Widyadhana, Dyandra Paramitha (2023) Pengembangan Query Monitoring pada BigQuery dan Flatten Schema pada MongoDB untuk Pengolahan Data PT. Global Digital Niaga. Project Report. [s,n], [s.l.]. (Unpublished)

Text 05111940000119-Project_Report.pdf - Accepted Version Restricted to Repository staff only Download (1MB) | Request a copy

Abstract

Kegiatan Magang dan Studi Independen Bersertifikat (MSIB) yang dilakukan dan dipaparkan dalam laporan akhir berikut adalah kegiatan Magang di PT. Global Digital Niaga yaitu Blibli yang bekerja dalam industri e-commerce dan merupakan salah satu leading e-commerce di Indonesia. Magang dilaksanakan di divisi Data Engineer, dan project yang dilaksanakan selama pelaksanaan magang merupakan Query Monitoring pada BigQuery yang bertujuan untuk memberikan alert kepada user apabila kueri berjalan dengan waktu yang lama dan Flatten Schema pada MongoDB. Project yang dilaksanakan mengimplementasikan konsep-konsep SQL dan NoSQL, penggunaan API dan tools seperti BigQuery, MongoDB, dan Apache Airflow dan juga memanfaaatkan beberapa library Python untuk menyelesaikan topik tersebut. Project yang dilaksanakan memiliki tujuan untuk melakukan optimasi pengolahan data dan juga mengoptimasi waktu dan biaya yang digunakan dengan menggunakan BigQuery dan juga MongoDB. Output yang didapatkan telah dilakukan testing dan juga deployment. Hasil yang didapatkan dari kegiatan magang ini yaitu pengembangan kompetensi teknikal pada bidang Data Engineering

Item Type:	Monograph (Project Report)
Uncontrolled Keywords:	Data Engineer, Query Monitoring, Flatten Schema, BigQuery, MongoDB, API
Subjects:	Q Science > QA Mathematics > QA76.9.D343 Data mining. Querying (Computer science) T Technology > T Technology (General) > T57.5 Data Processing
Divisions:	Faculty of Intelligent Electrical and Informatics Technology (ELECTICS) > Informatics Engineering > 55201-(S1) Undergraduate Thesis
Depositing User:	Dyandra Paramitha Widyadhana
Date Deposited:	19 Jan 2023 07:21
Last Modified:	19 Jan 2023 07:21
URI:	http://repository.its.ac.id/id/eprint/95496

Actions (login required)

View Item