Kardinata, Eunike Andriani (2020) Online Incremental Learning Berbasis Crowdsourcing untuk Ekstraksi Relasi Ontologi Bahasa Indonesia. Masters thesis, Institut Teknologi Sepuluh Nopember.
Preview |
Text
05211850010016-Master_Thesis.pdf Download (1MB) | Preview |
Abstract
Ontologi adalah salah satu bentuk representasi pengetahuan yang terstruktur. Ontologi banyak digunakan dan dikembangkan dalam proses information retrieval karena kemampuannya merepresentasikan pengetahuan ke dalam bentuk yang bisa dipahami oleh mesin dan manusia. Dengan meningkatnya skala dan kerumitan ontologi, terdapat tantangan yang lebih besar dalam identifikasi extra-logical error. Metode pembangunan ontologi kebanyakan menggunakan pembelajaran mesin, yang mana terdapat risiko adanya extra-logical error yang terlewatkan. Untuk menanganinya, digunakan crowdsourcing, yaitu membagi sebuah pekerjaan besar ke beberapa pekerjaan kecil dan mempekerjakan massa untuk menyelesaikannya secara online. Untuk memanfaatkan crowdsourcing, pemrosesan data yang biasanya dilakukan secara offline dan batch diubah menjadi online dan incremental. Online incremental learning langsung menyusun model secara iteratif setelah sebuah perubahan dilakukan, dengan memastikan bahwa pengetahuan yang sudah didapatkan sebelumnya tetap dipertahankan. Pada penelitian ini, dibangun sebuah medium interaktif untuk menyajikan relasi awal antar pasangan konsep. Partisipan crowdsourcing diminta untuk memvalidasi relasi tersebut secara berulang sampai tercapai nilai akurasi yang ditentukan. Dari penelitian ini, ditemukan bahwa proses crowdsourcing mampu memperbaiki model yang digunakan pada proses ekstraksi relasi, yaitu dari F1-Score 87.2% menjadi 89.8%. Perbaikan dengan menggunakan crowdsourcing ini mencapai hasil akhir yang sama dengan perbaikan oleh expert. Dengan demikian, crowdsourcing dinilai mampu mengoreksi extra-logical error dengan tepat selayaknya expert. Selain itu, ditemukan juga bahwa offline incremental learning dengan menggunakan Random Forest menghasilkan akurasi model yang lebih tinggi dibandingkan dengan online incremental learning dengan menggunakan Mondrian Forest. Akurasi model Random Forest memiliki akurasi akhir sebesar 90.6% sementara akurasi model Mondrian Forest sebesar 89.7%. Dari hasil ini disimpulkan bahwa online incremental learning tidak mampu memberikan hasil yang lebih baik daripada offline incremental learning untuk perbaikan proses ekstraksi relasi meronymy.
===============================================================================================================================
Ontology is a form of structured knowledge representation. Ontology is largely used and developed in the process of information retrieval because of its ability to represent knowledge in a form that is both understandable by machine and human. With the increase of ontology scale and complexity is a greater challenge in extra-logical error identification. Most ontological engineering methods depend on machine learning where there is a risk of overlooking extra-logical error. One way to handle this is by crowdsourcing, that is dividing a large task into several smaller subtasks and employ the mass to complete them online. To utilise crowdsourcing, we change the offline and batch data processing into the online and incremental one. Online incremental learning iteratively constructs a model right after a change is made, ensuring that previously acquired knowledge is maintained. In this research, we develop an interactive medium to display the initial relation between concepts. The crowdsourcing participants will be asked to repeatedly validate those relations until the desired accuracy value is reached. From this research, we find that crowdsourcing is able to improve the model used in relation extraction process, from the F1-Score of 87.2% to 89.8%. This improvement using crowdsourcing reaches the same score as that using expert. Therefore, crowdsourcing is considered as able to correct extra-logical error accurately, just like expert. Besides, we also discover that offline incremental learning using Random Forest produces a model with higher accuracy than online incremental learning using Mondrian Forest. Random Forest model has the final accuracy value of 90.6% while Mondrian Forest model has 89.7%. From this result, we conclude that online incremental learning is unable to produce a better result than offline incremental learning in improving meronymy relation extraction process.
| Item Type: | Thesis (Masters) |
|---|---|
| Additional Information: | RTSI 005.8 Kar o-1 2020 |
| Uncontrolled Keywords: | crowdsourcing, extra-logical error, online incremental, relasi |
| Subjects: | T Technology > T Technology (General) > T57.5 Data Processing |
| Divisions: | Faculty of Intelligent Electrical and Informatics Technology (ELECTICS) > Information System > 59101-(S2) Master Thesis |
| Depositing User: | Eunike Andriani Kardinata |
| Date Deposited: | 12 Mar 2025 04:32 |
| Last Modified: | 12 Mar 2025 04:32 |
| URI: | http://repository.its.ac.id/id/eprint/73209 |
Actions (login required)
 |
View Item |