Kajian Tentang Metrik Relevansi Topik Dasar Untuk Pengembangan Prototipe Fitur Pencari Objek Pembelajaran

Qomarudin, Mochamad Nur (2014) Kajian Tentang Metrik Relevansi Topik Dasar Untuk Pengembangan Prototipe Fitur Pencari Objek Pembelajaran. Masters thesis, Institut Teknologi Sepuluh Nopember.

Text 2210202006-Master Thesis.pdf - Accepted Version Restricted to Repository staff only Download (1MB) | Request a copy

Abstract

Fitur pencari dapat memudahkan pengguna memilah objek pembelajaran, namun seringkali tidak menampilkan objek yang relevan di urutan teratas. Untuk itu Ochoa dan Duval (2008) mengembangkan konsep estimasi relevansi objek, yang disebut metrik peringkat relevansi, sebagai dasar untuk mengurutkan objek hasil pencarian menurut tingkat relevansinya. Diantara tujuh metrik yang diusulkan, metrik relevansi topik dasar (TD) memberikan pemeringkatan objek yang mendekati tinjauan manusia.
Keberhasilan metrik ini sangat ditentukan oleh data rekaman riwayat pencarian sebelumnya. Dalam pencarian sebenarnya, keakuratan estimasi metrik relevansi topik dasar diprediksi menurun karena kehadiran noise dalam data. Untuk mengetahui seberapa besar pengaruh noise terhadap performansi metrik TD, dilakukan eksperimen dengan melibatkan pemilihan objek yang tidak relevan sebagai noise. Dengan melakukan modifikasi pada data rekaman dan pemilihan fungsi kemiripan kueri, dilakukan eksperimen lanjutan untuk mengetahui apakah pengaruh noise terhadap performansi metrik TD dapat diminimalkan.
Sepuluh kueri pencarian yang mewakili mata kuliah bidang teknik sistem pengaturan digunakan dalam eksperimen pencarian di situs web MIT Open Course Ware (OCW). Hasil evaluasi menunjukkan bahwa metrik TD memberikan perbaikan relevansi sebesar 21.11% terhadap metrik referensi (Lucene), dan noise dalam data menurunkan performansi metrik sehingga hanya memberikan perbaikan relevansi sebesar 7.11%. Pendekatan yang diusulkan terbukti dapat meminimalkan pengaruh noise, bahkan meningkatkan performansi metrik dengan perbaikan relevansi sebesar 26.67%. Hasil kajian ini selanjutnya digunakan sebagai justifikasi terhadap implementasi metrik TD dalam pengembangan prototipe fitur pencari objek pembelajaran.
=========================================================================================================
The Learning Object search facility can help user to find some objects, but frequently cannot present the most relevant object in the top results list. Therefore, Ochoa & Duval (2008) have proposed some concept of relevance estimation of learning object, relevance ranking metric for short, as a consideration to sort learning objects in the result list based on their relevance. Among its proposed concept, basic topical (BT) relevance metric provides the learning object ranking which has a good correlation with human ranking.
Performance of the metric is depended on log data of previous search. In the real situation, accuracy of the metric estimation was predicted to be decreased because of noise presence in the data. In order to acquire how much noise influence the metric performance, an experiment which involving some irrelevant object selection was conducted. By modifying the log data and choosing appropriate query similarity function, a second experiment was conducted to examine whether the noise effect could be decreased.
Ten query represented ten courses in control system engineering was involved in the experiment and applied in MIT Open Course Ware (OCW) website search facility. Evaluation shows that BT metric provide relevance improvement about 21.11% towards reference metric (Lucene), and noise decreases the relevance improvement to 7.11%. The proposed modification can decrease noise effect, and provide relevance improvement about 26.67%. Results from this study are used as a justification to implement BT metric in the prototype development of learning object search engine.

Item Type:	Thesis (Masters)
Additional Information:	RTE 005.741 Qom k
Uncontrolled Keywords:	estimasi relevansi objek pembelajaran, fungsi kemiripan kueri, metrik peringkat relevansi, relevansi topik dasar
Subjects:	T Technology > TK Electrical engineering. Electronics Nuclear engineering > TK5105 Data Transmission Systems
Divisions:	Faculty of Industrial Technology > Electrical Engineering > 20101-(S2) Master Thesis
Depositing User:	Mr. Tondo Indra Nyata
Date Deposited:	05 Mar 2018 07:03
Last Modified:	05 Mar 2018 07:11
URI:	http://repository.its.ac.id/id/eprint/51437

Actions (login required)

View Item