Implementasi Single Thread dan Multi Thread pada Web Crawling

Hasanah, Yunanti Moga (2023) Implementasi Single Thread dan Multi Thread pada Web Crawling. Other thesis, Institut Teknologi Sepuluh Nopember.

Text 06111940000039-Undergraduate_Thesis.pdf - Accepted Version Restricted to Repository staff only until 1 September 2025. Download (8MB) | Request a copy

Abstract

Peredaran informasi pada saat ini semakin pesat. Semua informasi dapat dengan mudah diperoleh dari berbagai sumber di internet. Sebagian besar pengguna internet menggunakan mesin pencari dalam memperoleh sebuah informasi. Lebih dari 5 miliar orang di seluruh dunia sekarang menggunakan internet dengan durasi rata-rata online selama 6 jam 53 menit dalam sehari. Sehingga diperlukan mesin pencari yang memiliki kinerja terbaik. Efektivitas mesin pencari tergantung pada web crawler dan teknik crawling yang digunakan untuk memperoleh data yang diinginkan pengguna. Web crawling merupakan elemen penting yang secara otomatis menjelajahi halaman web dan tautan sesuai dengan permintaan pengguna. Web crawling dapat diterapkan secara single thread maupun multi thread. Perbedaan penerapan web crawling ini terdapat pada alur kerja dalam menjelajahi sebuah halaman web yang berkaitan dengan kata kunci. Single thread akan menjelajahi satu persatu halaman web sehingga dapat lebih cermat pencariannya. Sedangkan multi thread menjelajahi halaman web secara bersamaan dalam satu waktu yang mana akan membutuhkan waktu lebih singkat. Oleh karena itu, Tugas Akhir ini bertujuan mengimplementasikan single thread dan multi thread pada web crawling untuk mendapatkan metode terbaik dengan menganalisis kinerjanya. Pada Tugas Akhir ini dibuat tiga skenario dimana skenario tersebut berkaitan dengan banyaknya kata pada kata kunci. Skenario pertama menggunakan satu kata, skenario kedua menggunakan dua kata, dan skenario ketiga menggunakan tiga kata. Hasil terbaik dalam pada Tugas Akhir ini adalah metode Multi Thread yang memiliki kualitas URL sebesar 62,33% dengan kecepatan selama 59,243 s.
===================================================================================================================================
The circulation of information is currently growing rapidly. All information can be easily obtained from various sources on the internet. Most internet users use search engines to obtain information. More than 5 billion people worldwide now use the internet with an average online duration of 6 hours 53 minutes a day. So we need a search engine that has the best performance. The effectiveness of a search engine depends on the web crawler and the crawling techniques used to get the data the user wants. Web crawling is an important element that automatically explores web pages and links according to user requests. Web crawling can be implemented in single thread or multi thread. The difference in the application of web crawling is found in the workflow in exploring a web page related to keywords. Single thread will explore web pages one by one so that it can search more accurately. Whereas multi-threads explore web pages simultaneously at one time which will take less time. Therefore, this Final Project aims to implement single thread and multi thread on web crawling to get the best method by analyzing its performance. In this Final Project, three scenarios are made where the scenarios are related to the number of words in the keywords. The first scenario uses one word, the second scenario uses two words, and the third scenario uses three words. The best result in this Final Project is the multi thread method which has a URL quality of 62.33% with a speed of 59.243 seconds.

Item Type:	Thesis (Other)
Uncontrolled Keywords:	Search Engine, Web Crawling, Single Thread, Multi Thread, Mesin Pencari, Perayap Web, Single Thread, Multi Thread
Subjects:	T Technology > TK Electrical engineering. Electronics Nuclear engineering > TK5105.88815 Semantic Web
Divisions:	Faculty of Science and Data Analytics (SCIENTICS) > Mathematics > 44201-(S1) Undergraduate Thesis
Depositing User:	Yunanti Moga Hasanah
Date Deposited:	01 Aug 2023 05:38
Last Modified:	01 Aug 2023 05:38
URI:	http://repository.its.ac.id/id/eprint/100314

Actions (login required)

View Item