Web Crawler dan Routing Protocols

Kelompok 4 :
- Crislie Santoso 51418581
- Dewi Irwan 51418817
- Lisa Angeline 53418803
- Nabila Suraya 55418085
- Ronald Leonardo Prawira 56418357
- Windy Aulia 57418364

Web Crawler

Web Crawler adalah sebuah perangkat lunak yang digunakan untuk menjelajah serta mengumpulkan halaman-halaman web yang selanjutnya diindeks oleh mesin pencari (Gatial E,2005). 
Sering juga disebut dengan web spider atau web robot. Web Crawler adalah program yang menelusuri World Wide Web dengan cara yang metodis, otomatis dan teratur. Istilah lain untuk web crawler adalah ant, automatic indexer, bots, web spiders atau web robots. 
Web crawler dapat memperoleh informasi sesuai dengan kata kunci yang diberikan, sama halnya dengan mesin pencari atau search engine. Web Crawler dirancang untuk menelusuri halaman web dan memasukkannya ke dalam database lokal. 

Cara Kerja Web Crawler :

Secara umum crawler memulai prosesnya dengan memberikan daftar sejumlah alamat website untuk dikunjungi, disebut sebagai seeds. Setiap kali sebuah halaman webdikunjungi, crawler akan mencari alamat yang lain yang terdapat didalamnya dan menambahkan kedalam daftar seeds sebelumnya. Proses ini akan terulang lagi di link selanjutnya dan bisa terus berjalan tanpa henti.

Dalam web crawling untuk melakukan crawling ada 3 hal yang harus di pertimbangkan :

1. Seberapa Penting dan Relevan Suatu Halaman

Web crawler tak serta merta mengindeks semua yang ada di internet. Ia menentukan halaman mana yang perlu crawling, berdasarkan jumlah halaman lain yang menaruh link ke halaman tersebut dan jumlah pengunjung ke sana. Jadi, apabila suatu halaman muncul di banyak halaman lain dan mendapatkan pengunjung yang tak sedikit, kemungkinan besar halaman itu memang penting.

2. Kunjungan Rutin

Konten-konten yang ada di internet itu selalu berganti setiap detiknya. Entah karena update, dihapus, atau dipindah ke tempat lain. Maka dari itu, web crawler perlu untuk mengunjungi berbagai halaman website secara rutin agar memastikan versi terakhir halaman tersebut yang ada di indeks.

Apalagi kalau halaman itu merupakan halaman yang penting dan banyak pengunjungnya, ia dipastikan akan sering melakukan kunjungan ulang yang rutin ke sana.

3. Menuruti Keinginan Robots.txt

Robots.txt ini merupakan file di sebuah website yang berisi informasi mengenai halaman mana yang boleh diindeks dan halaman mana yang tak boleh. Web crawler juga menentukan halaman mana yang perlu crawling berdasarkan keinginan robots.txt. Jadi sebelum crawling ke suatu website, ia akan mengecek robots.txt dari website itu terlebih dahulu.

Fungsi Web Crawler / Web Spider :

1. Web crawler biasa digunakan untuk membuat salinan sebahagian atau keseluruhan halaman web yang telah dikunjunginya agar dapat diproses lebih lanjut oleh system pengindeksan.
2. Pemeliharaan website ( Contoh : memvalidasi kode html sebuah web. )
3. Memperoleh data ( Contoh : mengumpulkan alamat email, data untuk statistic, dan lain-lain )
4. Membandingkan Harga ( Contoh : Saat Anda mencari suatu produk, harga produk tersebut akan langsung muncul tanpa perlu masuk ke website penjualnya. )

Contoh Web Crawler :

1. YaCy

YaCy dibangun atas prinsip jaringan P2P (peer-to-peer), di develop dengan menggunakan java, dan didistribusikan pada beberapa ratus mesin computer (disebut YaCy peers). Tiap-tiap peer di share dengan prinsip P2P untuk berbagi index, sehingga tidak memerlukan server central. 

2. HTTrack

HTTrack merupakan software yang dapat mendownload konten website menjadi sebuah mirror pada harddisk anda, agar dapat dilihat secara offline.

3. GoogleBot

Merupakan web crawler untuk membangun index pencarian yang digunakan oleh search engine Google. Kalau website anda ditemukan orang melalui Google, bisa jadi itu merupakan jasa dari Googlebot. Walau konsekuensinya, sebagian bandwidth anda akan tersita karena proses crawling ini.

4. Yahoo!Slurp

Googlebot adalah web crawler andalan Google, maka search engine Yahoo mengandalkan Yahoo!Slurp. Teknologinya dikembangkan oleh Inktomi Corporation yang diakuisisi oleh Yahoo!.

5. Teleport Pro

Salah satu software web crawler untuk keperluan offline browsing. 

Crawling Policies (Kebijakan Perayapan)

1. Kebijakan Pemilihan

Pentingnya sebuah halaman adalah fungsi dari kualitas intrinsiknya , popularitasnya dalam hal tautan atau kunjungan, dan bahkan URL-nya (yang terakhir adalah kasus mesin pencari vertikal terbatas pada domain tingkat atas tunggal, atau mesin pencari dibatasi ke situs Web tetap). Merancang kebijakan pemilihan yang baik memiliki kesulitan tambahan: ia harus bekerja dengan informasi parsial, karena set lengkap halaman Web tidak dikenal selama perayapan.

Membatasi tautan yang diikuti,

Perayap mungkin hanya ingin mencari halaman HTML dan menghindari semua jenis MIME lainnya. Untuk hanya meminta sumber daya HTML, perayap dapat membuat permintaan HTTP HEAD untuk menentukan jenis MIME sumber daya Web sebelum meminta seluruh sumber daya dengan permintaan GET. Untuk menghindari membuat banyak permintaan KEPALA, perayap dapat memeriksa URL dan hanya meminta sumber daya jika URL berakhir dengan karakter tertentu seperti .html, .htm, .asp, .aspx, .php, .jsp, .jspx atau garis miring . Strategi ini dapat menyebabkan banyak sumber daya Web HTML tidak sengaja dilewati.

2. Kunjungi Kembali Kebijakan

Web memiliki sifat yang sangat dinamis, dan merayapi sebagian kecil dari Web dapat memakan waktu berminggu-minggu atau berbulan-bulan. Pada saat perayap Web telah menyelesaikan perayapannya, banyak peristiwa dapat terjadi, termasuk kreasi, pembaruan, dan penghapusan.

Dari sudut pandang mesin pencari, ada biaya yang terkait dengan tidak mendeteksi suatu peristiwa, dan dengan demikian memiliki salinan sumber daya yang sudah usang. Fungsi biaya yang paling sering digunakan adalah kesegaran dan usia.

Kesegaran : Ini adalah ukuran biner yang menunjukkan apakah salinan lokal akurat atau tidak. Kesegaran halaman p dalam repositori pada waktu t didefinisikan sebagai:

Umur : Ini adalah ukuran yang menunjukkan seberapa ketinggalan salinan lokal. Usia halaman p dalam repositori, pada waktu t didefinisikan sebagai:

Tujuan crawler adalah untuk menjaga kesegaran halaman rata-rata dalam koleksinya setinggi mungkin, atau untuk menjaga usia rata-rata halaman serendah mungkin. 

3. Kebijakan Kesopanan

Crawler dapat mengambil data jauh lebih cepat dan lebih dalam dari pada pencari manusia, sehingga mereka dapat memiliki dampak yang melumpuhkan pada kinerja suatu situs. Tidak perlu dikatakan, jika satu perayap melakukan beberapa permintaan per detik dan / atau mengunduh file besar, server akan kesulitan memenuhi permintaan dari beberapa perayap.

Seperti dicatat oleh Koster, penggunaan crawler Web berguna untuk sejumlah tugas, tetapi disertai dengan harga untuk masyarakat umum. Biaya menggunakan crawler Web meliputi:

1. Sumber daya jaringan, karena crawler membutuhkan bandwidth yang besar dan beroperasi dengan tingkat paralelisme yang tinggi selama periode waktu yang lama.
2. Server overload, terutama jika frekuensi akses ke server yang diberikan terlalu tinggi.
3. Crawler yang ditulis dengan buruk, yang dapat membuat crash server atau router, atau halaman unduh yang tidak dapat mereka tangani.
4. Perayap pribadi yang, jika digunakan oleh terlalu banyak pengguna, dapat mengganggu jaringan dan server Web.

4. Kebijakan Pararelisasi

Perayap paralel adalah perayap yang menjalankan banyak proses secara paralel.

Tujuannya adalah untuk memaksimalkan kecepatan unduhan sambil meminimalkan overhead dari paralelisasi dan untuk menghindari unduhan berulang pada halaman yang sama. Untuk menghindari mengunduh halaman yang sama lebih dari sekali, sistem perayapan membutuhkan kebijakan untuk menetapkan URL baru yang ditemukan selama proses perayapan, karena URL yang sama dapat ditemukan oleh dua proses perayapan yang berbeda.

Routing Protocols

1. Routing Information Protocol (RIP)

- Menggunakan algoritma “distance vector”. 

- Metric yang dilakukan pada protokol ini berdasarkan hop count untuk pemilihan jalur terbaik.

- Jika hop count lebih dari 15, maka paket datagram akan dibuang dan tidak diteruskan.

- Update routing table pada protokol ini akan dilakukan secara broadcast setiap 30 detik

- Menggunakan algoritma “advanced distance vector” dan menggunakan “cost load balancing” yang tidak sama. Algoritma yang dipakai adalah kombinasi antara “distance vector” dan “link-state”.

- Menggunakan Diffusing Update Algorithm (DUAL) untuk menghitung jalur terpendek.

- Broadcast-broadcast EIGRP di-update setiap 90 detik ke semua router EIGRP yang berdekatan.

2. Interior Gateway Routing Protocol (IGRP)

- Menggunakan algoritma “distance vector”.

- Memiliki hop maksimum 255, tetapi default dari protokolnya sendiri adalah 100.

- Menggunakan bandwidth dan garis menunda secara default untuk menentukan rute terbaik dalam sebuah interkoneksi.

- Update routing pada protokol ini dilakukan secara broadcast setiap 90 detik.

- Memiliki kemampuan untuk melakukan pengumpulan rute, pertukaran rute dan menentukan rute terbaik menuju ke sebuah lokasi dalam sebuah jaringan.

- Termasuk ke dalam kategori routing protocol jenis Exterior Gateway Protocol (EGP).

- Update informasi pada protokol ini akan dikirim melalui koneksi TCP.

- Kelebihan dari protokol ini adalah instalasi yang sangat sederhana.

3. Intermediate System-to-Intermediate System (IS-IS)

Digunakan pada perangkat jaringan komputer yang berguna untuk menentukan jalur terbaik bagi datagram ketika diarahkan ke tujuan.