how search work - Google, amazing.

saefulloh

http://www.google.com/insidesearch/howsearchworks/thestory/

waw.. lihat alur pencarian di google.

mantap..

.

standar 'kali pul ...
semua crawler cara kerjanya kaya gitu

yg membedakan itu :
- concurent crawler nya
- dukungan server + space penyimpanan

nah kalo penyajiannya, itu baru pake algoritma yg beda2 dan rahasia perusahaan

di atas google juga kagak paparin algoritma yg dipake

ya komentar gw cuma : standar, umum, tipikal crawler




gw pernah bikin crawler buat ngembat koleksi image suatu situs emoticon
cuma jalan 3 hari, ip gw di ban )

Farhan_386

Haha paling dipake ngembat koleksi gambar eep ampe situsnya tutup...

.

ho-oh ... dapet banyak, gambar tak senonoh elo ama yugo )

saefulloh

haha... wah wah..

gue ngga ikut2an ah...

standar 'kali pul ...
semua crawler cara kerjanya kaya gitu

crawler itu apa mas ?

.

crawler itu bot ...

bisa script, bisa aplikasi desktop
tugasnya :
- membuka suatu url

- men-database-kan isinya
tergantung algortima, semua bot juga kaya gini,
google gak pernah open algoritma yg dipake, termasuk di gambar di atas
makanya gw bilang : standar

- mencari adanya url lain di page tsb
dari a href, javascript, css, dan konten
mailto - ini terutama kelakuan email harvester nya spammer

- mengulang langkah 1 dengan bekal url yg di dapat di nomer 3
1 url awal bisa beranak-pinak jadi banyak halaman
dan nyebrang ke website lain



kalo masalah penampilan :
ini full tergantung algoritma yg dipake search engine
google juga kagak bakal paparin isi dapurnya
termasuk di gambar di atas
makanya gw juga komentar : standar

saefulloh

oh gitu... ya ya ya,
baru pernah liat gue mas...