Google mampu mengumpulkan informasi di sebuah situs/web dan memberikan hasil yang relevan dan sangat membantu para pengguna. Index Google mencapai 100.000.000 gigabyte dan menghabiskan 1 miliar jam komputasi untuk menampilkan informasi pada halaman mesin pencari. Google melakukan pencarian informasi dengan metode perayapan yang menggunakan perangkat lunak “web crawlers” untuk menemukan halaman situs/web yang tersedia. Perayap yang paling dikenal adalah “Googlebot”.
Perayap ini akan melihat halaman situs/web dan akan mengikuti tautan pada halaman situs/web tersebut, konsepnya seperti pada saat kamu sedang menjelajahi sebuah konten disuatu website/situs. Perayap akan membuka tautan satu ke tautan berikutnya dan membawa data tentang halaman website/situs tersebut ke server Google. Proses perayapan ini dimulai dengan mencari daftar alamat web dari perayapan sitemap “petasitus” yang sebelumnya telah diberikan oleh pemilik situs tersebut. Pada saat perayap google mengunjungi situs tersebut, perayap akan mencari tautan halaman lain untuk dikunjungi. Perangkat lunak ini juga memberikan perhatian yang sangat khusus bagi pemilik situs baru, perubahan yang terjadi pada situs yang sudah ada, dan tautan yang telah mati.
Situs tidak perlu mempersiapkan batasan-batasan perayapan, pengindeksan, atau penayangan, sehingga halaman situs/web layak muncul didalam hasil penelusuran google tanpa memerlukan kerja ekstra. Yang artinya, seorang pemilik situs memiliki pilihan bagaimana cara Google merayapi dan mengindeks situs yang dikelola dengan menggunakan Webmaster dan sebuah file yang bernama “robots.txt”. Dengan menggunakan file robots.txt, seorang pemilik situs bisa memilih agar tidak dirayapi oleh Googlebot, atau memberikan petunjuk yang lebih spesifik bagaimana cara memproses halaman situs tersebut.
Seorang pemilik situs memiliki pilihan secara detail dan bisa memilih sendiri cara agar konten diindeks. Contohnya, dengan cara memilih untuk menampilkan halaman tanpa cuplikan (ringkasan halaman yang muncul di bawah judul pada hasil penelusuran “meta description”)
Sebuah situs/web itu ibarat perpustakaan umum yang akan terus berkembang dengan miliaran buku. Pada dasarnya Google hanya mengumpulkan halaman selama proses perayapan “Googlebot”, kemudian mengindeksnya. Mirip seperti indeks pada bagian belakang sebuah buku, indeks Google meliputi beberapa informasi mengenai lokasi dan kata. Pada saat kamu menggunakan mesin pencari google dengan mengetikkan keyword tertentu, algoritma google akan mencari istilah/keyword tersebut di indeks untuk menemukan halaman yang sesuai dengan yang kamu cari.
EmoticonEmoticon