Cara Kerja Mesin Pencari Dalam Mengindeks Halaman Website SEO

Mesin Pencari bertugas untuk menemukan situs yang sesuai dengan kata kunci yang dicari, halaman website yang ditampilkan merupakan hasil perayapan robot google untuk menemukan situs dan disimpan pada basis data untuk ditampilkan saat ada yang mencari. Untuk dapat tampil pada halaman pertama pencarian, sebuah situs mesti telah di SEO kan.

SEO merupakan kepanjangan dari Search Engine Optimization adalah sebuah proses meningkatkan visibilitas sebuah situs website atau halaman web di mesin pencari melalui cara alami atau tidak berbayar di dalam hasil pencarian berdasarkan kata kunci. Kegiatan SEO ini agar halaman website tampil pada halaman pertama (page one) dengan muncul pada halaman pertama semakin besar kemungkinan halaman webitenya diklik atau dibuka.

Jika SEO itu gratis tidak dipungut biaya ada juga yang berbayar yaitu SEM (Search Engine Marketing) merupakan bentuk mempromosikan situs website pada halaman mesin pencari dengan mengklankan dengan kata kunci tertentu pada mesin pencari biasanya dengan pembayaran Pay Per Click.

Mesin pencari atau search engine raksasa yang populer pada saat ini adalah Google. Pada penelusuran Google ini terdapat dua bagian, yang pertama adalah crawler merupakan robot yang berkeliaran untuk mencari data berupa halaman website, Crawler atau bisa disebut juga bot spider, google bot sampai artikel di tulis elah sampai pada versi 2.1. dan yang kedua adalah index web sering kita gunakan setiap kali kita akan mencari sesuatu dengan menulikan keyword atau kata kunci pada form pencarian. 

Fungsi Crawler Googlebot

Googlebot atau crawler berfungsi sebagai robot atau bot yang terus berkeliaran, merayapi untuk secara terus menerus mencari data, berita, artikel, postingan terbaru berupa halaman website yang uptodate dan terbaru untuk disimpan di penyimpanan google dan dijadikan bahan jika ada yang mencarinya, dengan mengecek semua website yang ada di dunia apakah ada situs terbaru yang terdaftar atau adakah pembaruan dari situs yang lama jika ada maka akan disimpan ke penyimpanan google.

Saat kita mencari sesuatu pada mesin pencari Google maka akan didapati banyak halaman-halaman website yang ditampilkan sesuai dengan kata kunci yang dimasukkan. Halaman-halaman website ini telah diambil atau di crawl oleh googlebot  dan menyimpannya ke databasenya. Dari hasil pencarian yang ditampilkan di halaman depan itu merupakan halaman-halaman website yang telah SEO.

Secara garis besar cara kerja googlebot seperti berikut :
Mengecek basis data submit url atau pengecekan direktori web
Crawler mengecek website pada direktori
Masuk ke halaman utama website
Mengecek satu per satu link pada halaman depan sembari indexing
Masuk ke dalam halaman dan terus mengecek link yang ada pada halaman