Robots mbah Google....lagi !

Udah tahu kan gimana akrabnya Googlebot ? Dan seperti robot2 lain yang baik hati lagipula engga sombong, dia bisa ngedengerin kita dan menghormati harapan2 kita tentang bagian2 mana aja di situs kita yang kita nggak ingin dicrawled sama mbah google. Tinggal tambahin sebuah file robots.txt yang nerangin apa aja yang kita inginkan, dan dia akan cocok dengan sendirinya.

Tapi tar dulu, bagaimana kalo elu bisa ngobrol ama si robot entuh ? Iya ya ? Tapi kan nggak semua Kalo udah selesai kita bisa bicara pake bahasa robot, nah lo ? Nha, inilah kenapa mbah google dengan gembira memperkenalken penerjemah bahasa robot pribadi !: the Robots.txt Generator di Webmaster Tools. Mesin ini dirancang untuk memberikan elu-elu pade cara yang interaktif dan gampang buat bikin sebuah file robots.txt. Prosesnya bisa segampang masukin file-file dan direktori2 yang elu nggak mau ke crawl ama robotnya mbah google.



Ato, kalo lu butuh,elu bisa bikin aturan sejernih air untuk robot2 dan area2 di situs elu seperti dibawah ini.



Kalo lu udah selesai ama generator ini, coba deh, lu tes efeknya dengan alat analisa robots.txt. Kalo udah selesai, lu tinggal nge-save file hasilnya di bagian direktori paling atas (root). Ada beberapa hal yang musti lu inget tentang file robots.txt :

* Enggak semua mesin pencari akan mendukung setiap extension menuju file-file robots.txt

Generator Robots.txt bikin file-file yang akan dimengerti oleh Googlebot, dan mayoritas robot-robot lain sih bakal ngerti juga. Tapi mungkin juga beberapa robot nggak akan ngerti semua fitur robots.txt yang digunain sama generator ini.

* Robots.txt adalah sebuah request sederhana

Walopun nggak dari sebuah mesin pencari utama,ada beberapa robot yang munbgkin abai isi dari robots.txt dan jadinya crawl langung ngeblok ajah. Kalo lu punya isi situs yang sensitif dan butuh perlindungan menyeluruh, elu musti narok password protection daripada ngandelin robots.txt.

Kita arepin sih alat baru ini bisa nolongin elu berkomunikasi tentang hal-hal yang elu pinginin ke Googlebot dan robot-robot lain yang ngunjunbgin situs elu. Kalo elu mau belajar lagi tentang robots.txt files, pergi aja ke Help Center. Lantas kalo elu masih bingung, pegi aja ke Google Webmaster Help Group.