robot.txt baru dari mbah Gugel.... ~ Bikin Blogger

Monday, November 12, 2007

 

robot.txt baru dari mbah Gugel....

Dlancuk !
Setelah berbulan-bulan nyari tahu kenapa bikinblogger kok menurun sekali crawler dari search engine-nya mbah gugel, ternyata biang keroknya ada di robot.txt ! Coba lu pade tengok status robot.txt elu di sini nih : http://namabloglu.blogspot.com/robots.txt ...nha lu bakal lihat ada code baru yang berbentuk seperti ini :


User-agent: *
Disallow: /search

Coba lihat Disallow : /search, ini yang bikin setiap kali googlebot dateng mampir ke situs bikinblogger ini (setidaknya sekali dalam sehari) maka akan bilang ke google bot :" Oyy...lu gak usah lihat labels deh....lu lihat langsung body postingan ajah alias content, lebih mantabh noh ! "

robot.txt
Masih inget gak lu, labelling ini kan baru ada setelah blogger menjadi new blogger yang berbasis xml. Nah tiap label itu punya halamannya sendiri. Si file robot ini memastikan bahwa halaman-halaman label ini tidak di-crawled dan di-index sama search engine bot apapun ! Mau MSN, yahoo ato mbah gugel ! Tentu saja bagus bagi search engine, lebih efisien dalam mengrawling milyaran halaman tiap harinya tanpa takut double content, tapi kita sebagai publisher keblangsak ! Wedhus !
Dan itu berakibat fatal sodara-sodara ! Hampir anjlog ke nol persen hasil pencarian melalui search engine ! Wedhus ! Orang-orang google sih bilang ini demi menghindari duplicate content, dari nama-nama label yang berserakan di dunia web. Tapi so what gitu loh ! Kan mereka bilang unlimited storage kan ? Baru kali ini gua ngerasa benci ke mbah gugel nih !
Dan sedihnya, kita gak bisa ngedit robot.txt ini :( padahal gampang aja , tinggal ilangin /search itu jadi beres lagi ! Dari sini kita bisa ngambil pelajaran :
1. Semakin lama mbah gugel semakin kejem
2. Baru kali ini gua nemuin kelemahan blogger
3. Gua belum tahu, yang pake hostingan gimana, bisa diuthak-athik sendiri nggak ? (harusnya sih bisa), gua punya sih hostingan sendiri, cumak pake phpnuke CMS nya , jadi males ngutak-atiknya. Lagian semua orang kelihatannya pake WP deh sekarang, pengembang phpnuke cuman tinggal diitung dengen jari !
4. Content adalah panglima, SEO terbaik adalah content ! Mas Steve Pavlina memang edan ! Bener dia seorang futurolog !

Hayo lah bagi-bagi pengalaman elu disini ! Gua tunggu yah ?


Komentar lu pade !

Loading

Langganan

Suka dengan postingan diatas ? Langganan aja lewat email, gak perlu buka internet bisa baca artikel terbaru di bikinblogger deh...caranya gimana ? Ya tinggal klik di sini

Related Articles by Labels



Widget by Hoctro