Dampak Robot.txt "Disallow: /*?m=1 Disallow: /*?m=0"

Robot.txt adalah file pada akar situs kita yang menunjukkan bagian dalam situs yang tidak Anda izinkan untuk diakses oleh Bot (atau perayap) mesin pencari Google.

Singkatnya Robot.txt adalah sebuah file berformat text (.txt) yang berfungsi mengontrol, mengatur atau memberi perintah sebuah halaman apakah akan di indek atau non-indeks oleh (bot crawler) spider Google.

Pada topik kali ini kita akan dihadapkan dengan berbagai kode yang berkaitan dengan Robot.txt seperti:

“User-agent: Mediapartners-Google”
“Disallow: ”
“User-agent: *”
“disallow: /search”
“allow: /”
“Sitemap: ”

Disallow: /*?m=1
Disallow: /*?m=0;
Disallow: /?m=1
Disallow: /?m=0

Namun yang menjadi topik kita kali ini adalah dampak buruk dan efek negatif (bahaya) dari penggunaan Robot.txt "Disallow: /*?m=1 Disallow: /*?m=0" di blog.

Sebenarnya topik ini sudah banyak dibahas oleh blogger lain, termasuk blogger luar negeri. Umumnya di tulis karena untuk menghindari duplikat konten.

Well pada artikel ini, dengan tegas saya katakan bahwa intisarinya berbeda. Penasaran apa dampaknya selain mengatasi dan menghindari duplikat konten pada blog?

Dampak Penggunaan Robot.txt "Disallow: /*?m=1 Disallow: /*?m=0"

Menggunakan perintah Robot.txt seperti "Disallow: /*?m=1 Disallow: /*?m=0" memang bagus untuk mengatasi dan menghindari duplikat konten.

Masalahnya kata perintah dari Robot.txt ini memiliki kelemahan atau kerugian.

Dampak buruk dan efek bahaya dari penggunaan Robot.txt disallow m=1 dan m=0 ini adalah hilangnya deskripsi artikel blog kita. Lihat gambar dibawah ini:

Fakta ini saya temukan sendiri, hasil riset sendiri dan saya alami yang ditemukan secara tidak sengaja. Murni banget.

Kejadian ini terjadi pada tahun lalu.

Waktu itu saya mencoba pasang "Disallow: /*?m=1 Disallow: /*?m=0" di blog untuk menghindari Content Duplicate; kodenya seperti dibawah ini:

User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Disallow: /?m=1
Disallow: /?m=0
Disallow: /*?m=1
Disallow: /*?m=0
Sitemap: http://tipsseokiller.blogspot.co.id/feeds/posts/default?orderby=UPDATED

Hasilnya deskripsi artikel blog saya malah menghilang di SERPs. Karena panik akhirnya saya lepas kode tersebut. Besoknya kembali normal seperti biasa.

Walau pun posting blog tetap di Page-One, namun kurang greget dilihat kalau Robot.txt-nya di cekal oleh Bot Google.

Singkatnya kalau di nilai dari sisi SERPs, tidak ada pengaruh sama sekali hasil penelusuran dengan queri tertentu sehingga artikel blog tetap muncul di Page-One dengan kode pencekalan diatas.

Jadi bebas-bebas aja sih kalau mau pasang. Rekomendasi dari saya mending jangan dipasang. Gak bagus. Agak aneh rasanya ketika artikel Page-One tidak deskripsi artikel menghilang di SERPs.*