Panduan Menggunakan Robots.txt Buat Blogger yang Baik Dan Benar

Panduan Menggunakan Robots.txt Blogger Baik Benar

Robots.txt adalah suatu fitur situs blog gratis Blogger yang berguna untuk mencekal atau memblokir dan memperbolehkan halaman-halaman tertentu. Seperti halnya mencegah agar tidak terjadi duplikat url atau laman di blog anda untuk membuat blog anda mempunyai pengalaman disitus anda sendiri.

Terkadang, meskipun anda telah menggunakan robots.txt untuk mencekal atau memblokir suatu laman tertentu yang anda inginkan, terkadang ada yang masih saja muncul di mesin pencari google dan dituduh itu sebagai duplikat masih ada di pengaturan webmaster. Untuk itu mari kita simak bacaan dibawah ini dengan teliti.

Secara pengaturan default standar blogger, robot.txt awalnya seperti dibawah ini :
User-agent: Mediapartners-Google
Disallow: 

User-agent: *
Disallow: /search
Allow: /

Sitemap: http://www.example.com/feeds/posts/default?orderby=updated
Pengaturan di atas maksudnya ada dibawah ini, yaitu :
Mediapartners-Google adalah suatu robot dari Google Adsense, maka biarkan seperti defaultnya. Hal itu di karenakan jika anda salah dalam mengubahnya, maka iklan yang ditampilkan tidak akan sesuai atau menyesuaikan dengan konten blog anda.

Pada baris ke dua pada User-agen adalah untuk semua robot yang ditandai dengan tanda bintang (*). Pada pengaturan defaultnya sudah jelas terlihat bahwa semua label dari blog anda sudah diatur untuk tidak terindeks dengan menulis Disallow: /search. Dan maksud dari User-agen : * itu adalah bahwa dari semua mesin telusur atau bot akan menelusuri situs anda, dan contohnya bila dituliskan User-agen : Googlebot itu maksudnya bahwa mesin telusur Google akan menelusuri situs anda. Untuk itu anda disarankan agar menambahkan jika tidak ada, silahkan tambah Disallow : /search dan yang masih baru mensetting yang pasti biarkan saja tetap begitu.

Dibawah ini adalah aturan untuk memblokir suatu laman tertentu pada agen pengguna, yaitu :
Bila anda ingin menghapus semua url gambar tertentu, anda tinggal menggunakan perintah seperti :
User-agen : Googlebot
Disallow : /images/nama gambar.jpg

Jika anda ingin mencekal semua file-file tertentu seperti file berekstensi gif anda tinggal menuliskan :
User-agen : Googlebot-Image
Disallow : /*.gif$ (diawalo tanda bintang "*" dan diakhiri tanda string "$").

Jika anda ingin memblokir daftar laman tertentu, seperti halnya www.indo.com/majalah-terbaru.html yaitu :
User-agen : Googlebot
Disallow : /majalah-terbaru.html

Bila anda ingin menghapus semua gambar dari situs anda, yaitu :
User-agen : Google-Image
Disallow : /

Bila anda ingin mencocokan pola karakter tertentu seperti halnya contoh artikelpuisi.com/s atau artikelpuisi.com/nama karater yang tidak diakhiri .html, anda atur seperti :
User-agen : Googlebot
Disallow : /s*/ atau
Disallow :/nama karakter*/

Untuk memblokir semua URL yang mengandung tanda tanya "?" atau tanda apapun yang tidak ingin anda akses dimesin telusur, atur sebagai berikut :
User-agen : Googlebot
Disallow : /*?

Dan tetapi bila anda menginginkan url yang mengandung tanda seperti halnya "?" itu memuat ID sesi atau penting dan ada lagi tanda "?" yang menjadi duflikat, anda tinggal menerapkan aturan sebagai berikut :
Disallow : /*?$ (diakhiri string untuk mencocokan dan memilih agar diakses mesin telusur), dan
Disallow : /*? (tanpa diakhiri tanda string untuk memilih agar tidak diakses di mesin telusur).

Dan terakhir bila anda ingin memblok semua url yang mengandung duflikat seperti (search/label/*?updated-max=), anda tinggal gunakan aturan dibawah ini :
Disallow : /search/label/*?updated-max=

Setelah anda sudah mengatur semuanya, anda tinggal pastikan semua pengaturan yang sudah anda sesuaikan dengan mengecek link seperti nama home page url anda.com/robots.txt dan ganti nama home page url anda sesuai url blog anda. Serta pastikan semua pengaturan anda harus hati-hati teliti dan benar, agar tidak terjadi kesalahan dan diacuhkan oleh semua mesin telusur termasuk google.

Sekian dari saya, semoga artikel ini bermanfaat dan sukses selalu untuk mengeblog gan. Aminnn...
Perhatian Copas !!! "Mohon bagi anda para sahabat blog, jangan sekali-kali copy paste dengan tanpa mencantumkan link sumber kami dan menulis tanpa anda tulis dalam narasi atau kalimat anda sendiri saya akan mengapus url anda sesuai kebijakan privasi google DMCA/DMCA.com. Atas perhatiannya, saya ucapkan terimakasih."
Next
Previous

No comments

aturan berkomentar pada blog ini !.
1. berkomentarlah dengan baik, sesuai konten yang dibahas dan berkualitas.
2. kalimat yang tidak berkenan saya akan hapus.
3. jika menaruh "LINK HIDUP" akan dimasukan ke folder spam.
4. dilarang mempromosikan produk melalui komentar.

Emoticon