Cara Setting Robots.txt blogspot yang Benar dan Aman
Saturday, June 29, 2019
Edit
Menyetting robots.txt pada blog yang benar dan agar lebih seo friendly adalah harapan kita semua sebagai blogger, salah satu cara untuk mendongkrak agar artikel-artikel yang kita tulis terindek dan berada di posisi teratas pencarian google adalah dengan cara mengatur settingan pada robots,txt.
Sebenarnya meskipun anda tidak mengaktifkan settingan robots.txt ini, secara default blog kamu sudah memiliki settingan bawaan yang bisa di cek dengan mengunjungi alamat https://alamat-blogkamu.blogspot.com/robots.txt dan akan muncul settingan default seperti di bawah ini:
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: http://alamat-blogkamu.blogspot.com/sitemap.xml
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: http://alamat-blogkamu.blogspot.com/sitemap.xml
Keterangan:
User-agent: Mediapartners-Google (menandakan blog agen google dan bisa dipasang iklan adsense)
Disallow ( Yang tidak diperbolehkan tidak ada)
User-agent:* (Semua robot mesin pencari)
Disallow: /search ( Tidak memperbolehkan url setelah /search seperti search/label, search/updated dll)
Allow: / ( Yang boleh di rayapi)
Sitemap: http://alamat-blogkamu.blogspot.com/sitemap.xml ( peta situs kamu yangberfungsi memberitahukan robot perayap lokasi sitemap berada)
Catatan:
Untuk http://alamat-blogkamu.blogspot.com/sitemap.xml, bisa di ganti dengan http://alamat-blogkamu.blogspot.com/feeds/posts/default?orderby=UPDATED, hal ini di sesuaikan dengan peta situs yang kamu kirim di search console menggunakan sitemap.xml atau menggunakan atom.xml.
Cara mengaktifkan settingan robots.txt
Buka menu setting - search preferences - Custom robots.txt, untuk leih jelasnya anda bisa melihat gambar di bawah ini:
Setelah selesai klik tombol simpan / save changes
Menurut saya, mengaktifkan settingan robots.txt ini sangat perlu di lakukan, meskipun secara default setingan ini sudah ada, hal ini di maksudkan untuk menegaskan kembali terhadap robots pencari.
Untuk menjadikan blog anda lebih seo lagi, langkah selanjutnya adalah mengatur settingan Custom Robots Header Tags / Tag Tajuk Robot khusus yang bisa anda baca di Cara Setting Custom Header Tags Blogger.