setting robot.txt di blog seo

1. Silahkan sahabat login terlebih dahulu di blogger.com

2. Pilih blog sahabat >>setting>>search and preferences>>klik edit custom robot.txt

3. Setelah itu akan terbuka kotak kosong pada edit custom robot.txt tersebut. Silahkan sahabat copy kode baris perintah robot.txt di bawah ini dan pastekan pada kotak kosong tadi. Berikut kode baris perintah robot.txt nya :

User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /search
Allow: /

Sitemap: http://cepat-terindex-search-engine.blogspot.com/feeds/posts/default?orderby=UPDATED

Catatan : Silahkan sahabat ganti http://cepat-terindex-search-engine.blogspot.com/ diatas dengan URL blog sahabat sendiri.

4. Klik save dan selesai.

Penjelasan mengenai kode baris perintah robot.txt di atas. 

  User-agent: Mediapartners-Google
  Disallow: 

  

Maksud kode baris perintah ini adalah mengijinkan kepada user-agen google adsense untuk meng crawl seluruh isi blog sahabat agar bisa menampilkan iklan secara relevan pada blog sahabat. Jika sahabat ingin menggunakan google adsense pada blog sahabat , sebaiknya kode baris ini jangan dihapus. Jangan mengotak atik kode baris perintah ini agar iklan google adsense bisa relevan dengan isi blog sahabat.

User-agent: *
Disallow: /search
Allow: /

Maksud kode baris perintah kedua ini adalah mengijinkan kepada seluruh user-agen search engine untuk meng crawl seluruh isi blog sahabat kecuali directory yang berisi labels di blog sahabat. Sahabat bisa lihatDisallow: /search yang berfungsi untuk melarang bot search engine meng crawl directory labels ini.

Sitemap: http://cepat-terindex-search-engine.blogspot.com/feeds/posts/default?orderby=UPDATED

Maksud kode baris perintah robot.txt ini perintah menambahkan sitemap dengan post artikel blog sahabat terupdate agar postingan blog sahabat lebih cepat terindex search engine.