loading...

Membuat file robot.txt untuk website anda

Robot yang satu ini bukan robot yang bisa bergerak sendiri dengan menggunakan mesin, tapi robot ini adalah file yang diperlukan oleh sebuah website/ blog agar bisa terindeks dengan cepat oleh search engine seperti Google, Yahoo, Bing, dan lain lain. Dengan adanya robots.txt search engine seperti Google akan lebih mudah mengindex website/ blog Anda. Robots.txt merupakan informasi bagi search engine mengenai direktori mana yang boleh diakses atau tidak. Selain itu, dengan robots.txt kita bisa memblock search engine agar tidak mengakses website/ blog kita.


berikut contoh robots.txt

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content
User-agent: Mediapartners-Google
Allow: /
User-agent: Adsbot-Google
Allow: /
User-agent: Googlebot-Image
Allow: /
User-agent: Googlebot-Mobile
Allow: /
Sitemap: http://coorporate.or.id/sitemap.xml
Untuk sitemap sengaja saya tambahkan http://www.idcolo.com karena website/blog ini misalnya memakai fasilitas dari cms wordpress, silahkan Anda ganti dengan sitemap blog Anda. Misalkan http://www.namadomain.com/sitemap.xml. 


Semoga Membantu

0 Comments

Leave a comment

Facebook   Twitter   Instagram   Linkedin   Email   Google+   Whatsapp   Google+   Youtube