Robot yang satu ini bukan robot yang bisa bergerak sendiri dengan menggunakan mesin, tapi robot ini adalah file yang diperlukan oleh sebuah website/ blog agar bisa terindeks dengan cepat oleh search engine seperti Google, Yahoo, Bing, dan lain lain. Dengan adanya robots.txt search engine seperti Google akan lebih mudah mengindex website/ blog Anda. Robots.txtmerupakan informasi bagi search engine mengenai direktori mana yang boleh diakses atau tidak. Selain itu, dengan robots.txt kita bisa memblock search engine agar tidak mengakses website/ blog kita.
berikut contoh robots.txt
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content
User-agent: Mediapartners-Google
Allow: /
User-agent: Adsbot-Google
Allow: /
User-agent: Googlebot-Image
Allow: /
User-agent: Googlebot-Mobile
Allow: /
Sitemap: http://www.domainanda.com/sitemap.xml
Untuk sitemap sengaja saya tambahkan http://www.domainanda.com karena website/blog ini misalnya memakai fasilitas dari cms wordpress, silahkan Anda ganti dengan sitemap blog Anda. Misalkan http://www.domainanda.com/sitemap.xml.
Tidak ada komentar:
Posting Komentar