# Permitir a todos los bots rastrear el sitio completo
User-agent: *
Disallow: /admin/
Disallow: /private/

# Permitir al bot de SEMrush rastrear el sitio completo
User-agent: SiteAuditBot
Disallow: 

# Permitir a Googlebot y Bingbot rastrear el sitio completo
User-agent: Googlebot
Allow: /
User-agent: Bingbot
Allow: /

# Evitar el rastreo de URLs con parámetros específicos
User-agent: *
Disallow: /*?sessionid=
Disallow: /*?replytocom=

# Incluir el sitemap
Sitemap: https://instagreen.com/sitemap.xml

User-agent: *
Disallow: /generate-sitemap.php
Disallow: /write-sitemap.php