MIT Custom Robots.txt Rules

Edita el archivo robots.txt predeterminado usando un editor simple sin necesidad de codificación.

Modifica el archivo robots.txt predeterminado y controla cómo los bots de motores de búsqueda y los rastreadores de LLM interactúan con tu sitio. No necesitas copiar/pegar o descargar el archivo .txt; la aplicación extrae directamente el archivo en el panel de control para comenzar a editarlo instantáneamente. Puedes establecer reglas de Permitir/No permitir y valores de Retardo de rastreo para bots individuales. Además, agrega comentarios para mantener tus reglas organizadas para referencia futura.

• Edita reglas usando un editor estructurado o el archivo en bruto.
• Agrega directivas y grupos de user-agent según sea necesario.
• Usa el botón de deshacer o rehacer mientras editas.
• Revierta fácilmente a la configuración predeterminada mientras editas el archivo original.
• Validador incorporado para verificar la sintaxis de las reglas personalizadas de robots.txt en tiempo real.