MIT Custom Robots.txt Rules

使用简单的编辑器编辑默认的robots.txt文件，无需编码。

修改默认的robots.txt文件，控制搜索引擎机器人和LLM爬虫如何与您的网站互动。您无需复制/粘贴或下载.txt文件；应用程序直接在仪表板中提取文件以立即开始编辑。 您可以为单个机器人设置允许/禁止规则和爬行延迟值。此外，添加评论以保持您的规则组织，以供将来参考。

• 使用结构化编辑器或原始文件编辑规则。
• 根据需要添加指令和用户代理组。
• 编辑时使用撤销或重做按钮。
• 编辑原始文件时轻松恢复默认设置。
• 内置验证器实时检查自定义robots.txt规则语法。