Herramientas SEO

Robots.txt Generator

Generate robots.txt files with custom allow and disallow rules for web crawlers

Global Parameters

User-Agent Group #1

robots.txt Source
# Generated by FreeTools.io

User-agent: *
Disallow: /admin/
Disallow: /private/
Allow: /

Sitemap: https://example.com/sitemap.xml

Crawler Guide

User-agent: * applies to all bots.

Disallow: / prevents bots from crawling anything.

¿No encuentras lo que buscas?

Creamos herramientas gratis según la comunidad. Si te falta algo para tu flujo de trabajo, ¡sugiérelo!