Công cụ SEO

Robots.txt Generator

Generate robots.txt files with custom allow and disallow rules for web crawlers

Global Parameters

User-Agent Group #1

robots.txt Source
# Generated by FreeTools.io

User-agent: *
Disallow: /admin/
Disallow: /private/
Allow: /

Sitemap: https://example.com/sitemap.xml

Crawler Guide

User-agent: * applies to all bots.

Disallow: / prevents bots from crawling anything.

Chưa thấy công cụ bạn cần?

Chúng tôi xây công cụ miễn phí dựa trên phản hồi cộng đồng. Hãy đề xuất tiện ích giúp workflow của bạn!