SEOツール

Robots.txt Generator

Generate robots.txt files with custom allow and disallow rules for web crawlers

Global Parameters

User-Agent Group #1

robots.txt Source
# Generated by FreeTools.io

User-agent: *
Disallow: /admin/
Disallow: /private/
Allow: /

Sitemap: https://example.com/sitemap.xml

Crawler Guide

User-agent: * applies to all bots.

Disallow: / prevents bots from crawling anything.

お探しのツールはありますか?

コミュニティの声をもとに無料ツールを作っています。ワークフローに欲しい機能を提案してください。