สร้าง Robots.txt
สร้างไฟล์ robots.txt พร้อมกฎ allow และ disallow แบบกำหนดเองสำหรับ web crawlers
Global Parameters
Rule Group #1
# Generated by freetool24.com User-agent: * Disallow: /admin/ Disallow: /private/ Allow: / Sitemap: https://example.com/sitemap.xml
User-agent: *
Applies the rule to all bots and web crawlers globally.
Disallow: /
Prevents the targeted bot from crawling any page on the site.
Free Robots.txt Generator
A robots.txt file is a plain-text file at the root of your website that instructs crawlers — Googlebot, Bingbot, and others — which pages to crawl or skip. This generator lets you build it visually and copy it instantly, for free.
How to create a robots.txt file
- 1
Set your Sitemap URL
Enter your sitemap address (e.g. https://yoursite.com/sitemap.xml). Bots use this to discover all your pages.
- 2
Choose a User-Agent
Use * to target all crawlers, or name a specific bot such as Googlebot, Bingbot, or GPTBot.
- 3
Add Disallow rules
List the paths you want to block — /admin/, /private/, /checkout/.
- 4
Add Allow rules (optional)
Override a Disallow for specific sub-paths you do want indexed.
- 5
Copy and deploy
Click Copy, paste into robots.txt, and upload to your website root.
Common examples
Block all crawlers
User-agent: * Disallow: / — prevents all search engines from indexing your site.
Allow all crawlers
User-agent: * Disallow: — (empty) gives all bots full access.
Block a specific bot
User-agent: GPTBot Disallow: / — blocks OpenAI's crawler only.
Block a folder
User-agent: * Disallow: /admin/ — hides admin pages from all crawlers.
FAQ
Does robots.txt prevent indexing?
Robots.txt controls crawling, not indexing. A page can still appear in results if another site links to it. Use a noindex meta tag to prevent indexing.
Where does robots.txt go?
At the root of your domain — https://yourdomain.com/robots.txt. Subdirectory placement does not work.
Is robots.txt case-sensitive?
Yes. Disallow: /Admin/ and Disallow: /admin/ are treated as different paths by most crawlers.
สำรวจต่อ
เครื่องมือ SEO อื่นๆ ที่คุณอาจชอบ...
สร้าง Meta Tag
สร้าง HTML meta tags สมบูรณ์สำหรับ SEO รวม Open Graph และ Twitter Card tags
ตรวจสอบความหนาแน่นคีย์เวิร์ด
วิเคราะห์ความถี่คีย์เวิร์ดและเปอร์เซ็นต์ความหนาแน่นในเนื้อหาของคุณ
นับคำ
นับคำ อักขระ ประโยค ย่อหน้า และประมาณเวลาอ่าน
สร้าง Slug
แปลงข้อความใดๆ เป็น slug ที่เหมาะกับ URL พร้อมตัวอักษรพิมพ์เล็กและขีดกลาง
สร้าง XML Sitemap
สร้าง XML sitemaps จากรายการ URL เพื่อการจัดทำดัชนีเครื่องมือค้นหาที่ดีขึ้น
ดูตัวอย่าง Open Graph
ดูตัวอย่างว่าหน้าของคุณจะปรากฏอย่างไรเมื่อแชร์บน Facebook, Twitter และโซเชียลมีเดียอื่นๆ
ดูตัวอย่าง SERP
ดูตัวอย่างว่าหน้าของคุณปรากฏอย่างไรในผลการค้นหา Google
ตรวจสอบความสามารถในการอ่าน
คำนวณคะแนน Flesch-Kincaid และระดับเกรดสำหรับเนื้อหาของคุณ