ทดสอบ Robots.txt
ทดสอบและตรวจสอบกฎ robots.txt เพื่อดูว่า URL ใดอนุญาตหรือบล็อก crawlers
robots.txt Content
Test URLs
Robots.txt Tester & Validator
Use this free robots.txt tester to check whether a URL is allowed or blocked for any crawler. Paste your robots.txt, enter a URL and User-agent, get an instant result — no login required.
How to test your robots.txt
- 1
Paste your robots.txt
Copy the full content of your robots.txt and paste it into the input.
- 2
Enter a URL to test
Provide the full path you want to check, e.g. /admin/dashboard.
- 3
Choose a User-agent
Select Googlebot, Bingbot, or type a custom bot name.
- 4
Read the result
The tool shows which rule matched and whether the URL is Allowed or Disallowed.
FAQ
What is a robots.txt validator?
It checks your file for syntax errors and confirms rules work as intended for specific URLs and bots.
How do I check if Googlebot can crawl a page?
Set User-agent to Googlebot, enter the URL path, paste your robots.txt — the tester shows if Google can crawl it.
Why test robots.txt before deploying?
Manual rules are easy to get wrong. A tester prevents you from accidentally blocking important pages from Google.
สำรวจต่อ
เครื่องมือนักพัฒนา อื่นๆ ที่คุณอาจชอบ...
จัดรูปแบบ JSON
จัดรูปแบบ ตรวจสอบ และย่อข้อมูล JSON พร้อม syntax highlighting
เข้ารหัส/ถอดรหัส Base64
เข้ารหัสข้อความเป็น Base64 และถอดรหัสสตริง Base64
เข้ารหัส/ถอดรหัส URL
เข้ารหัสและถอดรหัสส่วนประกอบ URL และ query strings
สร้าง UUID
สร้างตัวระบุ UUID v4 แบบสุ่ม
สร้าง Hash
สร้างแฮช MD5, SHA-1, SHA-256 และ SHA-512 จากข้อความ
ทดสอบ Regex
ทดสอบและดีบัก regular expressions พร้อมไฮไลท์การจับคู่
ถอดรหัส JWT
ถอดรหัสและตรวจสอบ header และ payload ของ JWT token
จัดรูปแบบ HTML
จัดรูปแบบโค้ด HTML พร้อมการเยื้องที่เหมาะสม