OmniKit
Free Web Tools100% Client-Side
Tối ưu hóa SEOCập nhật: 2026-08-26

Tạo tệp Robots.txt chuẩn SEO

Trả lời nhanh:Robots.txt Generator tạo nhanh file hướng dẫn crawler chuẩn, cho phép bạn thiết lập quyền truy cập cho Googlebot, Bingbot và các AI Bots (GPTBot, PerplexityBot, ClaudeBot).

Disallow: /adminDisallow: /api/private
Tạo tệp Robots.txt hoàn chỉnh:
# robots.txt generated by OmniKit Tools

User-agent: *
Allow: /
Disallow: /admin
Disallow: /api/private

# Explicitly permit AI Crawlers for GEO & AI Search citation
User-agent: GPTBot
Allow: /
User-agent: ChatGPT-User
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: ClaudeBot
Allow: /
User-agent: Google-Extended
Allow: /
User-agent: Bingbot
Allow: /

Sitemap: https://example.com/sitemap.xml

Hướng dẫn cách sử dụng Tạo tệp Robots.txt chuẩn SEO

1

Thiết lập quy tắc

Chọn cho phép hoặc chặn các bot tìm kiếm.

2

Điền Sitemap URL

Nhập link sitemap.xml của website.

3

Tải file

Bấm Tải về và đưa file vào thư mục gốc website.

Giải thích ý nghĩa các chỉ số kết quả

Disallow
Lệnh yêu cầu robot tìm kiếm không được lập chỉ mục đường dẫn này.

Tính năng nổi bật

Tùy chọn mở quyền cho AI Search Bots
Thêm sitemap URL
Chặn các thư mục riêng tư (/admin, /api)
Tải file `robots.txt` trực tiếp

Câu hỏi thường gặp (FAQ)

Giải đáp thắc mắc và cơ chế hoạt động của Tạo tệp Robots.txt chuẩn SEO

A:
Phải đặt tại thư mục root cao nhất của website (ví dụ: `https://yourdomain.com/robots.txt`).
Xem tất cả bài viết