ToolHub
中文
Light
GitHub
返回首页
/
网络站点
/
robots.txt 生成器
加载中...
基本设置
允许所有爬虫访问 (推荐)
禁止路径 (每行一个)
/admin/ /private/ /api/
允许路径 (覆盖禁止)
/api/public/
Sitemap URL
Crawl-delay (秒)
屏蔽 AI 爬虫
Googlebot
Bingbot
Baiduspider
YandexBot
DuckDuckBot
facebookexternalhit
Twitterbot
GPTBot
ChatGPT-User
CCBot
ClaudeBot
robots.txt
复制
User-agent: * Allow: / Disallow: /admin/ Disallow: /private/ Disallow: /api/ Allow: /api/public/ User-agent: GPTBot Disallow: / User-agent: CCBot Disallow: / Sitemap: https://example.com/sitemap.xml