Robots.txt制作工具
免费使用
本地生成
即时下载
免费在线Robots.txt制作工具，可视化配置搜索引擎爬虫抓取规则，支持Allow/Disallow/Sitemap/Crawl-delay等指令，一键生成标准robots.txt文件。
关于Robots.txt
- • Robots.txt是网站与搜索引擎爬虫之间的"君子协议"
- • 放置在网站根目录，用于告诉爬虫哪些页面可以抓取、哪些禁止抓取
- • User-agent 指定适用爬虫，* 表示全部
- • Allow/Disallow 控制路径访问权限
- • Sitemap 告知爬虫网站地图位置，有助于收录
- • Crawl-delay 控制抓取频率，减轻服务器压力
使用说明
- • 填写User-agent（*表示所有爬虫）
- • 设置Crawl-delay控制抓取频率
- • 添加Allow规则允许特定路径被抓取
- • 添加Disallow规则禁止敏感目录被抓取
- • 填写Sitemap地址便于搜索引擎收录
- • 点击生成后可直接复制或下载robots.txt