Robots.txt 生成器
快速为网站生成规范的 robots.txt 文件，控制搜索引擎爬虫抓取规则
爬虫访问规则
生成结果
# robots.txt generated by itools User-agent: * Disallow: /admin Disallow: /api Disallow: /private Allow: /
小贴士
robots.txt 应存放在网站的根目录下。例如: https://example.com/robots.txt。
星号 (*) 代表所有爬虫。规则是按顺序解析的，特定的 User-agent 规则会覆盖通用规则。