robots.txt编写指南：从零开始正确配置与常见错误规避

📍 WDQWDWQD987AAAAA:216.73.216.212
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /123a49a3068c.html
📄

robots.txt 是网站与搜索引擎爬虫之间的第一道沟通桥梁，合理编写能有效引导抓取、保护敏感目录，并避免服务器资源浪费。但配置不当也可能导致页面无法收录。本文从基础语法出发，系统讲解 robots.txt 的编写方法与最佳实践。

robots.txt 的基本语法

robots.txt 必须放置在网站根目录，文件名为小写，内容由若干组记录构成。每条记录以 User-agent 开始，指定目标爬虫，Disallow 和 Allow 用于控制路径访问。示例：

• User-agent: *
• Disallow: /admin/
• Allow: /admin/public/

其中 * 表示所有爬虫，/ 表示整个站点。注意路径匹配区分大小写，且 Allow 规则通常优先于 Disallow。

编写步骤与实用建议

1. 明确目标：确定需要禁止抓取的目录（如后台、临时文件、搜索结果页）和必须放行的资源（CSS、JS、图片）。
2. 分爬虫配置：针对 Googlebot、Baiduspider 等分别设置规则，避免通用规则误伤重要爬虫。
3. 使用通配符：支持 * 匹配任意字符，$ 匹配结尾，例如 Disallow: /*.pdf$ 禁止所有 PDF 文件。
4. 声明 Sitemap：在文件末尾添加 Sitemap 地址，帮助爬虫发现内容。

常见错误与规避

许多站点因误写 Disallow: / 导致整站被屏蔽，或忘记放行 CSS/JS 影响渲染。此外，robots.txt 不能阻止页面被索引，如需彻底移除，应结合 noindex 标签。建议每次修改后使用搜索引擎的 robots 测试工具验证，并定期检查文件是否可正常访问。

掌握 robots.txt 编写，既能保护网站资源，又能提升收录效率，是 SEO 基础工作中不可忽视的一环。