上次错误

robots.txt

@@ -1,3 +1,6 @@
+# www.st-joyapparel.com robots.txt
+# 禁止爬虫抓取后台、系统、内部静态资源等敏感路径
+
 User-agent: *
 Disallow: /admin/
 Disallow: /CRM/
@@ -11,22 +14,7 @@ Disallow: /*.php$
 Disallow: /public/css/
 Disallow: /public/js/
 
+# 允许抓取前台主站内容
 Allow: /$
 
-# 显式放行主流 AI 搜索 / 回答引擎爬虫（默认本就放行，此处为明确声明，避免误伤）
-User-agent: GPTBot
-Allow: /
-User-agent: Google-Extended
-Allow: /
-User-agent: CCBot
-Allow: /
-User-agent: anthropic-ai
-Allow: /
-User-agent: ClaudeBot
-Allow: /
-User-agent: PerplexityBot
-Allow: /
-User-agent: Applebot
-Allow: /
-
 Sitemap: https://coolcoth.com/sitemap.xml