莫名

robots.txt

@@ -1,6 +1,3 @@
-# www.coolcoth.com robots.txt
-# 禁止爬虫抓取后台、系统、内部静态资源等敏感路径
-
 User-agent: *
 Disallow: /admin/
 Disallow: /CRM/
@@ -14,7 +11,22 @@ Disallow: /*.php$
 Disallow: /public/css/
 Disallow: /public/js/
 
-# 允许抓取前台主站内容
 Allow: /$
 
+# 显式放行主流 AI 搜索 / 回答引擎爬虫（默认本就放行，此处为明确声明，避免误伤）
+User-agent: GPTBot
+Allow: /
+User-agent: Google-Extended
+Allow: /
+User-agent: CCBot
+Allow: /
+User-agent: anthropic-ai
+Allow: /
+User-agent: ClaudeBot
+Allow: /
+User-agent: PerplexityBot
+Allow: /
+User-agent: Applebot
+Allow: /
+
 Sitemap: https://coolcoth.com/sitemap.xml