# Finenter 官网爬虫规则 # Disallow 列表需与 config/sitemap.ts 中 ROBOTS_DISALLOW_PATHS 保持一致 # Sitemap 完整 URL 需与生产环境域名(NUXT_PUBLIC_SITE_URL)一致,部署前请核对 User-agent: * Allow: / Disallow: /reset-password Disallow: /questionnaire # 便于 AI / 搜索发现公开页面(营销站允许抓取) User-agent: GPTBot Allow: / User-agent: ChatGPT-User Allow: / User-agent: Google-Extended Allow: / User-agent: PerplexityBot Allow: / User-agent: anthropic-ai Allow: / User-agent: Claude-Web Allow: / Sitemap: https://finenter.ai/sitemap.xml