# TokenNexus 机器人访问协议
# robots.txt for tokenfind.cn
# 更新日期: 2026-06-14 (SEO + GEO优化版)
# ============================================================

# ============================================
# 核心搜索引擎爬虫
# ============================================

# Google 爬虫
User-agent: Googlebot
Allow: /
Crawl-delay: 0

User-agent: Googlebot-Image
Allow: /

User-agent: Googlebot-News
Allow: /

User-agent: Googlebot-Video
Allow: /

# Bing 爬虫
User-agent: Bingbot
Allow: /
Crawl-delay: 1

User-agent: BingPreview
Allow: /

# 百度爬虫
User-agent: Baiduspider
Allow: /
Crawl-delay: 2

User-agent: Baiduspider-image
Allow: /

User-agent: Baiduspider-video
Allow: /

User-agent: Baiduspider-news
Allow: /

# 搜狗爬虫
User-agent: Sogou web spider
Allow: /
Crawl-delay: 2

# 360爬虫
User-agent: 360Spider
Allow: /
Crawl-delay: 2

# ============================================
# AI 搜索引擎爬虫 (GEO优化关键)
# ============================================

# Cloudflare AI 爬虫
User-agent: CloudflareBrowserRenderingCrawler
Allow: /

# 字节跳动爬虫
User-agent: Bytespider
Allow: /
Crawl-delay: 2

# ChatGPT / OpenAI 爬虫
User-agent: ChatGPT-User
Allow: /

User-agent: GPTBot
Allow: /

# Claude / Anthropic 爬虫
User-agent: Claude-Web
Allow: /

User-agent: anthropic-ai
Allow: /

# Perplexity 爬虫
User-agent: PerplexityBot
Allow: /

# Google AI (Gemini) 爬虫
User-agent: Google-Extended
Allow: /

# Meta AI 爬虫
User-agent: Meta-ExternalAgent
Allow: /

# Cohere 爬虫
User-agent: cohere-ai
Allow: /

# ============================================
# 通用规则 - 允许所有其他爬虫访问
# ============================================
User-agent: *
Allow: /
Crawl-delay: 1

# ============================================
# 禁止访问的路径
# ============================================
Disallow: /admin/
Disallow: /_next/
Disallow: /api/admin/
Disallow: /private/
Disallow: /temp/
Disallow: /test/
Disallow: /functions/

# ============================================
# Sitemap 位置
# ============================================
Sitemap: https://www.tokenfind.cn/sitemap.xml