User-agent: *
Allow: /

# Asset klasörlerine ERİŞİM AÇIK olmalı — Google CSS/JS render için bunlara ihtiyaç duyar
Allow: /static/
Allow: /media/
Allow: /media/img/

# API endpoint
Disallow: /services/tiktok_user_api.php

# İşlem (ödeme) sayfaları indexlenmesin
Disallow: /havale.php
Disallow: /kripto.php
Disallow: /gtag.php


# Admin & sensitive
Disallow: /config.php
Disallow: /admin
Disallow: /admin/

Disallow: /admin.php
Disallow: /panel
Disallow: /panel/

# Dot files
Disallow: /.htaccess
Disallow: /.user.ini
Disallow: /.git/
Disallow: /.env

# Eski /menu/ yolları (artık kullanılmıyor — botlar takip etsin)
# Disallow yazılmadı: 301 takip etsin diye

# ============================================================
# YZ (AI) ARAMA BOTLARI — Allow (YZ Arama Sağlığı için)
# Bu botların siteyi taramasına izin verilmesi, içeriğinizin
# ChatGPT, Claude, Gemini, Perplexity ve diğer AI arama
# motorlarında görünmesini sağlar.
# ============================================================

# OpenAI (ChatGPT, GPT-4, AI Search)
User-agent: GPTBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: OAI-SearchBot
Allow: /

# Anthropic (Claude AI)
User-agent: ClaudeBot
Allow: /

User-agent: Claude-Web
Allow: /

User-agent: anthropic-ai
Allow: /

# Perplexity AI
User-agent: PerplexityBot
Allow: /

User-agent: Perplexity-User
Allow: /

# Google (Gemini, Bard, AI Overview)
User-agent: Google-Extended
Allow: /

# Common Crawl (LLM eğitim verisi)
User-agent: CCBot
Allow: /

# ByteDance / TikTok (TikTok jeton sitesi için kritik)
User-agent: Bytespider
Allow: /

# Apple AI (Siri, Apple Intelligence)
User-agent: Applebot
Allow: /

User-agent: Applebot-Extended
Allow: /

# Amazon (Alexa, AI services)
User-agent: Amazonbot
Allow: /

# Meta (Llama, Meta AI)
User-agent: meta-externalagent
Allow: /

User-agent: Meta-ExternalAgent
Allow: /

# You.com AI
User-agent: YouBot
Allow: /

# Diffbot (AI-powered web scraping)
User-agent: Diffbot
Allow: /

# Cohere AI
User-agent: cohere-ai
Allow: /

# Mistral AI
User-agent: MistralAI-User
Allow: /

# DuckDuckGo AI
User-agent: DuckAssistBot
Allow: /

# xAI (Grok)
User-agent: GrokBot
Allow: /

# ============================================================
# Sosyal medya botları
# ============================================================
User-agent: Twitterbot
Allow: /

User-agent: facebookexternalhit
Allow: /

User-agent: LinkedInBot
Allow: /

User-agent: WhatsApp
Allow: /

User-agent: TelegramBot
Allow: /

Sitemap: https://jetonshop.com.tr/sitemap.xml