User-agent: *
Allow: /

# Sitemaps — die englische Fassung liegt unter einer eigenen Adresse und wird sonst
# nicht gefunden.
Sitemap: https://www.vetripharm.de/sitemap.xml
Sitemap: https://www.vetripharm.de/en/sitemap.xml

# Verwaltung und Systempfade
Disallow: /admin/
Disallow: /api/
Disallow: /recovery/
Disallow: /var/
Disallow: /vendor/

# Medien und Theme-Dateien ausdruecklich freigeben
Allow: /media/
Allow: /bundles/
Allow: /css/
Allow: /js/
Allow: /images/

# ---------------------------------------------------------------------------
# KI-Dienste ausdruecklich zugelassen
#
# Die Regel `User-agent: *` oben erlaubt sie ohnehin — eine Zeile, die nichts
# verbietet, ist fuer sie kein Hindernis. Die folgenden Abschnitte stehen trotzdem
# hier, aus zwei Gruenden:
#
# 1. Sie halten die Absicht fest. Wer spaeter ein pauschales `Disallow: /` fuer
#    unbekannte Kennungen ergaenzt, sieht hier, dass diese Dienste gewollt sind.
# 2. Google und Apple steuern das Training ueber eigene Kennungen
#    (`Google-Extended`, `Applebot-Extended`), die von `User-agent: *` NICHT
#    mit abgedeckt sind, sobald jemand sie einzeln anspricht.
#
# Wichtig: robots.txt war nie die Ursache, wenn ein Dienst nicht durchkam. Am
# 25.09.2026 blockierte eine nginx-Ebene des Hosters GPTBot, ClaudeBot und
# meta-externalagent mit "Suspicious traffic detected." — sichtbar nur daran, dass
# die Antwort von `nginx` statt von `Apache` kam. Wenn ein Dienst fehlt, zuerst
# dort nachsehen:
#   curl -s -o /dev/null -w "%{http_code}" \
#     -A "Mozilla/5.0 (compatible; GPTBot/1.2; +https://openai.com/gptbot)" \
#     https://www.vetripharm.de/
# ---------------------------------------------------------------------------

# OpenAI — GPTBot sammelt fuers Training, OAI-SearchBot fuellt den Index hinter der
# ChatGPT-Suche, ChatGPT-User holt eine Seite, wenn ein Nutzer danach fragt.
User-agent: GPTBot
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
Allow: /

# Anthropic (Claude)
User-agent: ClaudeBot
User-agent: Claude-User
User-agent: Claude-SearchBot
User-agent: anthropic-ai
Allow: /

# Perplexity
User-agent: PerplexityBot
User-agent: Perplexity-User
Allow: /

# Google Gemini und Apple Intelligence — eigene Kennungen neben Googlebot/Applebot
User-agent: Google-Extended
User-agent: Applebot-Extended
Allow: /

# Weitere Dienste und Datensammlungen
User-agent: CCBot
User-agent: meta-externalagent
User-agent: Amazonbot
User-agent: MistralAI-User
User-agent: YouBot
Allow: /