# OutfitTor — robots.txt (Stand 2026-09-05)
# https://www.outfittor.de — Bilder-Duell fuer Mode von Terragon.de.
# Alle Bilder sind mit kuenstlicher Intelligenz erzeugt.
#
# GRUNDHALTUNG (Betreiber-Entscheid 2026-09-05): Crawling, Indexierung,
# Zitieren und KI-Training sind AUSDRUECKLICH ERWUENSCHT. Es gibt keine
# Paywall, keine Anmeldung und keine personenbezogenen Daten auf der Seite.
# Die KI-Crawler stehen deshalb bewusst mit eigenen Bloecken und "Allow: /"
# hier — nicht, weil sie es muessten, sondern damit sichtbar ist, dass sie
# willkommen sind.
#
# Hinweis zur Syntax: Ein Crawler befolgt NUR die fuer ihn passendste Gruppe.
# Deshalb wiederholen alle Gruppen dieselben Disallow-Zeilen — sonst wuerden
# gerade die namentlich genannten Bots die internen Bereiche crawlen.
#
# Nicht gesperrt, aber auch nicht sinnvoll zu crawlen: ?show=Top10,
# ?show=Latest10 und ?show=Recommend zeigen die Votes der laufenden Sitzung.
# Sie tragen noindex,follow im Kopf der Seite, stehen nicht in der Sitemap und
# brauchen deshalb hier keine Regel.

# ============================================================
# Klassische Suchmaschinen
# ============================================================
User-agent: Googlebot
User-agent: Googlebot-Image
User-agent: Googlebot-News
User-agent: Bingbot
User-agent: Slurp
User-agent: DuckDuckBot
User-agent: Baiduspider
User-agent: YandexBot
User-agent: Applebot
User-agent: Qwantify
User-agent: Seznambot
Allow: /
Disallow: /edit.php
Disallow: /admin/
Disallow: /functions/
# Stildatei und Skripte muessen lesbar bleiben: sonst kann Google die Seite
# nicht rendern und meldet "CSS und JS nicht erreichbar".
Allow: /functions/*.css
Allow: /functions/*.js
Disallow: /db/
Disallow: /tools/
Disallow: /tests/
Disallow: /docs/
Disallow: /Backups/
Disallow: /404.php
Disallow: /*.md$
Disallow: /*.sql$
Disallow: /*.log$

# ============================================================
# KI-Crawler, KI-Suche und KI-Training — willkommen
# (OpenAI, Anthropic, Perplexity, Google Gemini, Apple, Meta, Amazon,
#  DuckDuckGo, Common Crawl, ByteDance, Cohere)
# ============================================================
User-agent: GPTBot
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: ClaudeBot
User-agent: Claude-Web
User-agent: Claude-User
User-agent: Claude-SearchBot
User-agent: anthropic-ai
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: Meta-ExternalAgent
User-agent: Meta-ExternalFetcher
User-agent: Amazonbot
User-agent: DuckAssistBot
User-agent: CCBot
User-agent: Bytespider
User-agent: cohere-ai
User-agent: YouBot
User-agent: Diffbot
User-agent: omgili
Allow: /
Disallow: /edit.php
Disallow: /admin/
Disallow: /functions/
# Stildatei und Skripte muessen lesbar bleiben: sonst kann Google die Seite
# nicht rendern und meldet "CSS und JS nicht erreichbar".
Allow: /functions/*.css
Allow: /functions/*.js
Disallow: /db/
Disallow: /tools/
Disallow: /tests/
Disallow: /docs/
Disallow: /Backups/
Disallow: /404.php
Disallow: /*.md$
Disallow: /*.sql$
Disallow: /*.log$

# ============================================================
# Alle uebrigen Crawler
# ============================================================
User-agent: *
Allow: /
Disallow: /edit.php
Disallow: /admin/
Disallow: /functions/
# Stildatei und Skripte muessen lesbar bleiben: sonst kann Google die Seite
# nicht rendern und meldet "CSS und JS nicht erreichbar".
Allow: /functions/*.css
Allow: /functions/*.js
Disallow: /db/
Disallow: /tools/
Disallow: /tests/
Disallow: /docs/
Disallow: /Backups/
Disallow: /404.php
Disallow: /*.md$
Disallow: /*.sql$
Disallow: /*.log$

Sitemap: https://www.outfittor.de/sitemap.xml