# robots.txt – steuerjobs.de
#
# KI-Crawler sind ausdruecklich ERLAUBT (Sichtbarkeit in ChatGPT, Perplexity,
# Gemini, Claude). Zum SPERREN eines Bots dessen "Allow: /" durch
# "Disallow: /" ersetzen.
#
# WICHTIG: Ein Bot mit eigenem Block ignoriert den "User-agent: *"-Block
# vollstaendig. Deshalb sind die Sperren nicht-oeffentlicher Bereiche in
# JEDEM Block wiederholt – sonst wuerden die KI-Bots /admin, /checkout usw.
# crawlen.
#
# Hinweis: Blockaden koennen zusaetzlich auf Server-/WAF-Ebene (Mittwald,
# mod_security) entstehen und ueberschreiben diese Datei. Access-Logs pruefen.

# ---------------------------------------------------------------------------
# Alle uebrigen Crawler (Googlebot, Bingbot, ...)
# ---------------------------------------------------------------------------
User-agent: *
Allow: /
Disallow: /admin
Disallow: /dashboard
Disallow: /login
Disallow: /register
Disallow: /checkout
Disallow: /neu-veroeffentlichen
Disallow: /stellenanzeige-stornieren

# ---------------------------------------------------------------------------
# OpenAI / ChatGPT
# GPTBot        = Training
# OAI-SearchBot = Suchindex (relevant fuer Zitierbarkeit in ChatGPT Search)
# ChatGPT-User  = Live-Abruf, wenn ein Nutzer einen Link oeffnet
# ---------------------------------------------------------------------------
User-agent: GPTBot
Allow: /
Disallow: /admin
Disallow: /dashboard
Disallow: /login
Disallow: /register
Disallow: /checkout
Disallow: /neu-veroeffentlichen
Disallow: /stellenanzeige-stornieren

User-agent: OAI-SearchBot
Allow: /
Disallow: /admin
Disallow: /dashboard
Disallow: /login
Disallow: /register
Disallow: /checkout
Disallow: /neu-veroeffentlichen
Disallow: /stellenanzeige-stornieren

User-agent: ChatGPT-User
Allow: /
Disallow: /admin
Disallow: /dashboard
Disallow: /login
Disallow: /register
Disallow: /checkout
Disallow: /neu-veroeffentlichen
Disallow: /stellenanzeige-stornieren

# ---------------------------------------------------------------------------
# Anthropic / Claude
# ---------------------------------------------------------------------------
User-agent: ClaudeBot
Allow: /
Disallow: /admin
Disallow: /dashboard
Disallow: /login
Disallow: /register
Disallow: /checkout
Disallow: /neu-veroeffentlichen
Disallow: /stellenanzeige-stornieren

User-agent: Claude-SearchBot
Allow: /
Disallow: /admin
Disallow: /dashboard
Disallow: /login
Disallow: /register
Disallow: /checkout
Disallow: /neu-veroeffentlichen
Disallow: /stellenanzeige-stornieren

User-agent: Claude-User
Allow: /
Disallow: /admin
Disallow: /dashboard
Disallow: /login
Disallow: /register
Disallow: /checkout
Disallow: /neu-veroeffentlichen
Disallow: /stellenanzeige-stornieren

# ---------------------------------------------------------------------------
# Perplexity
# ---------------------------------------------------------------------------
User-agent: PerplexityBot
Allow: /
Disallow: /admin
Disallow: /dashboard
Disallow: /login
Disallow: /register
Disallow: /checkout
Disallow: /neu-veroeffentlichen
Disallow: /stellenanzeige-stornieren

User-agent: Perplexity-User
Allow: /
Disallow: /admin
Disallow: /dashboard
Disallow: /login
Disallow: /register
Disallow: /checkout
Disallow: /neu-veroeffentlichen
Disallow: /stellenanzeige-stornieren

# ---------------------------------------------------------------------------
# Google Gemini / Apple Intelligence
# Achtung: Google-Extended und Applebot-Extended sind KEINE eigenen Crawler,
# sondern Steuer-Token fuer die Nutzung der Inhalte in KI-Modellen.
# "Allow" heisst hier: Nutzung fuer KI-Training/-Antworten erlaubt.
# Das normale Google-Ranking wird davon NICHT beeinflusst.
# ---------------------------------------------------------------------------
User-agent: Google-Extended
Allow: /

User-agent: Applebot-Extended
Allow: /

# ---------------------------------------------------------------------------
# Weitere KI-/Index-Crawler
# ---------------------------------------------------------------------------
User-agent: Meta-ExternalAgent
Allow: /
Disallow: /admin
Disallow: /dashboard
Disallow: /login
Disallow: /register
Disallow: /checkout
Disallow: /neu-veroeffentlichen
Disallow: /stellenanzeige-stornieren

User-agent: Amazonbot
Allow: /
Disallow: /admin
Disallow: /dashboard
Disallow: /login
Disallow: /register
Disallow: /checkout
Disallow: /neu-veroeffentlichen
Disallow: /stellenanzeige-stornieren

Sitemap: https://www.steuerjobs.de/sitemap.xml