# MfL.Academy robots.txt
# Öffentliche Inhalte für Suchmaschinen und KI-Suchen freigeben.
# Reine Trainingscrawler von OpenAI und Anthropic bleiben blockiert.

# OpenAI Search und nutzerinitiierte Zugriffe
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: OAI-AdsBot
Allow: /
Disallow: /bundles/
Disallow: /campus/
Disallow: /dozent/
Disallow: /mail/
Disallow: /assets/files/

# OpenAI Training
User-agent: GPTBot
Disallow: /

# Anthropic Search und nutzerinitiierte Zugriffe
User-agent: Claude-SearchBot
User-agent: Claude-User
Allow: /
Disallow: /bundles/
Disallow: /campus/
Disallow: /dozent/
Disallow: /mail/
Disallow: /assets/files/

# Anthropic Training
User-agent: ClaudeBot
Disallow: /

# Perplexity Search und nutzerinitiierte Zugriffe
User-agent: PerplexityBot
User-agent: Perplexity-User
Allow: /
Disallow: /bundles/
Disallow: /campus/
Disallow: /dozent/
Disallow: /mail/
Disallow: /assets/files/

# Google Search und Google AI-Funktionen
User-agent: Googlebot
User-agent: Google-Extended
Allow: /
Disallow: /bundles/
Disallow: /campus/
Disallow: /dozent/
Disallow: /mail/
Disallow: /assets/files/

# Bing und Microsoft-Suche
User-agent: Bingbot
Allow: /
Disallow: /bundles/
Disallow: /campus/
Disallow: /dozent/
Disallow: /mail/
Disallow: /assets/files/

# Übrige Crawler
User-agent: *
Allow: /
Disallow: /bundles/
Disallow: /campus/
Disallow: /dozent/
Disallow: /mail/
Disallow: /assets/files/

Sitemap: https://mfl.academy/sitemap.xml