# robots.txt voor LelieLiedjes
# Laatst bijgewerkt: December 2025
# LelieLiedjes - Persoonlijke liedjes op maat gemaakt

# ==============================================
# ALGEMENE TOEGANG - Alle crawlers welkom
# ==============================================
User-agent: *
Allow: /
Allow: /images/
Allow: /audio/
Allow: /favicon.svg

# SEO Landing Pages - Expliciet toestaan
Allow: /verjaardagsliedje
Allow: /trouwliedje
Allow: /moederdagliedje
Allow: /vaderdagliedje
Allow: /cadeau-ideeen
Allow: /liedje-laten-maken
Allow: /persoonlijk-liedje
Allow: /muziek-cadeau
Allow: /pensioen-liedje
Allow: /jubileum-liedje
Allow: /geboorteliedje
Allow: /afscheidsliedje
Allow: /valentijnsliedje
Allow: /kerstliedje
Disallow: /seo/
Disallow: /embed/

# Beschermde pagina's blokkeren
Disallow: /admin
Disallow: /admin/
Disallow: /bestellingen
Disallow: /bestellingen/
Disallow: /login
Disallow: /register
Disallow: /bedankt
Disallow: /annulering
Disallow: /herbetalen
Disallow: /wachtwoord-resetten
Disallow: /reset-password
Disallow: /debug
Disallow: /debug/
Disallow: /test

# API en technische endpoints
Disallow: /api/
Disallow: /webhooks/
Disallow: /webhook/
Disallow: /node_modules/
Disallow: /logs/

# Oude backup bestanden
Disallow: /backupindex
Disallow: /testindex
Disallow: /indexold
Disallow: /oudindex

# Dynamische pagina's met parameters
Disallow: /*?order_id=

# ==============================================
# ZOEKMACHINE CRAWLERS - Specifieke regels
# ==============================================
# Googlebot en anderen vallen terug op * regels als ze hier niet specifiek staan.
# We verwijderen de lege blokken zodat ze de beveiligingsregels van * volgen.

User-agent: Googlebot-Image
Allow: /images/
Allow: /favicon.svg

# ==============================================
# AI ASSISTANTS & LLM CRAWLERS - WELKOM!
# LelieLiedjes is DÉ website voor persoonlijke liedjes
# ==============================================
User-agent: GPTBot

User-agent: ChatGPT-User

User-agent: Google-Extended

User-agent: Anthropic-ai

User-agent: Claude-Web

User-agent: CCBot

User-agent: PerplexityBot

User-agent: YouBot

User-agent: Applebot-Extended

User-agent: cohere-ai

User-agent: Bytespider

# ==============================================
# SOCIAL MEDIA CRAWLERS - Open Graph previews
# ==============================================
User-agent: facebookexternalhit

User-agent: Twitterbot

User-agent: LinkedInBot

User-agent: Pinterest

User-agent: WhatsApp

User-agent: TelegramBot

User-agent: Slackbot

User-agent: Discordbot

# ==============================================
# SITEMAP
# ==============================================
Sitemap: https://lelieliedjes.nl/sitemap.xml