# UMRAN-OTO Robots.txt
# Bu dosya tüm arama motoru botlarına yönelik yönergeleri içerir
# Son güncelleme: 2026-03-07

# ============================================
# ENGELENEN BOTLAR (Google ve benzeri arama motorları)
# ============================================

# Google
User-agent: Googlebot
Allow: /

User-agent: Googlebot-Image
Allow: /

User-agent: Googlebot-News
Allow: /

User-agent: Googlebot-Video
Allow: /

User-agent: AdsBot-Google
Allow: /

User-agent: Mediapartners-Google
Allow: /

User-agent: Google-InspectionTool
Allow: /

# Bing
User-agent: Bingbot
Allow: /

User-agent: msnbot
Disallow: /

# Yandex
User-agent: YandexBot
Allow: /

User-agent: Yandex
Allow: /

# Baidu botlarını engelle
User-agent: Baiduspider
Disallow: /

# DuckDuckGo botlarını engelle
User-agent: DuckDuckBot
Disallow: /

# Yahoo botlarını engelle
User-agent: Slurp
Disallow: /

# ============================================
# SCREAMING FROG BOTU İÇİN ÖZEL KURALLAR
# ============================================

# Screaming Frog SEO Spider botu için özel erişim
User-agent: Screaming Frog SEO Spider
Allow: /
Crawl-delay: 2

# Screaming Frog bot varyasyonları
User-agent: ScreamingFrogBot
Allow: /
Crawl-delay: 2

# ============================================
# İZİN VERİLEN BOTLAR (Tüm sayfalar taranabilir)
# ============================================

# Diğer tüm botlara tam erişim ver (tüm sayfalar)
User-agent: *
Allow: /
Crawl-delay: 1

# Host bilgisi (ana domain)
Host: umranoto.com

# Sitemap bilgileri
Sitemap: https://umranoto.com/sitemap.xml
Sitemap: https://umranoto.com/llm.txt

# Son güncelleme bilgisi
# Bu dosya 2026-03-07 03:54:07 tarihinde güncellenmiştir
# UMRAN-OTO Web Sitesi için hazırlanmıştır
# Not: Google ve benzeri büyük arama motoru botları engellenmiştir
# Diğer tüm botlar (AI, sosyal medya, mobil vb.) tüm sayfaları tarayabilir