User-agent: *
Allow: /

# منع الزحف على المجلدات غير الضرورية
Disallow: /includes/
Disallow: /tools/
Disallow: /admin/
Disallow: /api/
Disallow: /assets/
Disallow: /404.php
Disallow: /500.php

# السماح بالأصول المهمة
Allow: /assets/css/
Allow: /assets/js/
Allow: /assets/images/
Allow: /assets/uploads/

# Sitemap
Sitemap: https://mytayibat.com/sitemap.xml
Sitemap: https://mytayibat.com/sitemap-index.xml

# ملاحظة: Crawl-delay غير مدعوم في Googlebot