📋 محتويات الصفحة
📖 الوصف
ملف robots.txt هو ملف نصي يُوضع في جذر الموقع لتوجيه محركات البحث عن كيفية زحف الموقع. يحدد صفحات وأقسام يمكن لمحركات البحث زيارتها أو تجنبها. يُستخدم robots.txt للتحكم في زحف محركات البحث، منع فهرسة صفحات معينة، وتوجيه محركات البحث إلى ملف Sitemap.
🎯 يستخدم في
مجالات استخدام هذه الأداة
التحكم في زحف محركات البحث
منع فهرسة صفحات معينة
توجيه Sitemap
حماية مسارات خاصة
تحسين الأداء
✨ المميزات
أبرز مميزات هذه الأداة
Easy الاستخدام
Easy دعم جميع المحركات
Easy تخصيص
Easy تصدير
Easy بحث
Easy تكامل
Easy TypeScript
⚠️ العيوب
نقاط يجب مراعاتها
لا يمنع الوصول فعلياً
قد يكون معقداً
يحتاج صيانة
قد يسبب مشاكل SEO
💻 مثال على الاستخدام
كيفية استخدام هذه الأداة
# robots.txt
# ملف في جذر الموقع: https://example.com/robots.txt
User-agent: *
Disallow: /admin/
Disallow: /api/
Disallow: /search?q=
Disallow: /*?*session=
Allow: /admin/public/
# ملف Sitemap
Sitemap: https://example.com/sitemap.xml
# تجنب محرك بحث معين
User-agent: BadBot
Disallow: /
# لمحرك بحث محدد
User-agent: Googlebot
Allow: /
Crawl-delay: 1📚 أدوات أخرى في SEO
قد يعجبك أيضاً
Core Web Vitals
⭐مقاييس أساسية لتجربة المستخدم
Google Search Console
⭐أداة SEO من Google
hreflang
⭐علامة تحديد لغة المحتوى
JSON-LD
⭐صيغة بيانات منظمة
Meta Tags
⭐علامات HTML الوصفية
Next SEO
⭐مكتبة SEO لـ Next.js