ضبط ملف robots.txt لمدونة بلوجر
 |
| ملف robots.txt لمدونة بلوجر |
يُعدّ ملف "robots.txt" أداةً للتحكم في زحف محركات البحث إلى أجزاء الموقع. فهو يحدد المسارات التي يُسمح لبرامج الزحف بالوصول إليها أو يُمنع عليها الوصول إليها، لكنه لا يضمن منع فهرسة الصفحات المحظورة.
ما هو ملف robots.txt؟
ملف robots.txt هو ملف نصي يُوضع في جذر الموقع، يحتوي على تعليمات تُوجّه عناكب محركات البحث (مثل Googlebot) حول الصفحات أو الأقسام التي يجب أو لا يجب الزحف إليها.
الملف الافتراضي في بلوجر
بشكل افتراضي، يُنشئ بلوجر ملف robots.txt يحتوي على الإعدادات التالية:
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: https://www.example.com/sitemap.xml
يسمح هذا المثال لبرامج الزحف بالوصول إلى معظم عناوين الموقع، مع منع الزحف إلى المسارات التي تبدأ بـ "/search". ولا يعني ذلك بالضرورة منع ظهور تلك العناوين في نتائج البحث.
كيفية تخصيص ملف robots.txt في بلوجر
لتخصيص ملف robots.txt في مدونة بلوجر، اتبع الخطوات التالية:
- سجّل الدخول إلى لوحة تحكم بلوجر.
- انتقل إلى الإعدادات > الزحف والفهرسة.
- فعّل خيار ملف robots.txt مخصص.
- انقر على ملف robots.txt مخصص وأدخل الكود التالي:
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search*
Disallow: /feeds*
Allow: /*.html
Sitemap: https://www.example.com/sitemap.xml
Sitemap: https://www.example.com/sitemap-pages.xml
ملاحظة: استبدل www.example.com بعنوان نطاق مدونتك.
شرح الكود:
User-agent: *: يستهدف جميع عناكب البحث.Disallow: /search*: يمنع الزحف إلى صفحات البحث والتصنيفات.Disallow: /feeds*: يمنع الزحف إلى خلاصات RSS.Allow: /*.html: يسمح بفهرسة جميع الصفحات والمشاركات.Sitemap:: يُحدّد موقع خريطة الموقع لتسهيل الزحف.
فوائد تخصيص ملف robots.txt:
- تحسين SEO: من خلال توجيه عناكب البحث إلى المحتوى المهم فقط.
- توفير ميزانية الزحف: عن طريق منع الزحف إلى الصفحات غير الضرورية.
- يمكن استخدام ملف "robots.txt" لتقليل الزحف إلى مسارات محددة عند وجود حاجة فعلية لذلك. لكنه ليس وسيلة مضمونة لمنع فهرسة الصفحات أو معالجة المحتوى المكرر؛ لذا ينبغي اختيار قواعده بعناية وفق بنية الموقع.
نصائح إضافية:
- تأكد من اختبار ملف robots.txt باستخدام أدوات مثل Google Search Console.
- تحديث خريطة الموقع بانتظام لضمان فهرسة المحتوى الجديد.
- مراقبة تقارير الزحف في Search Console للتأكد من عدم حظر الصفحات المهمة.
تعليقات
إرسال تعليق