ملف robots.txt وكيفية كتابة محتواه و إنشائه

اليوم سنستعرض لكم ملف robots.txt وكيفية كتابة محتواه و إنشائه لجعل ملفات روبوتات الزحف التي يتم إضافتها لرفع زيارة الموقع الخاص بك ولكن في البداية دعونا نعرف ما هو ملف robots.txt

كما يجب إضافة خريطة الموقع site map لرفع زيارات الموقع وتحسين وضع الموقع الخاص بك دخل محركات البحث

ملف robots.txt وكيفية كتابة محتواه و إنشائه

ملف robots.txt  عبارة عن ملف نصي يكتب بداخل ملفات note pad وهو يحتوي على مجموعة من التعليمات التي تقوم بجعل روبوتات الخاصة بمحركات البحث و الهدف من تلك التعليمات على توجيه الروبوتات الخاصة بالزحف على طريقة زيارة الصفحات الخاصة بالموقع

ملف robots.txt وكيفية كتابة محتواه و إنشائه

طريقة إنشاء ملف robots.txt

1- أفتح برنامج note pad  وقم بتسمية الملف باسم robots.txt

2- قم بإضافة جميع التعليمات التي توضح لروبوتات الزحف كيف تقوم بزيارة الموقع الخاص بك

ما يجب كتابته في ملف robots.txt

1- في البداية يجب عليك تحديد نوع روبوتات الزحف التي تريدها تزحف على موقعك

User-agent: Googlebot

قم بكتابة الأمر السابق على وذلك للبدء في تحديد قواعد زيارة الروبوتات الخاصة بالزحف في جوجل

2-  في تلك الخطوة قم بوضع قواعد الزيارة التي ترغب بها من روبوتات الزحف وذلك عن طريق وضع علامة * بدلًا من اسم روبوت الزحف

User-agent:  *

3- في تلك الخطوة سنقوم بالسماح لروبوتات الزحف لزيارة الصفحات الخاصة بالموقع الإلكتروني الخاص بك وذلك عن طريق إضافة  الكود التالي

User-agent:  *

Allow:/

علامة  / تسمح لروبوتات الزحف زيارة صفحات الموقع

ولكن لمنع روبوتات الزحف من الزحف إلى الموقع الخاص بك أو لبعض الصفحات الموجودة داخل الموقع قم بكتابة الكود التالي

User-agent: *

Disallow:  /

عند القيام بكتابة الكود السابق فإنك بذلك تكون قد قمت بتحديد القواعد التي تقوم روبوتات الزحف من منع الروبوتات الزحف على الموقع و عدم أرشفتها من خلال محركات البحث المختلفة

مثال لملف robots.txt لوضعه داخل مواقع الووردبريس

في الكود التالي سنقوم  بمنع  روبوتات الزحف من زيارة كل المتواجد داخل المجلد الذي سيتم تحديده ماعدا ملف

User-agent:  *

Disallow: /wp-admin/

Allow: /wp-admin/admin-ajax.php

معني الكود السابق هو منع  روبوتات الزحف من ا لدخول على  ملف يدعى wp-admin والسماح لروبوتات الزحف على الدخول إلى ملفات تدعى admin-ajax.php

أماكن وضع ملفات robots.txt

يتم وضع  ملف  robots.txt  داخل مجلد public_html

مشاكل ملف Robots.txt وكيفية حلّها

ملف robots.txt يُعد أداة أساسية للتحكم في وصول محركات البحث إلى صفحات ومحتويات موقعك. مع ذلك، قد يؤدي سوء إعداد هذا الملف إلى مشكلات تؤثر على أداء موقعك في محركات البحث. في هذا المقال، سنستعرض أبرز مشاكل ملف robots.txt وطرق حلها.

ما هو ملف robots.txt؟

ملف robots.txt هو ملف نصي يُوضع في جذر الموقع الإلكتروني ويُستخدم لتوجيه عناكب محركات البحث حول الصفحات أو الملفات التي يمكنها الوصول إليها أو حظرها. يتم قراءة هذا الملف من قبل محركات البحث قبل الزحف إلى الموقع.

المشاكل الشائعة في ملف robots.txt

1. حظر الصفحات المهمة عن طريق الخطأ

• الوصف: قد يؤدي إدراج تعليمات خاطئة إلى حظر الصفحات التي ترغب في فهرستها.
• المثال:
  User-agent: *

  Disallow: /

  هذه التعليمات تحظر جميع العناكب من الوصول إلى الموقع بأكمله.

• الحل: تأكد من أنك لا تحظر صفحات مهمة مثل الصفحة الرئيسية وصفحات المنتجات أو المقالات.
  User-agent: *

  Disallow:

  هذه التعليمات تسمح بالزحف الكامل.

2. ترك الملف فارغًا أو غير موجود

• الوصف: في حال عدم وجود الملف، قد تحاول محركات البحث الزحف إلى الصفحات غير المرغوب فيها.
• الحل:
  • قم بإنشاء ملف robots.txt إذا كان غير موجود.
  • أضف تعليمات واضحة حسب احتياجاتك.

3. تعارض مع ملف Sitemap

• الوصف: إذا لم يتم تضمين رابط ملف Sitemap في robots.txt، فقد يؤدي ذلك إلى تأخير فهرسة المحتوى.
• الحل: أضف رابط ملف Sitemap في نهاية ملف robots.txt:
  Sitemap: https://www.example.com/sitemap.xml

4. استخدام تعليمات خاطئة

• الوصف: قد يؤدي استخدام صيغة غير صحيحة إلى تجاهل الملف من قبل محركات البحث.
• المثال:
  User agent: *

  Disallow: /

  (الصيغة الصحيحة: يجب أن تكون User-agent مع الشرطة الوسطى).

• الحل: تأكد من استخدام الصيغة الصحيحة للتعليمات.

5. استهداف محركات بحث محددة بشكل غير صحيح

• الوصف: قد تُخطئ في كتابة اسم محرك البحث المستهدف، مما يؤدي إلى تجاهل التعليمات.
• الحل: استخدم أسماء صحيحة مثل:
  User-agent: Googlebot

  Disallow: /private/

6. حظر ملفات الموارد الضرورية

• الوصف: قد يتم حظر ملفات CSS أو JavaScript المهمة، مما يؤثر على عرض الموقع.
• الحل: تحقق من أن الملفات الضرورية للعرض غير محظورة:
  Allow: /css/

  Allow: /js/

7. تجاهل ملف robots.txt من قِبل محركات البحث

• الوصف: قد تتجاهل بعض محركات البحث الملف بسبب مشكلات في الوصول إليه.
• الحل:
  • تأكد من أن الملف متاح ويمكن الوصول إليه عبر الرابط: https://www.example.com/robots.txt.
  • تحقق من إعدادات الخادم.

كيفية اختبار ملف robots.txt

1. استخدام أدوات Google Search Console

• أداة فحص ملف robots.txt متوفرة ضمن Google Search Console.
• قم بتجربة التعليمات وتحقق من تأثيرها على الزحف.

2. أدوات خارجية

• استخدم أدوات مثل Screaming Frog أو أدوات التحقق من ملف robots.txt عبر الإنترنت لتحليل الأخطاء.

أفضل الممارسات لإنشاء ملف robots.txt

1. ابدأ بسياسات واضحة: حدد الصفحات والملفات التي تريد السماح أو منع الزحف إليها.
2. قم بتحديث الملف بانتظام: عند إضافة أقسام جديدة إلى الموقع، راجع ملف robots.txt.
3. تجنب الحظر العام: تجنب استخدام Disallow: / إلا إذا كنت تريد حظر الموقع بالكامل.
4. اختبر دائمًا: تأكد من أن التعديلات لا تؤثر سلبًا على فهرسة الموقع.

خاتمة

ملف robots.txt هو أداة حيوية للتحكم في كيفية زحف محركات البحث إلى موقعك. من خلال فهم المشاكل الشائعة والعمل على تجنبها، يمكنك تحسين أداء موقعك وضمان ظهوره بشكل مثالي في نتائج البحث. تذكر دائمًا اختبار التغييرات وتحديث الملف بما يتناسب مع احتياجات موقعك.

اكتب شيئًا…

المصدر : ويكيبديا