اليوم سنستعرض لكم ملف robots.txt وكيفية كتابة محتواه و إنشائه لجعل ملفات روبوتات الزحف التي يتم إضافتها لرفع زيارة الموقع الخاص بك ولكن في البداية دعونا نعرف ما هو ملف robots.txt
كما يجب إضافة خريطة الموقع site map لرفع زيارات الموقع وتحسين وضع الموقع الخاص بك دخل محركات البحث
ملف robots.txt وكيفية كتابة محتواه و إنشائه
ملف robots.txt عبارة عن ملف نصي يكتب بداخل ملفات note pad وهو يحتوي على مجموعة من التعليمات التي تقوم بجعل روبوتات الخاصة بمحركات البحث و الهدف من تلك التعليمات على توجيه الروبوتات الخاصة بالزحف على طريقة زيارة الصفحات الخاصة بالموقع
ملف robots.txt وكيفية كتابة محتواه و إنشائه
طريقة إنشاء ملف robots.txt
1- أفتح برنامج note pad وقم بتسمية الملف باسم robots.txt
2- قم بإضافة جميع التعليمات التي توضح لروبوتات الزحف كيف تقوم بزيارة الموقع الخاص بك
ما يجب كتابته في ملف robots.txt
1- في البداية يجب عليك تحديد نوع روبوتات الزحف التي تريدها تزحف على موقعك
User-agent: Googlebot
قم بكتابة الأمر السابق على وذلك للبدء في تحديد قواعد زيارة الروبوتات الخاصة بالزحف في جوجل
2- في تلك الخطوة قم بوضع قواعد الزيارة التي ترغب بها من روبوتات الزحف وذلك عن طريق وضع علامة * بدلًا من اسم روبوت الزحف
User-agent: *
3- في تلك الخطوة سنقوم بالسماح لروبوتات الزحف لزيارة الصفحات الخاصة بالموقع الإلكتروني الخاص بك وذلك عن طريق إضافة الكود التالي
User-agent: *
Allow:/
علامة / تسمح لروبوتات الزحف زيارة صفحات الموقع
ولكن لمنع روبوتات الزحف من الزحف إلى الموقع الخاص بك أو لبعض الصفحات الموجودة داخل الموقع قم بكتابة الكود التالي
User-agent: *
Disallow: /
عند القيام بكتابة الكود السابق فإنك بذلك تكون قد قمت بتحديد القواعد التي تقوم روبوتات الزحف من منع الروبوتات الزحف على الموقع و عدم أرشفتها من خلال محركات البحث المختلفة
مثال لملف robots.txt لوضعه داخل مواقع الووردبريس
في الكود التالي سنقوم بمنع روبوتات الزحف من زيارة كل المتواجد داخل المجلد الذي سيتم تحديده ماعدا ملف
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
معني الكود السابق هو منع روبوتات الزحف من ا لدخول على ملف يدعى wp-admin والسماح لروبوتات الزحف على الدخول إلى ملفات تدعى admin-ajax.php
أماكن وضع ملفات robots.txt
يتم وضع ملف robots.txt داخل مجلد public_html
المصدر : ويكيبديا
