تحسين محركات البحث

ملف robots.txt وكيفية كتابة محتواه و إنشائه

اليوم سنستعرض لكم ملف robots.txt وكيفية كتابة محتواه و إنشائه لجعل ملفات روبوتات الزحف التي يتم إضافتها لرفع زيارة الموقع الخاص بك ولكن في البداية دعونا نعرف ما هو ملف robots.txt

كما يجب إضافة خريطة الموقع site map لرفع زيارات الموقع وتحسين وضع الموقع الخاص بك دخل محركات البحث

ملف robots.txt وكيفية كتابة محتواه و إنشائه

ملف robots.txt  عبارة عن ملف نصي يكتب بداخل ملفات note pad وهو يحتوي على مجموعة من التعليمات التي تقوم بجعل روبوتات الخاصة بمحركات البحث و الهدف من تلك التعليمات على توجيه الروبوتات الخاصة بالزحف على طريقة زيارة الصفحات الخاصة بالموقع

ملف robots.txt وكيفية كتابة محتواه و إنشائه

طريقة إنشاء ملف robots.txt

1- أفتح برنامج note pad  وقم بتسمية الملف باسم robots.txt

2- قم بإضافة جميع التعليمات التي توضح لروبوتات الزحف كيف تقوم بزيارة الموقع الخاص بك

ما يجب كتابته في ملف robots.txt

1- في البداية يجب عليك تحديد نوع روبوتات الزحف التي تريدها تزحف على موقعك

User-agent: Googlebot

قم بكتابة الأمر السابق على وذلك للبدء في تحديد قواعد زيارة الروبوتات الخاصة بالزحف في جوجل

2-  في تلك الخطوة قم بوضع قواعد الزيارة التي ترغب بها من روبوتات الزحف وذلك عن طريق وضع علامة * بدلًا من اسم روبوت الزحف

User-agent:  *

3- في تلك الخطوة سنقوم بالسماح لروبوتات الزحف لزيارة الصفحات الخاصة بالموقع الإلكتروني الخاص بك وذلك عن طريق إضافة  الكود التالي

User-agent:  *

Allow:/

علامة  / تسمح لروبوتات الزحف زيارة صفحات الموقع

ولكن لمنع روبوتات الزحف من الزحف إلى الموقع الخاص بك أو لبعض الصفحات الموجودة داخل الموقع قم بكتابة الكود التالي

User-agent: *

Disallow:  /

عند القيام بكتابة الكود السابق فإنك بذلك تكون قد قمت بتحديد القواعد التي تقوم روبوتات الزحف من منع الروبوتات الزحف على الموقع و عدم أرشفتها من خلال محركات البحث المختلفة

مثال لملف robots.txt لوضعه داخل مواقع الووردبريس

في الكود التالي سنقوم  بمنع  روبوتات الزحف من زيارة كل المتواجد داخل المجلد الذي سيتم تحديده ماعدا ملف

User-agent:  *

Disallow: /wp-admin/

Allow: /wp-admin/admin-ajax.php

معني الكود السابق هو منع  روبوتات الزحف من ا لدخول على  ملف يدعى wp-admin والسماح لروبوتات الزحف على الدخول إلى ملفات تدعى admin-ajax.php

أماكن وضع ملفات robots.txt

يتم وضع  ملف  robots.txt  داخل مجلد public_html

المصدر : ويكيبديا 

زر الذهاب إلى الأعلى