ملف SITEMAP ثلاث خطوات لإضافته إلى ملف ROBOTS.TXT
سنستعرض لكم اليوم من خلال موقعنا خطوات إضافة ملف SITEMAP إلى ملف ROBOTS.TXT إذا كنت أحد مشرفي المواقع أو مطور مواقع ويب ، فأنت تريد أن يظهر موقعك في نتائج البحث.
ولكي يظهر موقعك في نتائج البحث ، فأنت بحاجة إلى أن تقوم روبوتات محرك البحث من الزحف إلى موقعك الإلكتروني وصفحات الويب الخاصة بالموقع حتى تزحف إليها روبوتات وأرشفتها لكي تظهر على محركات البحث.
إضافة ملف SITEMAP إلى ملف ROBOTS.TXT
هناك نوعان من الملفات المختلفة موجودة داخل موقع الويب الخاص بك التي تساعد هذه البوتات في العثور علي الملفات: الروبوتات txt و XML.
1- Robots.txt file
2- XML Sitemap
إضافة ملف SITEMAP إلى ملف ROBOTS.TXT
أصبح ملف robots.txt أكثر أهمية لمشرفي المواقع لأنه يمكنهم بسهولة تمهيد الطريق أمام روبوتات محرك البحث لاكتشاف كل الصفحات على مواقع الويب.
كيفية إنشاء ملف robots.txt مع Sitemap ؟
فيما يلي ثلاث خطوات بسيطه لإنشاء ملف robots.txt مع موقع sitemap:
1- تحديد موقع URL لملف sitemap
إذا قمت أنت أو المطور الخاص بك بالفعل بإنشاء ملف sitemap ، فمن المحتمل ان يكون موجودا في http://www.example.com/sitemap.xml ، حيث يتم استبدال “مثال” باسم النطاق الخاص بك.
للتحقق مما إذا كان موقع الخريطة الخاص بك موجودا هنا ، فيمكنك كتابة site:example.com filetype:xml في عنوان URL في المتصفح وسوف تري خريطة الموقع أو خطا 404 الذي يعني انه غير موجود في ذلك المكان.
أو يمكنك استخدام Google لتحديد موقع ملف sitemap باستخدام مشغلي البحث. ما عليك سوي كتابه الموقع: نموذج النموذج الخاص بالمثال.
filetype:xml site:example.com inurl:sitemap
إذا لم تتمكن من العثور علي ملف sitemap ، فقد لا يكون موجودا. في هذه الحالة يمكنك إنشاء خريطة موقع بنفسك أو طلب مطور الموقع إنشاء واحده لك.
2- تحديد موقع ملف robots.txt الخاص بك
يمكنك التحقق مما إذا كان ملف robots.txt قد تم إنشاؤه بالفعل علي موقعك الإلكتروني بمجرد كتابة http://www.example.com/robots.txt ، حيث يتم استبدال “مثال” باسم النطاق الخاص بك.
إذا لم يكن لديك ملف robots.txt ، ستحتاج إلى إنشاء واحد والتأكد من إنه قد تم إضافته إلى خادم الويب الخاص بك.
ويمكنك إنشائه ببساطة إنشائه من خلال تضمين النص التالي:
User-agent: *
Disallow:
النص أعلاه يسمح لجميع السير لتتبع جميع المحتويات الخاصة بك.
3- إضافه موقع sitemap إلى ملف robots.txt
وأخيرا ، تحتاج إلى إضافه موقع sitemap إلى ملف robots.txt.
للقيام بذلك ، تحتاج إلى تعديل ملف robots.txt الخاص بك وأضافه توجيه مع عنوان URL لخريطة الموقع الخاصة بك ، كما هو موضح أدناه:
Sitemap: http://www.example.com/sitemap.xml
والآن يجب ان يبدو ملف الروبوتات الخاصة بك مثل هذا:
Sitemap: http://www.example.com/sitemap.xml
User-agent: *
Disallow:
كيفيه إنشاء ملف robots.txt مع مواقع متعددة لخريطة الموقع
سيكون لبعض مواقع الويب الأكبر حجما أكثر من خريطة الموقع لفهرسه جميع صفحاتها ، أو قد يكون الموقع يحتوي علي أقسام فرعيه متعددة ويتم استخدام صفحات التجميع التي تحتوي علي ملفات sitemap متعددة لجعل الأمور أكثر قابليه للاداره. في هذه الحالة ، يجب عليك إنشاء “خريطة sitemap لملفات sitemap” ، والمعروفة باسم فهرس sitemap.
يشبه تنسيق هذا الملف ملف sitemap XML القياسي.
عندما يكون لديك خرائط مواقع متعددة ، يمكنك إما تحديد عنوان URL لملف فهرس خريطة الموقع داخل ملف robots.txt:
Sitemap: http://www.example.com/sitemap_index.xml
User-agent:*
Disallow
أو بدلا من ذلك ، يمكنك تحديد كل عنوان URL لملف sitemap الفردي كقائمه:
Sitemap: http://www.example.com/sitemap_1.xml
Sitemap: http://www.example.com/sitemap_2.xml
User-agent:*
Disallow
المصدر
