ملف robots.txt هو ملف نصي بسيط يخبر محركات البحث عن صفحات موقعك الإلكتروني التي تريد أن تسمح لها بالوصول إليها. يمكنك استخدامه لمنع محركات البحث من الوصول إلى صفحات معينة على موقعك، أو لتحديد كيفية الوصول إلى صفحات أخرى.
نبذة عن ملف robots.txt
في بداية ظهور شبكة الإنترنت، كانت إمكانياتها محدودة للغاية. لذلك، ابتكر المطورون طريقة سهلة للزحف إلى الصفحات الجديدة على الإنترنت، وهي استخدام "العناكب".
كانت العناكب تقوم بالزحف إلى جميع الصفحات على الإنترنت، بما في ذلك الصفحات التي لم تكن مرغوبة في فهرستها، مثل الصفحات الخاضعة للصيانة. لذلك، أوصى مؤسس "علي ويب" بإنشاء نظام جديد يتحكم في كيفية قيام العناكب بالزحف إلى الصفحات.
هذا النظام الجديد هو ملف robots.txt. وهو ملف نصي بسيط يتم وضعه في المجلد الجذر لموقعك الإلكتروني. يحتوي الملف على تعليمات تخبر العناكب بأي صفحات يمكنها الوصول إليها وأيها لا يمكنها الوصول إليها.
في عام 1994، توصّل مجموعة من المطورين على الإنترنت إلى حل ذكي لمشكلة الزحف العشوائي للروبوتات على المواقع الإلكترونية. أطلقوا على هذا الحل اسم "بروتوكول استبعاد الروبوتات".
يُعدّ ملف "روبوتس تكست" تنفيذًا لهذا البروتوكول. يحدد هذا الملف مجموعة من الإرشادات التي يجب على الروبوتات اتباعها عند الزحف إلى موقع إلكتروني. تلتزم معظم الروبوتات الكبرى، بما في ذلك روبوتات Google، بقواعد ملف "روبوتس تكست". أما الروبوتات الضارة، مثل برامج التجسس والبرامج الضارة، فلا تلتزم بهذه القواعد.
يمكنك عزيزي القارئ معرفة المزيد عن ملف "روبوتس تكست" عن طريق إضافة "/robots.txt" إلى نطاق الموقع الإلكتروني في متصفحك.
يحتوي ملف "روبوتس تكست" على مجموعة من التعليمات التي تتحكم في كيفية قيام الروبوتات، مثل روبوتات محركات البحث، بالزحف إلى موقعك الإلكتروني.
الشكل الافتراضي لملف "روبوتس تكست" يشبه هذا:
User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-admin/
Sitemap: https://example.com/sitemap_index.xml
تعني التعليمات في هذا الملف ما يلي:
*User-Agent: : هذه التعليمة تسمح لجميع الروبوتات بالزحف إلى الموقع الإلكتروني.
Allow: /wp-content/uploads/ : هذه التعليمة تسمح لجميع الروبوتات بالزحف إلى مجلد "/wp-content/uploads/".
Disallow: /wp-content/plugins/ : هذه التعليمة تمنع جميع الروبوتات من الزحف إلى مجلد "/wp-content/plugins/".
Disallow: /wp-admin/ : هذه التعليمة تمنع جميع الروبوتات من الزحف إلى مجلد "/wp-admin/".
Sitemap: https://example.com/sitemap_index.xml : هذه التعليمة تخبر الروبوتات بموقع خريطة الموقع.
الغرض من ملف robots txt
اختبار ملف robots.txt في مدونة بلوجر
- افتح "أداة اختبار ملف robots.txt" الخاصة بموقعك الإلكتروني.
- انتقل إلى قسم "روبوتس تكست".
- سترى عدد تحذيرات المنطق والنحو أسفل المحرر.
- اكتب رابط الصفحة التي تريد اختبارها في مربع النص أسفل الصفحة.
- حدد وكيل المستخدم الذي تريد محاكاته من القائمة المنسدلة الموجودة في الجهة اليسرى من مربع النص.
- انقر على زر "إرسال".
