 |
| ما هيا ملف روبوت txt 2023.16.07 |
بصفت مشرفي مواقع فإن إحدى أهم الخطوات التي يمكنه اتخاذها لضمان
نجاح اي موقع على الويب فهي فهم ملفات robot.txt واستخدامها
بشكل صحيح ملف robot.txt هو مستند نصي يوجه برامج الروبوت
لمحركات البحث (المعروفة أيضًا باسم برامج الزحف أو العناكب) إلى الصفحات التي يجب
فهرستها على موقعك بالإضافة إلى الصفحات التي يجب تجاهلها عند الزحف بحثًا عن
محتوى.
من خلال إنشاء ملف مخصص خصيصًا للروبوتات لقراءته يمكنك التحكم بالضبط في أي أجزاء من موقع الويب الخاص بك سيتم فهرستها بواسطة محركات البحث مثل Google Bing وهو أمر يمكن أن يكون له نتائج غير متوقعة إذا تركت دون تحديد! يساعد هذا في الحفاظ على المعلومات الحساسة في مأمن من أعين المتطفلين مع ضمان مشاهدة المحتوى ذي الصلة فقط في SERPs صفحات نتائج محرك البحث.
تتم كتابة ملفات robot txt بتنسيق
نص عادي ويجب وضعها في الدليل الجذر لأي اسم نطاق حتى يمكن الوصول إليها بسهولة
بواسطة الروبوتات أثناء عملية الزحف الخاصة بهم هذا يجعلها سهلة بما يكفي حتى
بالنسبة لمشرفي المواقع المبتدئين الذين قد لا يفهمون لغات الترميز مثل
HTML أو JavaScript! تحتوي
عادةً على توجيهين رئيسيين: السماح الذي يخبر الروبوتات أين يمكنهم
الذهاب و عدم السماح الذي يخبرهم أين لا يذهبون على سبيل المثال إذا كنت تريد استبعاد جميع الصور من مجلدات معينة من الفهرسة فقم ببساطة بإضافة
هذا السطر: Disallow: / images / private /.
باستخدام هذه
الأوامر البسيطة داخل ملف robot txt يمكنك تتبع مقدار البيانات التي يتم الزحف إليها دون الحاجة إلى تدخل يدوي في كل
مرة يتم إجراء تحديث في الموقع مما يجعلها أداة لا تقدر بثمن عند تحسين مواقع
الويب لأغراض تحسين محركات البحث! بالإضافة إلى ذلك قد تختار بعض المواقع استخدام
وكلاء مستخدم معينين ضمن التعليمات البرمجية الخاصة بهم بحيث لا تتمكن سوى أنواع
معينة من برامج الزحف من الوصول يساعد هذا في الحماية من الأنشطة الضارة مثل كشط
الروابط أو إرسال رسائل غير مرغوب فيها عبر نطاقات متعددة في وقت واحد في النهاية بغض النظر عن مدى تعقيد الأشياء تذكر أن كل ما يتطلبه الأمر هو تغيير واحد صغير
داخل المكان الصحيح تأكد من أن كل شيء يسير بسلاسة فقط لا تنسَ تلك الروبوتات
الصغيرة المزعجة التي تنتظر طاعة أوامرك بصبر
كيف تضعها في موقعك
اولا انسخ هذا الكود لي ملون في الاحمر.
User-agent: *
Disallow: /search?updated-min=
Disallow: /search?updated-max=
Disallow: /search/label/*?updated-min=
Disallow: /search/label/*?updated-max=
Allow: /
Sitemap: https://rustomrm123.blogspot.com/sitemap.xml
بعدها اتجه الى موقعك في بلوجر واختار ملف الروبوت txt وبعدها قم باضافة الكود الاحمر وبعدها ضيف رابط موقعك مكان الملون في الاخضر.