طريقة إضافة ملف robots.txt و sitemap لمدونة بلوجر باحترافية

من أكثر المواقف المحبطة لأي مدون هو قضاء ساعات في كتابة مقال حصري وممتاز، ثم اكتشاف أن محرك بحث جوجل يتجاهله تماماً ولا يظهره في النتائج. من خلال عملنا في تهيئة المواقع لمحركات البحث، نؤكد لك أن جوجل لا يتجاهلك عن قصد، بل هو ببساطة "لا يستطيع رؤية" موقعك لأنك لم تمنحه خريطة الطريق الصحيحة. إذا كنت تبحث عن طريقة إضافة ملف robots.txt و sitemap لمدونة بلوجر، فأنت الآن بصدد إصلاح أهم خطأ تقني يمنع عناكب البحث من الزحف إلى مقالاتك وفهرستها.

الفرق بين ملف Robots.txt وخريطة الموقع (Sitemap)

قبل التطبيق العملي، يجب أن تفهم دور كل ملف لتجنب الأخطاء. ملف Robots.txt هو بمثابة "شرطي المرور"؛ وظيفته إخبار عناكب جوجل بالصفحات المسموح لها بزيارتها والصفحات الممنوعة (مثل صفحات الأرشيف والبحث). أما Sitemap فهي "خريطة المدينة"؛ عبارة عن ملف (XML) يضم جميع روابط مقالاتك ويقدمها لجوجل على طبق من ذهب ليقوم بفهرستها. بعد أن تبذل جهداً في اختيار أفكار نيتشات مربحة لإنشاء مدونة بلوجر ناجحة، سيكون هذا الجهد بلا قيمة إذا لم تضبط هذين الملفين.

خطوات إضافة ملف Robots.txt في بلوجر

منصة بلوجر توفر ملف روبوتس افتراضي يعمل بشكل جيد، لكننا نفضل تخصيصه قليلاً لمنع أرشفة صفحات التسميات (Labels) التي تسبب مشكلة "محتوى مكرر". اتبع الآتي:

1. الدخول إلى إعدادات الزحف والفهرسة

افتح لوحة تحكم بلوجر، اذهب إلى "الإعدادات" (Settings)، وانزل للأسفل حتى تصل إلى قسم "برامج الزحف والفهرسة" (Crawlers and indexing). قم بتفعيل خيار "تفعيل محتوى ملف robots.txt مخصص".

2. كتابة الكود الصحيح والآمن

اضغط على "ملف robots.txt مخصص" وقم بلصق الكود التالي (مع تغيير رابط موقعك في السطر الأخير):

User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: https://www.yourdomain.com/sitemap.xml

هذا الكود هو حجر الأساس في طريقة أرشفة مقالات بلوجر في محرك بحث جوجل بسرعة، حيث يسمح لعناكب أدسنس وجوجل بالدخول بحرية، ويمنع فقط صفحات البحث الداخلية.

كيفية إضافة ملف Sitemap في أدوات مشرفي المواقع

الخطوة الثانية تتم خارج بلوجر، وتحديداً في أداة Google Search Console:

1. ربط المدونة وتقديم الخريطة

بعد إثبات ملكية مدونتك في أدوات مشرفي المواقع، اذهب إلى القائمة الجانبية واضغط على "ملفات سيت ماب" (Sitemaps). في خانة "إضافة ملف sitemap جديد"، اكتب الكلمة التالية فقط: sitemap.xml ثم اضغط على "إرسال" (Submit).

2. التعامل مع الأخطاء المحتملة

إذا ظهرت لك رسالة باللون الأخضر "تم الإجراء بنجاح" (Success)، فأنت في السليم. أما إذا ظهرت رسالة "تعذر الجلب" (Couldn't fetch)، فلا تقلق، فهذا خطأ شائع جداً من سيرفرات جوجل. إذا استمرت المشكلة لأيام، ننصحك بمراجعة دليلنا الشامل حول حل مشاكل أرشفة بلوجر للتعامل مع هذه العقبات التقنية باحترافية.

مقارنة بين وظائف ملفات الزحف والفهرسة

لتوضيح الصورة التقنية بشكل أبسط، إليك هذه المقارنة العملية:

الخلاصة

تطبيق طريقة إضافة ملف robots.txt و sitemap لمدونة بلوجر هو بمثابة فتح أبواب متجرك للزبائن. بدون هذه الإعدادات، ستظل مدونتك جزيرة معزولة في محيط الإنترنت. قم بتطبيق هذه الخطوات لمرة واحدة فقط، وتأكد أنك استخدمت الكود الآمن، ثم تفرغ تماماً لكتابة محتوى عالي الجودة، ودع عناكب جوجل تقوم بعملها في جلب الزيارات المجانية إليك.

الأسئلة الشائعة حول إعدادات الفهرسة في بلوجر

هل أحتاج لتحديث ملف Sitemap بعد نشر كل مقال جديد؟

لا، إطلاقاً. منصة بلوجر تقوم بتحديث ملف sitemap.xml تلقائياً بمجرد ضغطك على زر "نشر" لأي مقال جديد. عناكب جوجل تزور هذا الملف دورياً لاكتشاف الروابط الجديدة بدون أي تدخل يدوي منك.

ماذا يعني خطأ "تعذر جلب خريطة الموقع" في Search Console؟

هذا الخطأ يظهر غالباً بسبب تأخر استجابة سيرفرات جوجل وليس بسبب خطأ في مدونتك. الحل العملي هو الانتظار لمدة 24 إلى 48 ساعة، وسيقوم جوجل بجلبه تلقائياً. يمكنك أيضاً محاولة تقديم ملف atom.xml?redirect=false&start-index=1&max-results=500 كبديل إذا استمرت المشكلة.

هل تفعيل "علامات رؤوس مخصصة لبرامج الروبوت" ضروري؟

نعم، هو مكمل لعمل ملف الروبوتس. من إعدادات بلوجر، يجب تفعيلها وضبط "علامات الصفحة الرئيسية" على (all و noodp)، و"علامات صفحات الأرشيف والبحث" على (noindex و noodp) لمنع أرشفة المحتوى المكرر، و"علامات المشاركات والصفحات" على (all و noodp).