هل يستطيع Google فعلاً رؤية موقعك؟

ما هذا الملف بالضبط

كل موقع ويب له، أو يجب أن يكون له، ملف باسم robots.txt. يمكنك العثور عليه بكتابة /robots.txt بعد اسم النطاق الخاص بك، على سبيل المثال shrektak.ar/robots.txt. هذا الملف هو أول ما تقرأه Google قبل أن تفحص موقعك. يتم كتابته بنص عادي ويخبر محركات البحث بأي أجزاء من الموقع يمكنها زيارتها وأيها لا يمكنها.

يمكنك مقارنته بلافتة عند مدخل المبنى. بعض الأبواب مفتوحة، والبعض الآخر مغلق برسالة بسيطة. المشكلة هي أن الشركات تعلق أحياناً اللافتة الخاطئة عن طريق الخطأ. بدلاً من إغلاق باب خلفي واحد، تغلق المبنى بأكمله أمام الزوار، بما في ذلك أهم الأماكن.

بالإضافة إلى المسارات المسموح بزيارتها أو غير المسموح بها، هناك أيضاً شيء أكثر دقة: الملفات التي تبني الصفحة. فكر في CSS، الذي يوفر التنسيق، و JavaScript، الذي يوفر الحركة والتفاعل على الصفحة. إذا قام robots.txt بحجب هذه الملفات، يمكن لـ Google زيارة الصفحة، لكن لا يمكنها رؤيتها بشكل صحيح. ستظهر لها نسخة عارية ومكسورة من موقعك.

يرتبط هذا ارتباطاً وثيقاً بنقطة تحكم أخرى: ما إذا كان المحتوى الأساسي الخاص بك متاحاً أيضاً بدون JavaScript، كما نشرح في المحتوى الأساسي متاح بدون JavaScript. كلا النقطتين يتعلقان بنفس السؤال: هل يستطيع Google رؤية صفحتك كما يراها الزائر، أم أن Google يحصل على صورة ناقصة تسجل درجات منخفضة.

لماذا هذا أكثر من مجرد تفصيل تقني

تستخدم Google عملية تسمى التصيير: محرك البحث يعيد بناء صفحتك في الواقع، تماماً كما يفعل المتصفح، لمعرفة ما يراه الزائر فعلاً. لا يمكن أن يحدث هذا إلا إذا سُمح لـ Google بالوصول إلى جميع المكونات المطلوبة. إذا تم حجب CSS أو JavaScript، ترى Google صفحة عارية بدون تنسيق، بدون قائمة، وأحياناً بدون النص الذي يتم تحميله بواسطة النصوص البرمجية.

والنتيجة هي أن Google تقيّم بشكل خاطئ موضوع صفحتك. صفحة تبدو جيدة للزوار قد تبدو غير مفهومة أو فارغة بالنسبة لـ Google. هذا ليس مسألة الحصول على درجة أقل قليلاً. إنها مسألة عدم إدراجها، بينما لم تفعل شيئاً خاطئاً بالمحتوى نفسه.

هناك فرق بين صفحة غير موجودة وصفحة موجودة لكن لا يمكن الوصول إليها. هذا يتعلق أيضاً بنقاط أخرى في قائمة القياس الخاصة بنا، مثل السؤال عما إذا كانت الصفحة المحذوفة تعطي حالة 404 بشكل صحيح، كما نناقشه في صفحة 404 نفسها مفيدة. في كلتا الحالتين، يتعلق الأمر بالوضوح: اظهر لـ Google ما يُقصد به أن يتم البحث عنه وما لا يُقصد.

كيف تتحقق بنفسك مما إذا كان كل شيء على ما يرام

اكتب اسم النطاق الخاص بك متبوعاً بـ /robots.txt في شريط عنوان المتصفح. ستظهر قائمة بسيطة من القواعد، عادة مع كلمات مثل 'Disallow' متبوعة بمسار. Disallow تعني: لا يمكن زيارة هذا المسار. تحقق مما إذا كان هناك شيء غير متوقع، مثل شرطة مائلة فقط، مما يعني أن الموقع بأكمله مغلق.

انتبه بشكل خاص للقواعد التي تشير إلى مجلدات بأسماء مثل /wp-content/ أو /assets/ أو /css/ أو /js/. غالباً ما تكون هذه هي المجلدات الدقيقة التي يقع فيها تنسيق موقعك والتفاعل. إذا كانت مغلقة، فمن المحتمل جداً أن Google لا تستطيع تصيير صفحاتك بشكل صحيح، حتى لو بدا باقي الملف غير ضار.

Google Search Console، وهي خدمة مجانية من Google لمالكي المواقع، لديها اختبار يمكنك من خلاله التحقق من صفحة معينة لمشاكل التصيير. ستشاهد هناك مثالاً لكيفية إدراك Google صفحتك. إذا بدت عارية أو مكسورة بينما الصفحة في المتصفح الخاص بك تبدو جيدة، فهذا مؤشر واضح على أن شيئاً ما يحدث خطأ عند تحميل CSS أو JavaScript أو الصور.

إذا كنت تشك في ما إذا تم استبعاد مسار معين بشكل مقصود أو بالخطأ، فاستشر الشخص الذي بنى موقعك. بعض الحجب مقصود وحكيم، مثل حجب نتيجة بحث داخلية، وهو أمر نتناوله بشكل منفصل في صفحات نتائج البحث الداخلي على noindex. إلا أن حجبًا آخر هو ببساطة أخطاء من إعدادات افتراضية لم يتم مراجعتها قط.

تكلفة عدم ترتيب هذا الأمر

إذا كانت robots.txt تحجب مسارات مهمة، فأنت تغلق أجزاء من موقعك أمام Google دون أن تلاحظ ذلك. قد تكون صفحات المنتجات أو مقالات المدونة أو حتى الموقع بأكمله بعد الانتقال إلى نظام جديد. يحدث هذا في كثير من الأحيان أكثر مما يعتقد الناس، خاصة بعد تجديد الموقع، حيث يتبقى إعداد كان مقصودًا للبيئة الاختبارية عن طريق الخطأ على الموقع الفعلي.

المشكلة الخادعة هي أنك لا تلاحظ شيئًا في استخدامك اليومي للموقع. الصفحات تحمل ببساطة، والزوار الذين يحصلون على الرابط مباشرة يمكنهم الوصول إليها. فقط حركة المرور من محركات البحث تجف ببطء، دون سبب واضح. يبحث العديد من رواد الأعمال عن السبب في المحتوى أو المنافسة، بينما المشكلة في ملف تقني لم يفتحوه قط.

عندما يتم حجب CSS و JavaScript فقط، يكون التأثير أكثر دقة لكن ليس أقل ضررًا. صفحاتك تبقى قابلة للعثور عليها، لكن Google تقيمها على أساس صورة غير كاملة. النص الذي يتم تحميله بواسطة البرنامج النصي قد لا يتم حسابه. صفحة تبدو جيدة بالنسبة لك، يتم تقييمها من قبل Google على أنها فقيرة في المحتوى، مع كل العواقب على موضعك في نتائج البحث.

الإصلاح عادة ليس مسألة أشهر من العمل. غالبًا ما يتعلق الأمر بتعديل بضعة أسطر في ملف. النقطة هي أنك يجب أن تتعرف على المشكلة أولاً. بدون تحكم، قد تبقى الحجب غير معترف بها لسنوات، ببساطة لأن لا أحد نظر إليها مرة أخرى بعد آخر تعديل للموقع.

ما الذي يجب أن يحدث لترتيب هذا الأمر

الفرضية بسيطة: robots.txt يجب أن يحجب فقط المسارات التي تريد استبعادها بشكل مقصود، مثل صفحة تسجيل دخول المسؤول أو سلة تسوق لا يجب أن تظهر في نتائج البحث على الإطلاق. كل شيء يساهم في كيفية ظهور الصفحة أو عملها يجب أن يبقى في متناول اليد. هذا هو المبدأ الكامل وراء نقطة التحكم هذه: عدم الإغلاق احتياطيًا، بل الإغلاق المستهدف عند الضرورة.

اطلب فحص هذا الملف كجزء من نظرة عامة أوسع على ما يجب فهرسته وما لا يجب. هذه النظرة العامة، مصفوفة الفهرسة لكل نوع صفحة، تحدد خريطة الطريق لصفحاتك المرئية أمام Google والصفحات المستبعدة بشكل مقصود، كما نشرح في مصفوفة الفهرسة لكل نوع صفحة. Robots.txt هو الأداة التي يتم بها تنفيذ هذه الخيارات، وليس المكان الذي يتم فيه التفكير فيها.

تحقق من هذا الملف ليس فقط عند بناء الموقع، بل أيضًا بعد أي تغيير كبير: الانتقال إلى نظام آخر، بناء موقع جديد، أو إعادة هيكلة الموقع. هذه هي بالضبط اللحظات التي يتم فيها نقل الإعدادات عن طريق الخطأ من بيئة الاختبار. التحقق السريع بعد ذلك يمنع الإعداد المؤقت من أن يصبح دائمًا.

تذكر أيضًا أن robots.txt لا يعمل بمعزل عن الآخرين. فهو مرتبط ارتباطًا وثيقًا بالإشارات الأخرى التي تعطيها لـ Google، مثل الرمز على مستوى الصفحة عبر علامة noindex، والذي تم مناقشته بمزيد من التفاصيل في noindex عبر meta robots أو X-Robots-Tag. يجب ألا يتعارض كلاهما. لا يجب فتح صفحة تريد عرضها من خلال قناة واحدة وحجبها مرة أخرى من خلال قناة أخرى.