آیا گوگل واقعاً می‌تواند وب‌سایت شما را ببیند؟

این فایل دقیقاً چیست

هر وب‌سایتی دارد یا باید داشته باشد فایلی به نام robots.txt. شما می‌توانید آن را با تایپ کردن /robots.txt بعد از نام دامنه‌تاน پیدا کنید، مثلاً uwbedrijf.nl/robots.txt. این فایل اولین چیزی است که گوگل قبل از بررسی سایت شما می‌خواند. آن به صورت متن ساده نوشته شده و به موتورهای جستجو می‌گوید که کدام بخش‌های سایت را می‌توانند و نمی‌توانند بازدید کنند.

شما می‌توانید این را با یک تابلو در ورودی ساختمان مقایسه کنید. برخی درها باز هستند، برخی دیگر با یک نوت ساده بسته‌اند. مشکل این است که شرکت‌ها گاهی اوقات به طور تصادفی نوت غلط را آویزان می‌کنند. به جای بستن یک درب عقبی، کل ساختمان را برای بازدیدکنندگان می‌بندند، از جمله اتاق‌های مهم.

علاوه بر مسیرهایی که می‌توانند یا نمی‌توانند بازدید شوند، موضوع ظریف‌تری نیز وجود دارد: فایل‌هایی که صفحه را می‌سازند. به CSS فکر کنید، که برای قالب‌بندی است، و JavaScript، که برای حرکت و تعامل روی صفحه است. اگر robots.txt این فایل‌ها را مسدود کند، گوگل می‌تواند صفحه را بازدید کند، اما نمی‌تواند به خوبی آن را ببیند. سپس یک نسخه لخت و شکسته‌شده‌ی سایت شما را می‌بیند.

این به طور تنگاتنگی با یک نقطه کنترل دیگر مرتبط است: آیا محتوای اصلی شما بدون JavaScript نیز قابل دسترس است، همانطور که ما در محتوای اصلی بدون JavaScript قابل دسترس است توضیح می‌دهیم. هر دو نقطه درباره همان سؤال است: آیا گوگل می‌تواند صفحه شما را مثل بازدیدکننده ببیند، یا گوگل یک تصویر ناقص دریافت می‌کند که خراب امتیاز می‌گیرد.

چرا این بیش از یک جزئیات تکنیکی است

گوگل از فرآیندی استفاده می‌کند که rendering نامیده می‌شود: موتور جستجو در واقع صفحه شما را بازسازی می‌کند، دقیقاً مثل مرورگر، تا ببیند بازدیدکننده واقعاً چه می‌بیند. این تنها در صورتی ممکن است که گوگل به تمام بخش‌های مورد نیاز برای آن دسترسی داشته باشد. اگر CSS یا JavaScript مسدود باشد، گوگل صفحه‌ای لخت بدون قالب‌بندی، بدون منو، گاهی اوقات بدون متنی که با اسکریپت‌ها بارگیری می‌شود می‌بیند.

نتیجه این است که گوگل اشتباه تخمین می‌زند که صفحه شما درباره چه است. صفحه‌ای که برای بازدیدکنندگان خوب به نظر می‌رسد، می‌تواند برای گوگل نامفهوم یا خالی به نظر رسد. این مسئله‌ای درباره امتیاز کمی کمتر نیست. این مسئله‌ای درباره عدم درج است، حالی که شما هیچ اشتباهی در خود محتوا نکردید.

تفاوتی بین صفحه‌ای که وجود ندارد و صفحه‌ای که وجود دارد اما غیرقابل دسترس شده‌است وجود دارد. این همچنین به نقاط دیگری در فهرست اندازه‌گیری ما مربوط می‌شود، مثل اینکه آیا صفحه‌ی حذف‌شده به طور صحیح وضعیت 404 را برمی‌گرداند، همانطور که ما در خود صفحه‌ی 404 مفید است بحث می‌کنیم. در هر دو مورد، این درباره وضوح است: به گوگل نشان دهید که چه چیز قصد شده است و چه چیز قصد نشده است تا پیدا شود.

چگونه شما می‌توانید بررسی کنید که آیا همه‌چیز صحیح است

نام دامنه شما را بعد از آن /robots.txt را در نوار آدرس مرورگر خود تایپ کنید. فهرستی ساده از قوانین ظاهر می‌شود، معمولاً با کلمات مانند 'Disallow' به دنبال آن یک مسیر. Disallow به معنی: این مسیر نباید بازدید شود. بررسی کنید که آیا چیزی وجود دارد که انتظار نداشتید، مثل یک اسلش به تنهایی، که به معنی مسدود کردن کل سایت است.

به ویژه به قوانینی توجه کنید که به پوشه‌هایی با نام‌های /wp-content/، /assets/، /css/ یا /js/ اشاره می‌کنند. اینها غالباً دقیقاً پوشه‌هایی هستند که قالب‌بندی و تعامل سایت شما در آنها است. اگر آنها مسدود باشند، احتمال زیادی وجود دارد که گوگل صفحات شما را به خوبی رندر نکند، حتی اگر بقیه فایل بی‌ضرر به نظر برسد.

Google Search Console، یک سرویس رایگان گوگل برای صاحبان وب‌سایت، دارای آزمایشی است که می‌توانید یک صفحه خاص را برای مشکلات rendering بررسی کنید. در آنجا می‌توانید نمونه‌ای از نحوه درک گوگل از صفحه شما ببینید. اگر آن لخت یا شکسته به نظر برسد حالی که صفحه در مرورگر شما خوب به نظر می‌رسد، این یک سیگنال واضح است که مشکلی در بارگیری CSS، JavaScript یا تصاویر وجود دارد.

اگر در مورد اینکه یک مسیر خاص عمداً یا تصادفی제외 شده است تردید دارید، با کسی که وبسایت شما را ساخته است مشورت کنید. برخی از مسدودیت‌ها عمدی و معقول هستند، مانند بسته کردن یک نتیجه جستجوی داخلی، چیزی که ما در صفحات نتیجه جستجوی داخلی روی noindex جداگانه به آن می‌پردازیم. سایر مسدودیت‌ها صرفاً خطاهایی از یک تنظیم پیش‌فرض هستند که هرگز بررسی نشده‌اند.

هزینه این مشکل اگر برطرف نشود

اگر robots.txt مسیرهای مهمی را مسدود کند، بدون اینکه متوجه شوید، بخش‌هایی از وبسایت خود را برای Google بسته می‌کنید. اینها می‌توانند صفحات محصول، مقالات وبلاگ، یا حتی کل سایت پس از انتقال به سیستم جدید باشند. این اتفاق بیشتر از آنچه مردم فکر می‌کنند اتفاق می‌افتد، به خصوص پس از تازه‌سازی وبسایت، که تنظیمی که برای محیط آزمایش در نظر گرفته شده بود به طور تصادفی روی سایت واقعی باقی می‌ماند.

نکته زیان‌بار این است که در استفاده روزانه از سایت هیچ‌چیز را متوجه نمی‌شوید. صفحات به سادگی بارگذاری می‌شوند، بازدیدکنندگانی که پیوند را مستقیم دریافت می‌کنند هنوز هم می‌توانند به آن دسترسی داشته باشند. تنها ترافیک از طریق موتورهای جستجو به آرامی کاهش می‌یابد، بدون دلیل واضح. بسیاری از کارآفرینان سپس علت را در محتوا یا رقابت می‌جویند، حال آنکه مشکل در یک فایل فنی است که هرگز آن را باز نکرده‌اند.

وقتی فقط CSS و JavaScript مسدود هستند، اثر تغییر ظریف‌تر اما کم‌تر مؤثر نیست. صفحات شما همچنان قابل یافتن هستند، اما Google آن‌ها را بر اساس تصویری ناقص ارزیابی می‌کند. متنی که توسط یک اسکریپت بارگذاری می‌شود، شاید در نظر گرفته نمی‌شود. صفحه‌ای که برای شما کاملاً خوب به نظر می‌رسد، توسط Google به عنوان کم‌محتوا ارزیابی می‌شود، با تمام پیامدهایی برای موقعیت شما در نتایج جستجو.

ترمیم معمولاً مسئله ماه‌ها کار نیست. اغلب اوقات، این مسئله تنظیم چند خط در یک فایل است. نکته اینجاست که ابتدا باید مشکل را تشخیص دهید. بدون بررسی، یک مسدودیت گاهی برای سال‌ها بدون توجه باقی می‌ماند، صرفاً به این دلیل که کسی پس از آخرین تعدیل سایت دیگر به آن نگاه نکرده است.

آنچه باید انجام شود تا این مشکل برطرف شود

نقطه شروع ساده است: robots.txt فقط می‌تواند مسیرهایی را مسدود کند که عمداً می‌خواهید از آن‌ها حذف کنید، مانند صفحه ورود برای مدیران یا سبد خریدی که هرگز نباید در نتایج جستجو ظاهر شود. هرچیزی که به نحوه ظاهر یا کارکرد صفحه کمک می‌کند، باید دسترسی‌پذیر باقی بماند. این کل اصل پشت این نقطه کنترل است: عدم انجام کار از احتیاط، بلکه هدفمند بسته کردن جایی که لازم است.

این فایل را به عنوان بخشی از یک بررسی گسترده‌تر از آنچه که باید و نباید ایندکس شود، کنترل کنید. آن بررسی، یک ماتریس ایندکس‌کاری برای هر نوع صفحه، نقشه‌برداری می‌کند کدام صفحات باید برای Google قابل‌دیدن باشند و کدام‌ها عمداً نه، مانند آنچه در ماتریس ایندکس‌کاری برای هر نوع صفحه توضیح می‌دهیم. Robots.txt سپس ابزاری است که با آن این انتخاب‌ها اجرا می‌شوند، نه جایی که این انتخاب‌ها انجام می‌شوند.

این فایل را نه تنها هنگام ساخت سایت، بلکه پس از هر تغییر بزرگ کنترل کنید: انتقال به سیستم دیگری، یک سازنده وبسایت جدید، یا بازسازی ساختار سایت. اینها دقیقاً لحظه‌هایی هستند که تنظیمات به طور تصادفی از محیط آزمایش منتقل می‌شوند. یک بررسی کوتاه بعداً جلوگیری می‌کند که یک تنظیم موقتی دائمی شود.

همچنین به یاد داشته باشید که robots.txt تنهایی نیست. با سایر سیگنال‌هایی که به Google می‌دهید، مانند دستورالعملی در سطح صفحه از طریق یک برچسب noindex تنگ‌ تنیدگی دارد، درباره آن‌چه در noindex از طریق meta robots یا X-Robots-Tag بیشتر است. هر دو نباید با یکدیگر تناقض داشته باشند. صفحه‌ای که می‌خواهید نشان دهید نباید از یک طریق باز شود و از طریق دیگر مسدود باشد.