Чи може Google дійсно побачити вашу вебсайт?

Що насправді є цим файлом

Кожна вебсайт має, або повинна мати, файл з назвою robots.txt. Ви знайдете його, введення за назвою вашого домену /robots.txt, наприклад uwbedrijf.nl/robots.txt. Цей файл — перший, який читає Google перед тим, як переглядати вашу сайт. Він написаний звичайним текстом і говорить пошуковим машинам, які частини сайту вони можуть відвідувати, а які ні.

Ви можете порівняти його з табличкою при вході до будівлі. Деякі двері відчинені, інші закриті простим листком. Проблема полягає в тому, що компанії іноді випадково вішають неправильну табличку. Замість того щоб закрити одну задню двір, вони закривають всю будівлю для відвідувачів, включаючи найважливіші кімнати.

Крім доріжок, які можна або не можна відвідувати, йдеться також про щось більш тонке: файли, які будують сторінку. Подумайте про CSS, що забезпечує форматування, та JavaScript, що забезпечує рух та взаємодію на сторінці. Якщо robots.txt блокує ці файли, Google може відвідати сторінку, але не може її гарно побачити. Тоді він бачить голу, пошкоджену версію вашої сайту.

Це тісно пов'язано з іншою контрольною точкою: чи ваш основний вміст доступний без JavaScript, як ми пояснюємо в основний вміст доступний без JavaScript. Обидві точки стосуються одного й того самого питання: чи може Google побачити вашу сторінку так, як її бачить відвідувач, чи Google отримує неповне уявлення, яке погано оцінюється.

Чому це більш ніж технічна деталь

Google використовує процес, який називається рендерингом: пошукова машина по суті перебудовує вашу сторінку саме так, як це робить браузер, щоб побачити, що насправді бачить відвідувач. Це можливо лише якщо Google має доступ до всіх компонентів, необхідних для цього. Якщо CSS або JavaScript заблоковані, Google бачить голу сторінку без форматування, без меню, іноді без тексту, який завантажується скриптами.

Результат полягає в тому, що Google неправильно оцінює, про що йде мова на вашій сторінці. Сторінка, яка виглядає чудово для відвідувачів, може здатися Google незрозумілою або порожньою. Це не питання трохи гіршої оцінки. Це питання того, що вас не беруть до уваги, хоча ви нічого не робили неправильно в самому вмісту.

Є різниця між сторінкою, яка не існує, та сторінкою, яка існує, але стала недоступною. Це також торкається інших пунктів у нашому списку перевірки, таких як питання про те, чи видалена сторінка правильно повертає статус 404, як ми обговорюємо в сама сторінка 404 є корисною. В обох випадках йдеться про ясність: покажіть Google, що має та що не має бути знайдено.

Як ви можете самі перевірити, чи все в порядку у вас

Введіть назву вашого домену з /robots.txt в адресний рядок вашого браузера. З'явиться простий список правил, як правило, зі словами на кшталт 'Disallow', за якими йде шлях. Disallow означає: цей шлях не можна відвідувати. Перевірте, чи немає там чогось несподіваного, наприклад самої косої риски, що означає, що весь сайт закритий.

Особливо звертайте увагу на правила, які посилаються на папки з назвами, такими як /wp-content/, /assets/, /css/ або /js/. Це часто саме ті папки, де знаходиться форматування та взаємодія вашої сайту. Якщо вони заблоковані, то велика ймовірність того, що Google не зможе правильно відображати ваші сторінки, навіть якщо решта файлу виглядає невинною.

Google Search Console, безплатний сервіс Google для власників вебсайтів, має тест, за допомогою якого ви можете перевірити конкретну сторінку на проблеми рендерингу. Там ви бачите приклад того, як Google сприймає вашу сторінку. Якщо це виглядає голо або пошкоджено, а сторінка у вашому браузері виглядає чудово, то це чіткий сигнал того, що щось йде не так при завантаженні CSS, JavaScript або зображень.

Якщо ви сумніваєтесь, чи був певний шлях навмисне виключений або випадково, проконсультуйтеся з тим, хто будував вашу веб-сайт. Деякі блокування є свідомими і розумними, як закриття внутрішнього результату пошуку, що ми розглядаємо окремо на сторінках результатів внутрішнього пошуку на noindex. Інші блокування — це просто помилки зі стандартних налаштувань, які ніколи не були перевірені.

Що це коштує, якщо це не в порядку

Якщо robots.txt блокує важливі шляхи, ви без ведення частини свого сайту для Google. Це можуть бути сторінки товарів, статті блогу або навіть весь сайт після переходу на нову систему. Це трапляється частіше, ніж люди думають, особливо після оновлення веб-сайту, коли налаштування, призначене для тестового середовища, випадково залишається на справжньому сайті.

Коварство полягає в тому, що ви нічого цього не помічаєте у щоденному використанні сайту. Сторінки просто завантажуються, відвідувачі, які отримують прямий лінк, можуть туди потрапити. Тільки трафік із пошукових систем повільно припиняється без явної причини. Багато підприємців тоді шукають причину в змісту або конкуренції, тоді як проблема лежить у технічному файлі, який вони ніколи не відкривали.

Коли заблоковані тільки CSS і JavaScript, ефект більш тонкий, але не менш шкідливий. Ваші сторінки залишаються видимими, але Google оцінює їх на основі неповної картини. Текст, який завантажується скриптом, можливо, не враховується. Сторінка, яка для вас виглядає чудово, оцінюється Google як бідна на вміст, з усіма наслідками для вашої позиції в результатах пошуку.

Исправка зазвичай не є питанням місяців роботи. Часто йдеться про коригування кількох рядків у файлі. Справа в тому, що ви спочатку повинні розпізнати проблему. Без контролю блокування інколи залишається непоміченим протягом років, просто тому що ніхто на нього більше не дивився після останнього оновлення сайту.

Що потрібно зробити, щоб привести це в порядок

Принцип простий: robots.txt може блокувати лише шляхи, які ви свідомо хочете виключити, як сторінка входу для адміністраторів або кошик покупок, який ніколи не повинен з'являтися в результатах пошуку. Все, що сприяє тому, як виглядає або працює сторінка, повинно залишатися доступним. Це весь принцип цієї контрольної точки: не зашивати для перестраховки, а цільово закривати там, де це необхідно.

Зробіть перевірку цього файлу як частину ширшого огляду того, що повинно бути проіндексовано, а що ні. Цей огляд, матриця індексації за типом сторінки, визначає, які сторінки повинні бути видимі для Google і які навмисно ні, як ми пояснюємо в матриці індексації за типом сторінки. Robots.txt є тоді інструментом, за допомогою якого ці вибори виконуються, а не місцем, де ці вибори обговорюються.

Перевіряйте цей файл не тільки під час будівництва сайту, але й після кожної великої зміни: переходу на іншу систему, нового конструктора веб-сайтів або реструктуризації сайту. Це саме моменти, коли налаштування випадково переносяться з тестового середовища. Коротка перевірка після завершення запобігає тому, щоб тимчасове налаштування не стало постійним.

Пам'ятайте також, що robots.txt не існує сама по собі. Вона тісно пов'язана з іншими сигналами, які ви надаєте Google, як інструкція на рівні сторінки через noindex-тег, про яку йдеться в noindex через meta robots або X-Robots-Tag. Обидва не повинні суперечити один одному. Сторінка, яку ви хочете показати, не повинна розкриватися через один канал і все ще блокуватися через інший.