Може ли Google наистина да вижда вашия уебсайт?

Какво е всъщност този файл

Всеки уебсайт има или би трябвало да има файл с име robots.txt. Намирате го, като напишете /robots.txt след вашето доменно име, например uwbedrijf.nl/robots.txt. Този файл е първия, който Google чита, преди да вижда вашия сайт. Той е написан на обикновен текст и казва на търсачките кои части на сайта могат и не могат да посетят.

Можете да го сравните с табела при входа на сграда. Някои врати са отворени, други са затворени с просто бележка. Проблемът е, че компаниите понякога случайно вешт грешната бележка. Вместо да затворят една задна врата, затварят цялата сграда за посетителей, включително най-важните помещения.

Освен пътищата, които могат или не могат да бъдат посетени, има и нещо по-тънко: файловете, които изграждат страницата. Мислете за CSS, което отговаря за форматирането, и JavaScript, който отговаря за движението и интерактивността на страницата. Ако robots.txt блокира тези файлове, Google може да посети страницата, но не може да я вижда правилно. Тогава вижда един голо, счупена версия на вашия сайт.

Това е тясно свързано с друга контролна точка: дали вашето основно съдържание е достъпно и без JavaScript, както обясняваме при основното съдържание е достъпно без JavaScript. И двете точки говорят за един и същ въпрос: може ли Google да вижда вашата страница както я вижда един посетител, или Google получава непълна картина, която се оценява слабо.

Защо това е повече от един технически детайл

Google използва процес, наречен рендериране: търсачката всъщност пресъздава вашата страница, точно както би направил браузър, за да вижда какво наистина вижда един посетител. Това може да се случи само ако Google може да имам достъп до всички компоненти, необходими за това. Ако CSS или JavaScript е блокиран, Google вижда голо страница без форматиране, без меню, понякога без текста, който се зарежда със скриптове.

Последствието е, че Google неправилно оценява за какво е вашата страница. Една страница, която изглежда добре за посетителя, може да изглежда неразбираема или празна за Google. Това не е въпрос на малко по-слаба оценка. Това е въпрос на немае да бъде включена, докато вие не направихте нищо грешно с самото съдържание.

Има разлика между страница, която не съществува, и страница, която съществува, но е направена недостъпна. Това засяга и други точки в нашия списък за проверка, както например дали една изтрита страница правилно връща статус 404, както обясняваме при страницата 404 в себе си е полезна. И в двата случая е въпрос на яснота: покажете на Google какво е предназначено да бъде намерено и какво не е.

Как да проверите сами дали е наред при вас

Напишете вашето доменно име, последвано от /robots.txt в адресната лента на вашия браузър. Появява се един прост списък с правила, обикновено с думи като 'Disallow', последвани от път. Disallow означава: този път не може да бъде посетен. Проверете дали там има нещо, което не очаквате, както например една наклонена черта сама, което означава, че целия сайт е затворен.

Обърнете особено внимание на правилата, които се отнасят до папки с имена като /wp-content/, /assets/, /css/ или /js/. Това са често точно папките, където се намира форматирането и интерактивността на вашия сайт. Ако те са блокирани, има голяма вероятност Google да не може правилно да визуализира вашите страници, дори и останалата част на файла да изглежда невинна.

Google Search Console, един безплатна услуга на Google за собственици на уебсайтове, има един тест, с който можете да проверите една конкретна страница за проблеми при рендериране. Там виждате един пример за това как Google възприема вашата страница. Ако там изглежда голо или счупено, докато страницата в вашия браузър изглежда добре, то това е един ясен сигнал, че нещо не е наред при зареждането на CSS, JavaScript или изображения.

Ако се съмнявате дали определен път е умишлено изключен или по случайност, консултирайте се със съответния отговорен за изграждането на вашия уебсайт. Някои блокирания са умишлени и разумни, като затварянето на резултат от вътрешно търсене, което обсъждаме отделно при страниците с резултати от вътрешно търсене на noindex. Други блокирания са просто грешки, произтичащи от стандартна конфигурация, която никога не е била преглеждана.

Какво струва, ако това не е в ред

Ако robots.txt блокира важни пътища, затваряте без да осъзнавате части от вашия сайт за Google. Това могат да бъдат страниците на продукти, статии в блога или дори целия сайт след преместване в нова система. Това се случва по-често, отколкото люде мислят, особено след актуализация на уебсайта, когато настройка, предназначена за тестовата среда, остава случайно на реалния сайт.

Хитрото е, че не забелязвате нищо при ежедневното си използване на сайта. Страниците просто се зареждат, а посетителите, които получат връзката директно, могат да я отворят. Само трафикът от търсачките се намалява бавно, без явна причина. Много предприемачи търсят причината в съдържанието или конкуренцията, докато проблемът се крие в технически файл, който никога не са отваряли.

Когато само CSS и JavaScript са блокирани, ефектът е по-фин, но не по-малко вреден. Вашите страници остават видими, но Google ги оценява на базата на непълна картина. Текст, който се зарежда чрез скрипт, може да не се брои. Страница, която изглежда перфектна за вас, се оценява от Google като бедна на съдържание, със всички последствия за вашата позиция в резултатите от търсенето.

Отстраняването обикновено не е въпрос на месеци работа. Често е въпрос на коригирането на няколко реда в файл. Въпросът е, че първо трябва да разпознаете проблема. Без проверка, блокирането понякога остава незабелязано в продължение на години, просто защото никой не го е разглеждал, след като сайтът е бил последният път модифициран.

Какво трябва да се направи, за да се улади това

Основният принцип е прост: robots.txt трябва да блокира само пътищата, които умишлено искате да изключите, като страница за влизане на администратори или пазарска кошница, която все едно не трябва да се появи в резултатите от търсенето. Всичко, което допринася към начина, по който страницата изглежда или работи, трябва да остане достъпно. Това е целия смисъл на това контролна точка: не заграждайте превантивно, а целенасочено затваряйте, където е необходимо.

Оставете този файл да бъде проверен като част от по-широк преглед на това, което трябва и не трябва да бъде индексирано. Този преглед, матрица на индексирането по тип страница, определя кои страници трябва да бъдат видими за Google и кои намерено не, както обясняваме при матрица на индексирането по тип страница. Robots.txt е тогава инструментът, с който се изпълняват тези избори, не място, където се вземат.

Проверявайте този файл не само при изграждането на сайта, но и след всяка голяма промяна: преместване в друга система, нов конструктор на уебсайтове или преструктуриране на сайта. Именно в тези моменти настройките се пренасят по случайност от тестовата среда. Кратка последващо проверка предотвратява временна настройка да стане постоянна.

Помислете също, че robots.txt не е самостоятелен. Той е тясно свързан с други сигнали, които давате на Google, като инструкция на ниво страница чрез етикет noindex, за което повече при noindex чрез meta robots или X-Robots-Tag. И двете не трябва да си противоречат. Страница, която искате да покажете, не трябва да отворена чрез един канал и все още да бъде блокирана чрез другия.