Μπορεί το Google να δει πραγματικά τον ιστότοπό σας;

Τι είναι λοιπόν αυτό το αρχείο

Κάθε ιστότοπος έχει, ή θα έπρεπε να έχει, ένα αρχείο με το όνομα robots.txt. Το βρίσκετε πληκτρολογώντας /robots.txt μετά το όνομα τομέα σας, για παράδειγμα uwbedrijf.nl/robots.txt. Αυτό το αρχείο είναι το πρώτο που διαβάζει το Google πριν εξετάσει τον ιστότοπό σας. Υπάρχει σε απλό κείμενο και λέει στις μηχανές αναζήτησης ποια μέρη του ιστότοπου επιτρέπεται και ποια δεν επιτρέπεται να επισκεφθούν.

Μπορείτε να το συγκρίνετε με μια πινακίδα στην είσοδο ενός κτιρίου. Μερικές πόρτες είναι ανοιχτές, άλλες είναι κλειστές με ένα απλό σημειωματάριο. Το πρόβλημα είναι ότι τα επιχειρήματα μερικές φορές κρεμάνε κατά λάθος το λάθος σημειωματάριο. Αντί να κλείσουν μια πίσω πόρτα, κλείνουν ολόκληρο το κτίριο για τους επισκέπτες, συμπεριλαμβανομένων των πιο σημαντικών χώρων.

Εκτός από τις διαδρομές που επιτρέπεται ή δεν επιτρέπεται να επισκεφθούν, πρόκειται επίσης για κάτι πιο λεπτό: τα αρχεία που δημιουργούν τη σελίδα. Σκεφτείτε CSS, που φροντίζει τη μορφοποίηση, και JavaScript, που φροντίζει την κίνηση και την αλληλεπίδραση στη σελίδα. Εάν το robots.txt μπλοκάρει αυτά τα αρχεία, το Google μπορεί να επισκεφθεί τη σελίδα, αλλά δεν μπορεί να τη δει καλά. Τότε βλέπει μια γυμνή, ελαττωματική έκδοση του ιστότοπού σας.

Αυτό σχετίζεται στενά με ένα άλλο σημείο ελέγχου: εάν το κύριο περιεχόμενό σας είναι επίσης προσβάσιμο χωρίς JavaScript, όπως εξηγούμε το κύριο περιεχόμενο είναι προσβάσιμο χωρίς JavaScript. Και τα δύο σημεία αφορούν το ίδιο ερώτημα: μπορεί το Google να δει τη σελίδα σας όπως την βλέπει ένας επισκέπτης, ή το Google παίρνει μια ελλιπή εικόνα που σκοράρει κακώς.

Γιατί αυτό είναι περισσότερο από μια τεχνική λεπτομέρεια

Το Google χρησιμοποιεί μια διαδικασία που ονομάζεται απόδοση: η μηχανή αναζήτησης ουσιαστικά αναδημιουργεί τη σελίδα σας, ακριβώς όπως θα έκανε ένα πρόγραμμα περιήγησης, για να δει τι βλέπει πραγματικά ένας επισκέπτης. Αυτό μπορεί να συμβεί μόνο εάν το Google επιτρέπεται να έχει πρόσβαση σε όλα τα συστατικά που είναι απαραίτητα για αυτό. Εάν το CSS ή το JavaScript είναι μπλοκαρισμένα, το Google βλέπει μια γυμνή σελίδα χωρίς μορφοποίηση, χωρίς μενού, μερικές φορές χωρίς το κείμενο που φορτώνεται με σενάρια.

Το αποτέλεσμα είναι ότι το Google κάνει λάθος υπολογισμό σχετικά με το θέμα της σελίδας σας. Μια σελίδα που φαίνεται καλή για τους επισκέπτες μπορεί να φαίνεται ακατανόητη ή άδεια για το Google. Δεν είναι θέμα να σκοράρετε λίγο χειρότερα. Είναι θέμα να μην συμπεριληφθείτε, ενώ δεν κάνατε τίποτα κακό στο ίδιο το περιεχόμενο.

Υπάρχει διαφορά μεταξύ μιας σελίδας που δεν υπάρχει και μιας σελίδας που υπάρχει αλλά έχει καταστεί απρόσιτη. Αυτό αφορά και άλλα σημεία στη λίστα μέτρησής μας, όπως το ερώτημα εάν μια διαγραμμένη σελίδα δίνει σωστά μια κατάσταση 404, όπως συζητάμε η ίδια η σελίδα 404 είναι χρήσιμη. Και στις δύο περιπτώσεις, πρόκειται για σαφήνεια: δείξτε στο Google τι προορίζεται και τι δεν προορίζεται να βρεθεί.

Πώς ελέγχετε μόνοι σας εάν όλα είναι εντάξει

Πληκτρολογήστε το όνομα του τομέα σας ακολουθούμενο από /robots.txt στη γραμμή διευθύνσεων του προγράμματος περιήγησής σας. Εμφανίζεται μια απλή λίστα κανόνων, συνήθως με λέξεις όπως "Disallow" ακολουθούμενη από μια διαδρομή. Το Disallow σημαίνει: αυτή η διαδρομή δεν επιτρέπεται να επισκεφθεί. Δείτε εάν υπάρχει κάτι που δεν περιμένετε, όπως μόνο μια κόμμα, που σημαίνει ότι ολόκληρος ο ιστότοπος έχει κλειστεί.

Προσέξτε ιδιαίτερα κανόνες που αναφέρονται σε φακέλους με ονόματα όπως /wp-content/, /assets/, /css/ ή /js/. Αυτοί είναι συχνά ακριβώς οι φάκελοι που περιέχουν τη μορφοποίηση και την αλληλεπίδραση του ιστότοπού σας. Εάν αυτοί είναι μπλοκαρισμένοι, τότε υπάρχει μεγάλη πιθανότητα το Google να μην μπορεί να αποδώσει καλά τις σελίδες σας, ακόμη και αν το υπόλοιπο αρχείο φαίνεται αθώο.

Η Google Search Console, μια δωρεάν υπηρεσία του Google για κατόχους ιστότοπων, διαθέτει μια δοκιμή με την οποία μπορείτε να ελέγξετε μια συγκεκριμένη σελίδα για προβλήματα απόδοσης. Εκεί βλέπετε ένα παράδειγμα του τρόπου που το Google αντιλαμβάνεται τη σελίδα σας. Εάν αυτό φαίνεται γυμνό ή ελαττωματικό ενώ η σελίδα φαίνεται καλή στο πρόγραμμα περιήγησής σας, τότε αυτό είναι ένα ξεκάθαρο σήμα ότι κάτι δεν πάει καλά κατά τη φόρτωση CSS, JavaScript ή εικόνων.

Αν αμφιβάλλετε αν ένα συγκεκριμένο μονοπάτι έχει αποκλειστεί σκόπιμα ή κατά λάθος, συμβουλευτείτε τον ή την που έχει κατασκευάσει τον ιστότοπό σας. Ορισμένες αποκλείσεις είναι σκόπιμες και συνετές, όπως το κλείσιμο ενός εσωτερικού αποτελέσματος αναζήτησης, κάτι που αναλύουμε χωριστά σε σελίδες αποτελεσμάτων εσωτερικής αναζήτησης με noindex. Άλλες αποκλείσεις είναι απλώς σφάλματα από μια προεπιλεγμένη ρύθμιση που δεν έχει ποτέ ελεγχθεί.

Ποιο είναι το κόστος εάν αυτό δεν είναι σωστό

Εάν το robots.txt αποκλείει σημαντικά μονοπάτια, κλείνετε χωρίς να το καταλαβαίνετε μέρη του ιστότοπού σας από το Google. Αυτές μπορεί να είναι σελίδες προϊόντων, άρθρα ιστολογίου ή ακόμη και ολόκληρη η σελίδα μετά από μετακόμιση σε ένα νέο σύστημα. Αυτό συμβαίνει συχνότερα από ό,τι νομίζουν οι άνθρωποι, ειδικά μετά από ανανέωση ιστότοπου, όταν μια ρύθμιση που προορίζονταν για το περιβάλλον δοκιμής παραμένει κατά λάθος στον πραγματικό ιστότοπο.

Το ύπουλο είναι ότι δεν παρατηρείτε τίποτα στη καθημερινή χρήση του ιστότοπου. Οι σελίδες φορτώνονται απλώς, οι επισκέπτες που λαμβάνουν το σύνδεσμο άμεσα μπορούν ακόμα να τον προσπελάσουν. Μόνο η κυκλοφορία από τις μηχανές αναζήτησης στερεύεται αργά, χωρίς σαφή αιτία. Πολλοί επιχειρηματίες αναζητούν τότε το αίτιο στο περιεχόμενο ή στον ανταγωνισμό, ενώ το πρόβλημα κρύβεται σε ένα τεχνικό αρχείο που δεν έχουν ποτέ ανοίξει.

Όταν αποκλείονται μόνο CSS και JavaScript, το αποτέλεσμα είναι λεπτότερο αλλά όχι λιγότερο επιβλαβές. Οι σελίδες σας παραμένουν ανακαλύψιμες, αλλά το Google τις αξιολογεί με βάση μια ελλιπή εικόνα. Το κείμενο που φορτώνεται μέσω δέσμης ενεργειών μπορεί να μην υπολογίζεται. Μια σελίδα που σας φαίνεται εξαιρετική, αξιολογείται από το Google ως φτωχή στο περιεχόμενο, με όλες τις συνέπειες για τη θέση σας στα αποτελέσματα αναζήτησης.

Η επιδιόρθωση συνήθως δεν είναι θέμα μηνών εργασίας. Συχνά πρόκειται για μερικές γραμμές προσαρμογής σε ένα αρχείο. Το θέμα είναι ότι πρέπει πρώτα να αναγνωρίσετε το πρόβλημα. Χωρίς έλεγχο, μια αποκλειστική ρύθμιση μπορεί μερικές φορές να παραμείνει αδιάφορη για χρόνια, απλώς επειδή κανείς δεν την εξέτασε ξανά αφού τροποποιήθηκε ο ιστότοπος.

Τι πρέπει να γίνει για να τα βάλετε σε τάξη

Το σημείο αναφοράς είναι απλό: το robots.txt πρέπει να αποκλείει μόνο τα μονοπάτια που θέλετε σκόπιμα να αποκλείσετε, όπως μια σελίδα σύνδεσης για διαχειριστές ή ένα καλάθι αγορών που δεν θα πρέπει ποτέ να εμφανίζεται στα αποτελέσματα αναζήτησης. Όλα όσα συμβάλλουν στο πώς φαίνεται ή λειτουργεί η σελίδα πρέπει να παραμείνουν προσβάσιμα. Αυτό είναι ολόκληρη η αρχή πίσω από αυτό το σημείο ελέγχου: να μην αποκλείσετε εξ επιφύλαξης, αλλά να κλείσετε με στόχο εκεί που είναι απαραίτητο.

Ζητήστε ένα έλεγχο αυτού του αρχείου ως μέρος ενός ευρύτερου απογραφής του τι πρέπει και τι δεν πρέπει να δεικτοδοτηθεί. Αυτή η απογραφή, ένας πίνακας ευρετηρίασης ανά τύπο σελίδας, χαρτογραφεί ποιες σελίδες πρέπει να είναι ορατές στο Google και ποιες σκόπιμα όχι, όπως εξηγούμε σε έναν πίνακα ευρετηρίασης ανά τύπο σελίδας. Το robots.txt είναι τότε το εργαλείο με το οποίο υλοποιούνται αυτές οι επιλογές, όχι ο χώρος όπου σκέπτονται αυτές οι επιλογές.

Ελέγξτε αυτό το αρχείο όχι μόνο κατά την κατασκευή του ιστότοπου, αλλά και μετά από κάθε σημαντική αλλαγή: μετακόμιση σε άλλο σύστημα, νέας δημιουργίας ιστότοπου ή αναδόμησης του ιστότοπου. Αυτές είναι ακριβώς οι στιγμές που οι ρυθμίσεις εκλαμβάνονται κατά λάθος από ένα περιβάλλον δοκιμής. Ένας σύντομος έλεγχος έπειτα αποτρέπει μια προσωρινή ρύθμιση να γίνει μόνιμη.

Έχετε κατά νου ότι το robots.txt δεν υπάρχει από μόνο του. Συνδέεται στενά με άλλα σήματα που δίνετε στο Google, όπως η ρύθμιση σε επίπεδο σελίδας μέσω ετικέτας noindex, για το οποίο υπάρχουν περισσότερα σε noindex μέσω meta robots ή X-Robots-Tag. Και τα δύο δεν πρέπει να έρχονται σε σύγκρουση. Μια σελίδα που θέλετε να εμφανιστεί δεν πρέπει να ανοιχθεί μέσω ενός καναλιού και ακόμη να αποκλειστεί μέσω του άλλου.