क्या Google आपकी वेबसाइट को वास्तव में देख सकता है?

वह फ़ाइल आखिर क्या है

प्रत्येक वेबसाइट के पास, या होना चाहिए, robots.txt नाम की एक फ़ाइल। आप इसे अपने डोमेन नाम के बाद /robots.txt टाइप करके खोज सकते हैं, उदाहरण के लिए uwbedrijf.nl/robots.txt। यह फ़ाइल वह पहली चीज है जो Google पढ़ता है इससे पहले कि वह आपकी साइट को देखे। यह सादे पाठ में है और सर्च इंजन को बताता है कि साइट के किन हिस्सों का वे दौरा कर सकते हैं और किन नहीं।

आप इसकी तुलना एक इमारत के प्रवेश द्वार पर एक साइन से कर सकते हैं। कुछ दरवाजे खुले हैं, अन्य एक साधारण नोट से बंद हैं। समस्या यह है कि कंपनियां कभी-कभी गलती से गलत नोट लगा देती हैं। एक पिछले दरवाजे को बंद करने के बजाय, वे पूरी इमारत को आगंतुकों के लिए बंद कर देते हैं, महत्वपूर्ण कमरों सहित।

जिन पथों को देखा जा सकता है या नहीं, उसके अलावा, यह एक अधिक सूक्ष्म चीज के बारे में भी है: वह फ़ाइलें जो पृष्ठ को बनाती हैं। CSS के बारे में सोचें, जो स्वरूपण के लिए है, और JavaScript, जो पृष्ठ पर गति और इंटरैक्शन के लिए है। यदि robots.txt उन फ़ाइलों को ब्लॉक करता है, तो Google पृष्ठ पर जा सकता है, लेकिन इसे ठीक से नहीं देख सकता। तब यह आपकी साइट का एक खाली, टूटा हुआ संस्करण देखता है।

यह एक अन्य नियंत्रण बिंदु से अलग नहीं है: क्या आपकी मुख्य सामग्री JavaScript के बिना भी सुलभ है, जैसा कि हम kernel content is accessible without JavaScript पर समझाते हैं। दोनों बिंदु एक ही सवाल के बारे में हैं: क्या Google आपके पृष्ठ को वैसे ही देख सकता है जैसे एक विज़िटर इसे देखता है, या क्या Google को एक अधूरी तस्वीर मिलती है जो खराब स्कोर करती है।

यह सिर्फ एक तकनीकी विवरण से अधिक क्यों है

Google एक प्रक्रिया का उपयोग करता है जिसे रेंडरिंग कहा जाता है: सर्च इंजन अनिवार्य रूप से आपके पृष्ठ को फिर से बनाता है, ठीक वैसे ही जैसे एक ब्राउज़र करता है, यह देखने के लिए कि एक विज़िटर को वास्तव में क्या दिखता है। यह केवल तभी संभव है जब Google सभी भागों तक पहुंच सकता है जो इसके लिए आवश्यक हैं। यदि CSS या JavaScript ब्लॉक किया गया है, तो Google एक खाली पृष्ठ देखता है बिना स्वरूपण के, बिना मेनू के, कभी-कभी बिना पाठ के जो स्क्रिप्ट के साथ लोड होता है।

परिणाम यह है कि Google गलत तरीके से अनुमान लगाता है कि आपका पृष्ठ किस बारे में है। एक पृष्ठ जो आगंतुकों के लिए बढ़िया दिखता है, Google के लिए समझहीन या खाली लग सकता है। यह बस थोड़ा कम अच्छी तरह से स्कोर करने का मामला नहीं है। यह बिल्कुल भी शामिल नहीं होने का मामला है, जबकि आपने खुद सामग्री में कुछ भी गलत नहीं किया।

एक पृष्ठ जो मौजूद नहीं है और एक पृष्ठ जो मौजूद है लेकिन दुर्गम बना दिया गया है, के बीच अंतर है। यह अन्य बिंदुओं को भी छूता है जो हमारी माप सूची में हैं, जैसे यह सवाल कि क्या एक हटाया गया पृष्ठ अच्छी तरह से एक 404-स्थिति वापस करता है, जैसा कि हम 404 page itself is helpful पर चर्चा करते हैं। दोनों मामलों में, यह स्पष्टता के बारे में है: Google को दिखाएं कि क्या खोजा जाना चाहता है और क्या नहीं।

आप स्वयं कैसे जांच सकते हैं कि यह आपके लिए क्रम में है

अपने ब्राउज़र के पता बार में अपने डोमेन नाम के बाद /robots.txt टाइप करें। नियमों की एक सरल सूची प्रकट होती है, आमतौर पर 'Disallow' जैसे शब्दों के साथ एक पथ के बाद। Disallow का मतलब है: इस पथ की यात्रा नहीं की जा सकती। जांचें कि क्या वहां कुछ है जो आप नहीं चाहते, जैसे एक स्लैश अकेला, जिसका मतलब है कि पूरी साइट बंद है।

विशेष रूप से उन नियमों पर ध्यान दें जो /wp-content/, /assets/, /css/ या /js/ जैसे नामों वाली निर्देशिकाओं का संदर्भ देते हैं। ये अक्सर ठीक वह निर्देशिकाएं हैं जहां आपकी साइट का स्वरूपण और इंटरैक्शन है। यदि वे ब्लॉक किए गए हैं, तो बहुत संभव है कि Google आपके पृष्ठों को सही तरीके से रेंडर नहीं कर सकता, भले ही फ़ाइल का बाकी हिस्सा निर्दोष लगे।

Google Search Console, वेबसाइट मालिकों के लिए Google की एक मुफ्त सेवा, में एक परीक्षण है जिसके साथ आप रेंडरिंग समस्याओं के लिए एक विशिष्ट पृष्ठ की जांच कर सकते हैं। आप वहां देख सकते हैं कि Google आपके पृष्ठ को कैसे मानता है। यदि यह खाली या टूटा हुआ दिखता है जबकि पृष्ठ आपके ब्राउज़र में बढ़िया दिखता है, तो यह एक स्पष्ट संकेत है कि CSS, JavaScript या छवियों को लोड करने में कुछ गलत हो रहा है।

यदि आप संदेह करते हैं कि कोई विशेष पथ जानबूझकर बाहर रखा गया है या गलती से, तो अपनी वेबसाइट बनाने वाले व्यक्ति से परामर्श लें। कुछ ब्लॉकेड जानबूझकर और समझदारी भरे हैं, जैसे आंतरिक खोज परिणाम को बंद करना, जिस पर हम आंतरिक खोज परिणाम पृष्ठों पर noindex पर अलग से चर्चा करते हैं। अन्य ब्लॉकेड बस एक डिफ़ॉल्ट सेटिंग से त्रुटियां हैं जो कभी नहीं देखी गई हैं।

यदि यह ठीक नहीं है तो इसकी कीमत क्या है

यदि robots.txt महत्वपूर्ण पथों को ब्लॉक करता है, तो आप बिना यह महसूस किए अपनी साइट के कुछ हिस्सों को Google के लिए बंद कर देते हैं। ये उत्पाद पृष्ठ हो सकते हैं, ब्लॉग लेख, या नई प्रणाली में स्थानांतरण के बाद पूरी साइट भी। यह लोगों को लगता है कि अधिक बार होता है, खासकर वेबसाइट नवीनीकरण के बाद, जहां परीक्षण वातावरण के लिए अभिप्रेत एक सेटिंग गलती से वास्तविक साइट पर रहती है।

खतरनाक बात यह है कि आप साइट के अपने दैनिक उपयोग में इसका कोई अहसास नहीं करते हैं। पृष्ठ बस लोड होते हैं, जो आगंतुक सीधा लिंक प्राप्त करते हैं वे अभी भी वहां जा सकते हैं। केवल खोज इंजन से आने वाली ट्रैफ़िक धीरे-धीरे सूख जाती है, बिना स्पष्ट कारण के। कई उद्यमी तब समस्या को सामग्री या प्रतिस्पर्धा में खोजते हैं, जबकि समस्या एक तकनीकी फ़ाइल में है जिसे उन्होंने कभी नहीं खोला है।

जब केवल CSS और JavaScript ब्लॉक किए गए हों, तो प्रभाव सूक्ष्म है लेकिन कम हानिकारक नहीं है। आपके पृष्ठ अभी भी खोजे जा सकते हैं, लेकिन Google उन्हें एक अधूरी तस्वीर के आधार पर आंकता है। स्क्रिप्ट द्वारा लोड किया गया टेक्स्ट शायद गिना नहीं जा सकता। एक पृष्ठ जो आपके लिए बिल्कुल ठीक लगता है, Google द्वारा कम सामग्री के साथ मूल्यांकन किया जाता है, जिसके आपकी खोज परिणामों में स्थिति के सभी परिणाम हैं।

मरम्मत आमतौर पर महीनों के काम का मामला नहीं है। अक्सर यह एक फ़ाइल में कुछ पंक्तियों को समायोजित करने के बारे में है। मुद्दा यह है कि आपको पहले समस्या को पहचानना होगा। बिना जांच के, एक ब्लॉकेड कभी-कभी वर्षों तक अनजाने में रहता है, बस इसलिए कि कोई साइट के अंतिम समायोजन के बाद इसे देखता नहीं रहा।

यह ठीक करने के लिए क्या किया जाना चाहिए

शुरुआती बिंदु सरल है: robots.txt केवल उन पथों को ब्लॉक कर सकता है जिन्हें आप सचेत रूप से बाहर रखना चाहते हैं, जैसे व्यवस्थापकों के लिए एक लॉगिन पृष्ठ या एक शॉपिंग कार्ट जो कभी भी खोज परिणामों में नहीं दिखना चाहिए। वह सब कुछ जो यह प्रभावित करता है कि पृष्ठ कैसा दिखता है या काम करता है, सुलभ रहना चाहिए। यह इस नियंत्रण बिंदु के पीछे की पूरी सिद्धांत है: सावधानी से सील न करें, बल्कि जहां आवश्यक हो वहां सचेत रूप से बंद करें।

इस फ़ाइल को उस बड़ी समीक्षा के हिस्से के रूप में जांचें जो यह निर्धारित करती है कि क्या अनुक्रमित होना चाहिए और क्या नहीं। यह समीक्षा, प्रति पृष्ठ प्रकार के लिए एक अनुक्रमण मैट्रिक्स, यह दर्शाता है कि कौन से पृष्ठ Google के लिए दृश्यमान होने चाहिए और कौन से सचेत रूप से नहीं, जैसा कि हम प्रति पृष्ठ प्रकार के अनुक्रमण मैट्रिक्स पर समझाते हैं। Robots.txt तब उपकरण है जिसके साथ ये विकल्प निष्पादित किए जाते हैं, न कि जहां ये विकल्प सोचे जाते हैं।

इस फ़ाइल को केवल साइट के निर्माण पर नहीं, बल्कि किसी भी बड़े परिवर्तन के बाद जांचें: दूसरी प्रणाली में स्थानांतरण, एक नया वेबसाइट बिल्डर, या साइट का पुनर्गठन। ये वास्तव में वे क्षण हैं जब सेटिंग्स गलती से परीक्षण वातावरण से ले जाई जाती हैं। एक संक्षिप्त बाद की जांच यह सुनिश्चित करती है कि एक अस्थायी सेटिंग स्थायी नहीं बन जाती।

यह भी ध्यान रखें कि robots.txt अकेला नहीं है। यह अन्य संकेतों से जुड़ा हुआ है जो आप Google को देते हैं, जैसे पृष्ठ स्तर पर निर्देश एक noindex-टैग के माध्यम से, जिस पर noindex meta robots या X-Robots-Tag के माध्यम से अधिक जानकारी है। दोनों एक दूसरे का विरोध नहीं कर सकते। एक पृष्ठ जिसे आप दिखाना चाहते हैं उसे एक चैनल के माध्यम से खोला नहीं जा सकता और दूसरे के माध्यम से अभी भी ब्लॉक किया जा सकता है।