গুগল কি সত্যিই আপনার ওয়েবসাইট দেখতে পারে?

সেই ফাইলটি আসলে কী

প্রতিটি ওয়েবসাইটের একটি robots.txt নাম সহ একটি ফাইল রয়েছে বা থাকা উচিত। আপনি আপনার ডোমেইন নামের পরে /robots.txt টাইপ করে এটি খুঁজে পান, উদাহরণস্বরূপ uwbedrijf.nl/robots.txt। এই ফাইলটি প্রথম যা গুগল পড়ে তা হল আপনার সাইট দেখার আগে। এটি সাধারণ পাঠ্যে রয়েছে এবং সার্চ ইঞ্জিনগুলিকে বলে যে সাইটের কোন অংশগুলি তারা পরিদর্শন করতে পারে এবং করতে পারে না।

আপনি এটিকে একটি বিল্ডিং এন্ট্রিতে একটি সাইনের সাথে তুলনা করতে পারেন। কিছু দরজা খোলা আছে, অন্যগুলি একটি সাধারণ নোট দিয়ে বন্ধ। সমস্যাটি হল যে কোম্পানিগুলি কখনও কখনও ভুল নোট ঝুলিয়ে দেয়। একটি ব্যাকডোর বন্ধ করার পরিবর্তে, তারা গুরুত্বপূর্ণ কক্ষ সহ দর্শকদের জন্য পুরো বিল্ডিং বন্ধ করে দেয়।

পাথগুলি যা পরিদর্শন করা যেতে পারে বা যেতে পারে তা নিয়ে ছাড়াও, এটি কিছু সূক্ষ্ম বিষয়ের সাথে জড়িত: পৃষ্ঠা তৈরি করে এমন ফাইল। CSS সম্পর্কে চিন্তা করুন, যা ফর্ম্যাটিংয়ের জন্য যত্ন করে, এবং JavaScript, যা পৃষ্ঠার গতি এবং ইন্টারঅ্যাকশনের জন্য যত্ন করে। যদি robots.txt সেই ফাইলগুলি ব্লক করে, তবে গুগল পৃষ্ঠা দেখতে পারে, কিন্তু এটি ঠিকভাবে দেখতে পারে না। তারপর এটি আপনার সাইটের একটি খালি, ভাঙা সংস্করণ দেখে।

এটি অন্য একটি নিয়ন্ত্রণ পয়েন্টের সাথে ঘনিষ্ঠভাবে সম্পর্কিত: আপনার মূল বিষয়বস্তু JavaScript ছাড়াই অ্যাক্সেসযোগ্য কিনা, যেমনটি আমরা বর্ণনা করি যখন মূল বিষয়বস্তু JavaScript ছাড়াই অ্যাক্সেসযোগ্য। উভয় পয়েন্ট একই প্রশ্নের কথা বলে: গুগল কি আপনার পৃষ্ঠা দেখতে পারে যেমনটি একজন দর্শক দেখে, বা গুগল একটি অসম্পূর্ণ ছবি পায় যা খারাপ স্কোর করে।

কেন এটি একটি প্রযুক্তিগত বিস্তারিতের চেয়ে বেশি

গুগল একটি প্রক্রিয়া ব্যবহার করে যাকে রেন্ডারিং বলা হয়: সার্চ ইঞ্জিন মূলত আপনার পৃষ্ঠা পুনর্নির্মাণ করে, ঠিক একটি ব্রাউজারের মতো, দেখতে যে একজন দর্শক সত্যিই কী দেখে। যদি গুগল প্রয়োজনীয় সমস্ত অংশের কাছে যেতে পারে তবে এটি শুধুমাত্র সম্ভব। যদি CSS বা JavaScript ব্লক করা হয়, তবে গুগল ফর্ম্যাটিং ছাড়াই একটি খালি পৃষ্ঠা দেখে, কোনও মেনু ছাড়াই, কখনও কখনও স্ক্রিপ্টগুলির সাথে লোড করা পাঠ্য ছাড়াই।

ফলাফল হল গুগল ভুলভাবে অনুমান করে যে আপনার পৃষ্ঠা কী সম্পর্কে। একটি পৃষ্ঠা যা দর্শকদের জন্য দুর্দান্ত দেখায় তা গুগলের কাছে অস্পষ্ট বা খালি মনে হতে পারে। এটি এমন একটি বিষয় যে সামান্য খারাপ স্কোর করা নয়। এটি অন্তর্ভুক্ত না করার বিষয়, যখন আপনি নিজেই বিষয়বস্তুতে কিছুই ভুল করেননি।

এমন একটি পৃষ্ঠা যা বিদ্যমান নয় এবং একটি পৃষ্ঠা যা বিদ্যমান কিন্তু অ্যাক্সেসযোগ্য নয় তার মধ্যে পার্থক্য রয়েছে। এটি আমাদের পরিমাপ তালিকার অন্যান্য পয়েন্টগুলিকেও প্রভাবিত করে, যেমন একটি সরানো পৃষ্ঠা ভাল একটি 404 স্ট্যাটাস ফেরত দেয় কিনা, যেমনটি আমরা আলোচনা করি 404 পৃষ্ঠা নিজেই সহায়ক। উভয় ক্ষেত্রে এটি স্পষ্টতার বিষয়: গুগলকে দেখান যে কী খুঁজে পাওয়ার উদ্দেশ্য এবং কী নয়।

আপনি নিজেকে কীভাবে পরীক্ষা করেন যে এটি আপনার ক্ষেত্রে ঠিক আছে

আপনার ব্রাউজারের অ্যাড্রেস বারে আপনার ডোমেইন নাম অনুসরণ করে /robots.txt টাইপ করুন। সাধারণ পাঠ্যে নিয়মের একটি সহজ তালিকা উপস্থিত হয়, সাধারণত 'Disallow' শব্দগুলি একটি পাথ অনুসরণ করে। Disallow অর্থ: এই পাথ পরিদর্শন করা যায় না। দেখুন সেখানে এমন কিছু আছে কিনা যা আপনি আশা করেন না, যেমন একটি স্ল্যাশ একা, যার অর্থ পুরো সাইট বন্ধ।

/wp-content/, /assets/, /css/ বা /js/ এর মতো নামের ম্যাপগুলি উল্লেখ করে এমন নিয়মগুলিতে বিশেষত মনোযোগ দিন। এগুলি প্রায়শই ঠিক সেই ফোল্ডার যেখানে আপনার সাইটের ফর্ম্যাটিং এবং ইন্টারঅ্যাকশন রয়েছে। যদি সেগুলি ব্লক করা হয়, তবে এটি সম্ভাব্য যে গুগল আপনার পৃষ্ঠাগুলি সঠিকভাবে রেন্ডার করতে পারে না, এমনকি বাকি ফাইলটি নিরীহ দেখায়।

Google Search Console, ওয়েবসাইট মালিকদের জন্য গুগলের একটি বিনামূল্যে সেবা, একটি পরীক্ষা রয়েছে যার সাথে আপনি রেন্ডারিং সমস্যাগুলির জন্য একটি নির্দিষ্ট পৃষ্ঠা পরীক্ষা করতে পারেন। আপনি এখানে দেখেন গুগল আপনার পৃষ্ঠা কীভাবে উপলব্ধি করে তার একটি উদাহরণ। যদি এটি খালি বা ভাঙা দেখায় যখন পৃষ্ঠা আপনার ব্রাউজারে ভাল দেখায়, তবে এটি একটি স্পষ্ট সংকেত যে CSS, JavaScript বা ছবি লোডে কিছু ভুল হয়েছে।

যদি আপনি সন্দেহ করেন যে কোনও নির্দিষ্ট পথ জানাবুঝে বাদ দেওয়া হয়েছে বা ভুল করে, তাহলে আপনার ওয়েবসাইট যে তৈরি করেছে তার সাথে পরামর্শ করুন। কিছু ব্লকেড সচেতন এবং বুদ্ধিমত্তার সাথে করা হয়, যেমন একটি অভ্যন্তরীণ অনুসন্ধান ফলাফল বন্ধ করা, যা আমরা noindex-এর সাথে অভ্যন্তরীণ অনুসন্ধান ফলাফল পৃষ্ঠাগুলিতে আলাদাভাবে আলোচনা করি। অন্যান্য ব্লকেডগুলি একটি স্ট্যান্ডার্ড সেটিংস থেকে সহজেই ত্রুটি যা কখনও পরীক্ষা করা হয়নি।

যদি এটি ঠিক না থাকে তাহলে এর খরচ কি

যদি robots.txt গুরুত্বপূর্ণ পথগুলি ব্লক করে, তাহলে আপনি জানার বিনা আপনার সাইটের অংশগুলি Google-এর জন্য বন্ধ করে দেবেন। সেগুলি পণ্য পৃষ্ঠা, ব্লগ নিবন্ধ, বা এমনকি একটি নতুন সিস্টেমে স্থানান্তরের পরে পুরো সাইটও হতে পারে। এটি যা মানুষ ভাবে তার চেয়ে বেশি ঘটে, বিশেষ করে একটি ওয়েবসাইট রিডিজাইনের পরে, যেখানে একটি সেটিং যা পরীক্ষার পরিবেশের জন্য উদ্দেশ্য ছিল তা ভুল করে বাস্তব সাইটে থাকে।

চটকদার বিষয় হল যে আপনি আপনার সাইটের দৈনন্দিন ব্যবহারে এটি লক্ষ্য করেন না। পৃষ্ঠাগুলি কেবল লোড হয়, যারা সরাসরি লিঙ্ক পান তারা এখনও সেখানে যেতে পারে। শুধুমাত্র অনুসন্ধান ইঞ্জিন থেকে ট্রাফিক ধীরে ধীরে শুকিয়ে যায়, স্পষ্ট কারণ ছাড়াই। অনেক উদ্যোক্তা তখন বিষয়বস্তু বা প্রতিযোগিতায় কারণ খোঁজেন, যখন সমস্যা একটি প্রযুক্তিগত ফাইলে রয়েছে যা তারা কখনও খোলেননি।

যখন শুধুমাত্র CSS এবং JavaScript ব্লক করা হয়, তখন প্রভাব সূক্ষ্ম কিন্তু কম ক্ষতিকর নয়। আপনার পৃষ্ঠাগুলি এখনও খুঁজে পাওয়া যায়, কিন্তু Google সেগুলি একটি অসম্পূর্ণ ছবির ভিত্তিতে মূল্যায়ন করে। একটি স্ক্রিপ্ট দ্বারা লোড করা পাঠ্য তখন হয়তো গণনা করা হবে না। একটি পৃষ্ঠা যা আপনার কাছে ভাল দেখায় তা Google দ্বারা সামগ্রীতে বিরল হিসাবে মূল্যায়ন করা হয়, আপনার অনুসন্ধান ফলাফলে অবস্থানের জন্য সমস্ত পরিণতি সহ।

মেরামত সাধারণত মাসের কাজের বিষয় নয়। প্রায়শই এটি একটি ফাইলে কয়েকটি লাইন সামঞ্জস্য করার বিষয়। বিষয়টি হল আপনাকে প্রথমে সমস্যা চিনতে হবে। নিয়ন্ত্রণ ছাড়া, একটি ব্লকেড কখনও কখনও বছরের পর বছর নিরীক্ষিত থাকে, কেবলমাত্র কারণ সাইট শেষ সামঞ্জস্যের পরে কেউ আর এটি দেখেনি।

এটি ঠিক করার জন্য কি করতে হবে

শুরুর পয়েন্ট সহজ: robots.txt শুধুমাত্র সেই পথগুলি ব্লক করতে পারে যা আপনি সচেতনভাবে বাদ দিতে চান, যেমন একটি প্রশাসক লগইন পৃষ্ঠা বা একটি কার্ট যা সর্বদা অনুসন্ধান ফলাফলে থাকা উচিত নয়। যা কিছু অবদান রাখে যে পৃষ্ঠাটি কীভাবে দেখায় বা কাজ করে তা অ্যাক্সেসযোগ্য থাকতে হবে। এই নিয়ন্ত্রণ পয়েন্টের পেছনে পুরো নীতি: সাবধানতার বাইরে বন্ধ করবেন না, কিন্তু যেখানে প্রয়োজন সেখানে লক্ষ্যবদ্ধভাবে বন্ধ করুন।

এই ফাইলটি পরীক্ষা করুন যা সূচিত করা যায় এবং কি না তার বিস্তৃত বর্ণনার অংশ হিসাবে। সেই বর্ণনা, একটি পৃষ্ঠার ধরন অনুযায়ী একটি সূচীকরণ ম্যাট্রিক্স, মানচিত্র করে কোন পৃষ্ঠাগুলি Google-এর জন্য দৃশ্যমান হওয়া উচিত এবং কোনগুলি সচেতনভাবে নয়, যেমন আমরা একটি পৃষ্ঠার ধরন অনুযায়ী একটি সূচীকরণ ম্যাট্রিক্স ব্যাখ্যা করি। Robots.txt তখন সেই পছন্দগুলি সম্পাদন করার যন্ত্র, সেই পছন্দগুলি চিন্তা করার জায়গা নয়।

এই ফাইলটি শুধুমাত্র সাইট তৈরির সময় পরীক্ষা করবেন না, বরং প্রতিটি বড় পরিবর্তনের পরেও: অন্য একটি সিস্টেমে স্থানান্তর, একটি নতুন ওয়েবসাইট বিল্ডার, বা সাইটের পুনর্গঠন। এই ঠিক যে মুহূর্তগুলি যখন সেটিংস ভুল করে একটি পরীক্ষার পরিবেশ থেকে নিয়ে আসা হয়। একটি সংক্ষিপ্ত পরে চেক একটি সাময়িক সেটিং চিরস্থায়ী হয়ে যাওয়া প্রতিরোধ করে।

মনে রাখবেন যে robots.txt নিজের মধ্যে দাঁড়ায় না। এটি অন্যান্য সংকেতের সাথে ঘনিষ্ঠভাবে সংযুক্ত যা আপনি Google-কে দেন, যেমন একটি noindex ট্যাগের মাধ্যমে পৃষ্ঠা-স্তরের নির্দেশ, যা noindex via meta robots বা X-Robots-Tag সম্পর্কে আরও আছে। উভয়েই একে অপরের সাথে বিরোধ করা উচিত নয়। একটি পৃষ্ঠা যা আপনি দেখাতে চান তা এক চ্যানেলের মাধ্যমে খোলা করা যায় না এবং অন্যটির মাধ্যমে এখনও ব্লক করা যায় না।