গুগল ইনডেক্সের পর গুগল ওয়েবমাস্টার টুলে রয়েছে ক্রাউল মেনু।
ক্রাউল মেনুতে যে সকল সাব-মেনু রয়েছে সেগুলো হল - ক্রাউল এররস, ক্রাউল স্ট্যাটাস, Fatch at google,
roots.txt টেস্টার, সাইটম্যাপ, URL প্যারামিটার।
গুগল এর ক্রাউলার এর নাম হল গুগলবট।
আপনি যদি চান আপনার সাইটের নির্দিষ্ট কোন অংশ গুগল বা অন্য কোন সার্চ ইন্জিন ক্রাউল না করুক তাহলে robot.txt
ফাইল ব্যবহার করে করতে পারেন। গুগল ওয়েবমাস্টার টুলে আপনি এই robot.txt ফাইল পরীক্ষা করে দেখতে পারেন।
Generate robot.txt লিংকে ক্লিক করে নতুন robot.txt ফাইল তৈরী করা যায় এবং Remove URL
লিংকে ক্লিক করে গুগল সার্চ রেজাল্টে দেখায় এমন কোন পেজ সরিয়ে ফেলা যায়, হতে পারে এমন কোন পেজ যেটা আপনার
সাইটে আগে ছিল এখন নেই সেক্ষেত্রে এটা কার্যকরী।
এখান থেকে গুগলে সাইটম্যাপ সাবমিট করতে হয়। এছাড়া এখানে সাইটম্যাপ সাবমিট করেছেন কিনা বা করলে সাইটম্যাপের কতটি URL গুগলের ডেটাবেসে নেয়া হয়েছে ইত্যাদি তথ্য থাকে।
নতুন একটা সাইটম্যাপ সাবমিট করতে Submit a sitemap বাটনে ক্লিক করুন এতে একটি বক্স আসবে। এখানে আপনার সাইটম্যাপটি যেখানে আছে তার ঠিকানা লিখে Submit Sitemap বাটনে ক্লিক করুন।
আমরা কোন সাইটম্যাপ সাবমিট করিনি তাই উপরে দেখুন যে ০ দেখাচ্ছে।