গুগল ওয়েবমাস্টার টুল- ক্রাউলার একসেস লিংক

সাইটম্যাপ লিংকের পর গুগল ওয়েবমাস্টারে রয়েছে ক্রাউলার একসেস লিংক।

আপনি যদি চান আপনার সাইটের কোন অংশ গুগল বা অন্য কোন সার্চ ইন্জিন ক্রাউল না করুক তাহলে robot.txt ফাইল ব্যবহার করে করতে পারেন,এটা তৈরীর পদ্ধতি আগে দেখিয়েছি।গুগল ওয়েবমাস্টার টুলে আপনি এই robot.txt ফাইল পরীক্ষা করে দেখতে পারেন।Generate robot.txt লিংকে ক্লিক করে নতুন robot.txt ফাইল তৈরী করতে পারেন।আর Remove URL লিংকে ক্লিক করে গুগল সার্চ রেজাল্টে দেখায় এমন কোন পেজ সরিয়ে ফেলতে পারেন (হতে পারে এমন কোন পেজ আপনার সাইটে আগে ছিল এখন নেই সেক্ষেত্রে এটা কার্যকরী)