Robots.txt, web sitenizin kök dizininde bulunur ve sitenizi taramaya mevrut kontrol motorlarına hangi sayfalarınızı tarayıp hangilerini dizinlerine ekleyebileceklerini kail bir komut dosyasıdır. Sitenize gelen botlar burada arsa meydan komutları kovuşturulma ederek hareket eder. Sonuç olarak, yerinde kuruluşlandırılmış bir konu