Robots.txt veya robotlar hariç tutma standardı ve arama motoru taraması
Robots Dışlama Protokolü ya da robots.txt dosyası olarak da adlandırılan robot dışlama standardı, bir web sitesinin yapılandırılmasının en önemli unsurlarından biridir ve arama motoru robotlarıyla doğrudan iletişim kurmayı sağladığı için web konumlandırma sürecinde büyük bir öneme sahiptir, site haritası dışında web sitemizdeki bilgileri güncellemek için zaman zaman o dosyayı okuyanlar.












