İçindekiler
Herkese merhaba, robots.txt'deki bu öğretici ile başlıyorum, umarım beğenirsiniz 
Tüm robotların, web'in kök dizininde depolanan tüm dosyaları ziyaret etmesine izin verin:
Kullanıcı aracısı: * İzin verme:
Kök dizinde depolanan tüm robotlara ve tüm dosyalara erişimi engelleyin:
Kullanıcı aracısı: * İzin verme: /
Yalnızca bir robotun erişmesine izin verin, bu örnekte yalnızca Google tarama yapabilecek
Kullanıcı aracısı: googlebot İzin Verme: Kullanıcı aracısı: * İzin Verme: /
En popüler robotların kullanıcı aracısında kullanılacak bir adı vardır.
googlebot => Google için
msnbot => MSN Arama
yahoo-slurp => Yahoo!
scrubby => Web'i Temizle
robozilla => DMOZ Denetleyicisi
ia_archiver => Alexa / Wayback
Baiduspider => Baidu
Ayrıca resimlerdekiler gibi daha spesifik robotlar da var.
googlebot-image => Google Görseli
googlebot-mobile => Google Mobil
Joker karakter (/) içeren tüm alt dizinlerin engellenmesi için başka bir örnek, yalnızca bunlar, joker karakter içermeyen diğer tüm dosyalar ve dizinler hariç, nominal olarak sistem veya arka uç dizinleri engellenir:
Kullanıcı aracısı: * İzin Verme: / cgi-bin / İzin Verme: / resimler / İzin Verme: / tmp / İzin Verme: / adminstrador /
Belirli bir dosyanın izlenmesini engelle
Kullanıcı aracısı: * İzin verme: /page.htm
Bu, 404 hatası veren bir sayfayı ortadan kaldırmak veya bir sayfayı arama sonuçlarından çıkarmak, böylece taranmasını engellemek istediğimizde çok kullanılır.
Tarama robotlarının sıklığını yönetin
İtibaren Google analitiği ve Webmaster araçları istatistikleri görebilirsiniz, ayrıca bazen bazı robotların sitemizi incelemesinin ve sunucuya istek göndermesinin uzun zaman aldığını, robotların bant genişliğini ve kaynakları sanki başka bir ziyaretçiymiş gibi tükettiğini görebilirsiniz.
Robotların kontrolden çıkmamasının bir yolu var, her birine anlatabiliriz.
Kullanıcı aracısı: googlebot Tarama gecikmesi: 30
Bununla Google robotuna her tarama arasında 30 saniye beklemesini bildiririz. Dikkatli olun, çünkü Tarama gecikmesi, Bing ve Google'ın yaptığı tüm arama motorları tarafından desteklenmeyebilir.
resmi web sitesi robots.txt http://www.robotstxt.org/ tüm robotların isimlerini, kodla ilgili özelliklerini bulacağımız yerdir. Burada robotların, izlenmesi gerekenleri standartlaştırmaya hizmet ettiği ve html'yi izlemek ve doğrulamak, bağlantıları doğrulamak, bilgileri indekslemek, arama motorlarındaki içeriği güncellemek, web sitelerini korumak için diğer platformlarda kullanılanları standartlaştırmaya hizmet ettiği ortaya çıkıyor.Bu Eğitimi beğendiniz ve yardım ettiniz mi?Yazara olumlu puan vermek için bu düğmeye basarak yazarı ödüllendirebilirsiniz.
