İçindekiler
Arama motorları bir web sitesine ulaştığında, onu okumak için robots.txt dosyasını aramaya başlar. Arama motoru örümceğinin site içinde devam etmesi veya başka bir siteye gitmesi içeriğine bağlı olacaktır.robots.txt dosyası, arama motoru tarafından dizine eklenmesine izin verilen ve sırayla belirli arama motorlarına erişimi seçici olarak kısıtlayan sayfaların bir listesini içerir.
aracı kullanıcı: Sunulan emirleri hangi robotun takip edeceğini belirtmek için kullanılır.
İzin verme: Arama motoru tarafından analiz sürecinde hangi sayfaların hariç tutulacağını belirlemek için kullanılır. Hariç tutulacak her sayfanın ayrı satırlara sahip olması ve ayrıca / sembolü ile başlaması önemlidir. Bu semboloji ile belirtilmekte; "web sitesinin tüm sayfalarına".
robots.txt dosyasında boş satır olmaması son derece önemlidir.
Bazı örnekler aşağıda gösterilmiştir;
- Tüm sayfaları hariç tutmak istediğinizde; Kullanıcı aracısı: İzin verme: /.
- Amaç herhangi bir sayfayı dışlamak değilse, robotos.txt dosyasının web sitesinde bulunmaması, yani sitenin tüm sayfalarının eşit olarak ziyaret edilmesi gerekir.
- Belirli bir robot hariç tutulduğunda:
- Aracı kullanıcı: Robot adı İzin verme: / Aracı kullanıcı: * İzin verme:
- Bir sayfa hariç tutulduğunda; Aracı kullanıcı: * İzin verme: /dizin/yol/sayfa.html
- Bir dizinin tüm sayfaları, ilgili alt klasörleriyle birlikte siteden çıkarıldığında; Aracı kullanıcı: * İzin verme: / dizin /
Diğer bir özelliği ise sitede bulunan kopya içeriklerin ceza almaması için indexlenmesini engellemektir.
Dikkate alınması gereken diğer hususlar, bazı robotların bu dosyada sunulan talimatları görmezden gelebileceği ve ayrıca www.example.com/robots.txt yazan herkesin dosyaya erişimi olabileceğinden dosyanın herkese açık olduğunun açık olması gerektiğidir.
Şimdi soru şu olabilir; robots.txt dosyası nasıl oluşturulur?
Aslında oldukça basittir çünkü "robots.txt" adında bir metin belgesidir ve ardından sayfanın etki alanının kök dizinine yüklenir, arama motorlarının okumak için oraya gideceği yer orasıdır.
Temel bir robots.txt dosyası şunlar olabilir:
Kullanıcı aracısı: *
İzin verme: / özel /
Tüm arama motorları için "özel" olacak bir dizine erişimi reddetmek için talimatlar oluşturulur.
Komut, dizinin izin verilmediğini belirterek tüm robotlara (User-agent: *) hitap ettiğini belirler (Disallow: / private /).
Google arama motoru için kullanılan parametre; Kullanıcı aracısı: Googlebot
Daha önce de belirtildiği gibi, SEO'daki kullanımı, robotların yinelenen içeriğe erişimini kısıtlamak için kullanılır.Bu Eğitimi beğendiniz ve yardım ettiniz mi?Yazara olumlu puan vermek için bu düğmeye basarak yazarı ödüllendirebilirsiniz.
