İçindekiler
Googlebot ağını izlemenizi sağlayan bir robottur. Google, Google örümceği olarak da bilinir. Bu şekilde sistem, veritabanına indekslenen ve güncellendikleri yeni sayfaları keşfeder ve tekrar Google indeksine dahil edilir.Google Web'de dağıtılan milyarlarca sayfayı taramak için büyük miktarda bilgisayar ekipmanı kullanır. Bilgisayar programlarının izlenecek sitelerin yanı sıra her sitede aranacak sayfaların sıklığını ve sayısını belirlediği algoritmik bir izleme sürecine dayanır. Süreç, Web Yöneticilerinin dahil ettiği site haritaları tarafından sağlanan verilere dayalı olarak genişletilen, önceden oluşturulmuş web sayfalarının bir listesiyle başlar. Googlebot, bu web sitelerine yaptığınız her ziyarette bağlantıları algılar ve bunları taranacak sayfalar listesine ekler. Sistem yeni siteleri, mevcut sitelerde yapılan değişiklikleri ve güncel olmayan bağlantıları tespit eder ve ardından Google dizinini günceller.
Googlebot siteye nasıl erişir?
Googlebot sitelere genellikle bir kereden fazla ve birkaç saniyeliğine erişmezsiniz. Genellikle sistem her sayfanın yalnızca bir kopyasını indirir, aynı sayfayı birden çok kez indirmeniz durumunda bunun nedeni muhtemelen tarayıcının durdurulup yeniden başlatılmasıdır.Googlebot birkaç bilgisayara dağıtılır, ayrıca bazı örümcekler, dizine ekledikleri sitelerin yakınında bulunan bilgisayarlardan çalışır. Sayfa günlükleri, kullanıcı aracısı olarak birden çok bilgisayardan yapılan ziyaretleri gösteriyor olabilir.
Amaç, sunucunun bant genişliğini daraltmadan yaptığınız her ziyarette bir web sitesindeki en fazla sayıda sayfayı taramaktır.
Sistem siteleri, sayfalarındaki bağlantılar aracılığıyla bulur. İzleme hataları olması durumunda, bunlar Google tarafından sağlanan Web Yöneticisi Araçları'nda görülebilir. Bir siteyi tararken karşılaşılan sorunları listeler. Bunları tespit etmek ve düzeltmek için ortaya çıkabilecek tarama hatalarını düzenli olarak kontrol etmek iyi bir fikirdir.
Googlebot tarafından işlenen IP adresleri zaman zaman değişme eğiliminde olduğundan, ideal olan robot "user-agent" (Googlebot) kullanmaktır. Google örümceği, robots.txt dosyasında bulunan yönergelere uyacaktır, ancak kötü niyetli kullanıcılar bunlara uymayabilir.
