Tarama Gecikmesi Nedir?

Tarama gecikmesi, arama motoru botlarının (crawler) bir web sitesindeki sayfaları indeksleme sıklığını ve hızını sınırlayan bir faktördür. Arama motorları, web sitelerini düzenli olarak tarayarak güncellenmiş içerikleri indekslerine ekler. Ancak bu süreçte, aşırı tarama nedeniyle sunucu performansının olumsuz etkilenmesini önlemek için belirli gecikmeler uygulanabilir.

Tarama gecikmesi, arama motorlarının kendi politikalarına göre belirlenebileceği gibi, site sahipleri tarafından da yönetilebilir. Bu gecikme süresi, bir botun siteye ne sıklıkta ve hangi hızda erişeceğini belirler.

Google Tarama Gecikmesi Nedir?

Googlebot, tarama hızını belirlerken web sitesinin yanıt süresini ve performansını dikkate alır. Eğer bir site yavaş yükleniyorsa veya sunucu aşırı yüklenmişse, Googlebot tarama hızını otomatik olarak düşürebilir.

Google Search Console üzerinden site sahipleri, Tarama Hızı Ayarları sekmesini kullanarak botun tarama hızını belirli bir düzeye çekebilir. Ancak, Google genellikle tarama hızını optimize etmek için otomatik sistemler kullanır ve manuel müdahaleye nadiren ihtiyaç duyar.

Bingbot Tarama Gecikmesi Nedir?

Bingbot, Microsoft Bing arama motorunun kullandığı tarayıcıdır. Bing, web sitelerini tararken hız ve sunucu yükünü optimize eden bir mekanizmaya sahiptir.

Bing Web Yöneticisi Araçları'ndan (Bing Webmaster Tools) site sahipleri tarama hızını ayarlayabilir. Burada, Bingbot’un tarama sıklığı günün belirli saatlerine göre değiştirilebilir. Örneğin, yoğun trafik saatlerinde botun daha az tarama yapması sağlanabilir.

Robots.txt ile Tarama Gecikmesi Ayarı Nasıl Yapılır?

Robots.txt dosyası, web yöneticilerinin arama motoru botlarına belirli talimatlar vermesine olanak tanır. Crawl-delay (tarama gecikmesi) direktifi, arama motorlarına her isteğin arasında beklemeleri gereken süreyi belirtir.

Örnek robots.txt kodu:

User-agent: Bingbot 

 Crawl-delay: 10 

 User-agent: Googlebot 

 Crawl-delay: 5

Bu kod, Bingbot’un her isteği arasında 10 saniye, Googlebot’un ise 5 saniye beklemesini sağlar. Ancak, Google’ın resmi olarak crawl-delay direktifini desteklemediğini unutmamak gerekir. Googlebot tarama hızını kendi algoritmalarıyla belirler.

Sonuç olarak tarama gecikmesi, arama motoru botlarının web sitelerini tarama hızını düzenleyen önemli bir faktördür. Google ve Bing gibi arama motorları, tarama hızını otomatik olarak ayarlarken, site sahipleri de Google Search Console ve Bing Webmaster Tools gibi araçlarla bu süreci yönetebilir. Robots.txt dosyasıyla tarama gecikmesi ayarı yapılabilir, ancak Googlebot bu direktife uymamaktadır. Sunucu performansını korumak için tarama hızının dengeli şekilde yönetilmesi önemlidir.