Tarama Bütçesi Optimizasyonu Nedir
İnternet sayısını yazmakta bile zorlanacağımız kadar çok sayfadan oluşur. Tüm bu sayfaları taramak ve spam sayfaların arasından değerli veya diğer bir deyişle zengin bir içeriğe sahip sayfaları seçmek, arama motorlarının karşılaştığı en büyük zorluktur.
Bir web siteniz varsa şunu kesinlikle anlamalısınız; Google erişebildiği her sayfayı taramaz. Yalnızca yeterince yüksek öncelik atanmış URL’ler Googlebot tarafından taranır.
Google neden websitemdeki tüm sayfaları taramıyor?
- Her ne kadar öyle olduğuna kimse inanmasa da Google’ın kaynakları sınırlı. Web’de çok fazla spam sayfa var. Bu nedenle Google’ın düşük kaliteli sayfaları ziyaret etmekten kaçınmasını sağlayan mekanizmalar geliştirmesi gerekiyor. Fakat bu kadar ileri bir teknoloji gelişene dek, Google yalnızca en önemli sayfaların taranmasına öncelik vermekte.
- Googlebot, sunucunuzun çökmesini önlemek için taramayı sınırlayacak şekilde kodlanmıştır. Google için, web sitenizin sunucusunu çökertmek yerine bazı URL’lerinizi ziyaret etmeyi atlamak veya geciktirmek daha iyidir.
Peki bu tam olarak nasıl bir risk doğuruyor?
Googlebot, sitenizdeki düşük kaliteli sayfaları taramak için kaynak harcarsa, daha değerli sayfalarınızın yeterince sık taranmaması riski ortaya çıkar. İşte tam bu noktada tarama bütçesi optimizasyonu terimi karşımıza çıkıyor. Önemli sayfaların taranmama riskini ortadan kaldırmak için tarama bütçenizi optimize edebilirsiniz.
İlginizi Çekebilir: 2021 Google Arama Trendleri ve SEO
Tarama ve İndeksleme Nasıl Gerçekleşir?
Tarama bütçesini anlamak için Google’ın bir web sitesini nasıl taradığını anlamamız gerekir. Bu süreci etkileyen üç ana unsur aşağıdaki gibidir:
- Tarama Hızı Sınırı
- Programa Alma
- Tarama Talebi
Tarama Hızı Sınırı
Googlebot’un siteyi tararken sayfalar arasında beklemesi gereken süreye tarama hızı diyoruz.
Daha önce de belirttiğimiz üzere Googlebot, web sitenizi tararken serverda aşırı yüklenmeye sebep olmadığından emin olarak için sunucunuzun kapasitesini dikkate alarak çalışmaktadır. Bu yüzden de Google, tarama hızını sunucunuzun yanıtına göre ayarlayacaktır. Sunucudan gelen yanıt ne kadar yavaşsa, tarama hızı da o kadar düşük olur.
Programa Alma
Tarama işlemi kolay bir süreç olmadığı için Googlebot ziyaret etmeyi planladığı URL’lerin bir listesini oluşturur. Ardından, kayıtlı URL’lere yapılan istekler sıraya alınır. Bu liste rastgele oluşturulan bir liste değildir. Tüm bu işlemlere programa alma denir ve Google, değerli URL’lere öncelik vermek için tarama talebi adı verilen bir mekanizma kullanır.
Tarama Talebi
Tarama talebi, Google’ın bir tarama sırasında hangi sayfaları (ve kaç tanesini) ziyaret etmek istediğini belirleyen unsurdur. Googlebot, belirli bir URL’i yeterince önemli görürse, onu programda daha üst sıralara yerleştirir.
Google bir URL'in önemine nasıl karar verir?
Popülerlik – İnternette sıklıkla paylaşılan ve bağlantı verilen URL’ler daha önemli kabul edilecek ve bu nedenle Googlebot tarafından taranma şansı daha yüksek olacaktır.
Zaman – Genel olarak konuşursak, yeni içerik, eski ve güncellenmemiş sayfalara göre daha yüksek önceliğe sahiptir.
Tarama Bütçesi Nasıl Optimize Edilir
ROBOTS.TXT ile Tarama Bütçesi Optimizasyonu
Tarama bütçesini optimize etmenin en kolay yolu, web sitenizin belirli bölümlerinin robots.txt dosyası kullanılarak Google tarafından taranmasını engellemektir.
ROBOTS.TXT ile tarama bütçesi nasıl optimize edilir?
Robots.txt dosyasındaki Disallow: direktifi, sayfanın dizine eklenmesini engellemez. Yalnızca belirli bir sayfaya iç linklerden erişimi engeller. Ancak, bot URL’i harici bir kaynaktan erişerek tararsa sayfa yine de dizine eklenebilir. Belirli bir sayfanın Google dizininde görünmemesini istiyorsanız meta robots etiketlerini kullanmalısınız.
Sayfanın düzgün bir şekilde oluşturulması için gerekli olan CSS ve JS gibi kaynakları gizlememelisiniz. Bot, sayfanızın tüm içeriğini görebilmelidir.
Robots.txt dosyası oluşturduktan sonra, dosyayı Google Arama Konsolu aracılığıyla Google’a göndermeyi unutmayın.
Tarama Bütçesi Optimizasyonu ile alakalı daha fazla bilgi almak için Seoinno SEO Ajansı ile iletişime geçebilirsiniz. Sitenizin tarama bütçesini belirlemek için Seoinno’dan destek alabilirsiniz.