Crawl Budget (Tarama Bütçesi) Nedir?

Crawl budget (tarama bütçesi), Googlebot'un belirli bir süre içinde sitenizden taramak isteyeceği sayfa sayısını ifade eder. Google'ın resmi tanımı iki bileşene dayanır: sunucunuzun kaldırabileceği tarama yoğunluğu (tarama hızı limiti) ile Google'ın sitenizden ne kadar taramak istediği (tarama talebi). Bu iki bileşenin kesişimi, sitenizin tarama bütçesini oluşturur.

Kavram, çoğu site sahibinin düşündüğünden daha dar bir kitleyi ilgilendirir: birkaç yüz sayfalık bir siteyi Googlebot zaten rahatça tarar ve güncel tutar. Tarama bütçesi asıl olarak binlerce ve milyonlarca sayfalık sitelerde belirleyicidir; yeni içeriklerin indekslenme hızı, güncellemelerin yansıma süresi ve silinen sayfaların sistemden düşme hızı bu bütçenin yönetimine bağlıdır.

Arama motorlarının siteyle nasıl etkileşime girdiğinin genel çerçevesi için SEO Nedir? yazımıza göz atabilirsiniz; bu rehberde tarama bütçesini oluşturan mekanizmaları ve onu iyileştirmenin yollarını ele alacağız.

Tarama Bütçesini Belirleyen İki Bileşen

Tarama bütçesi tek bir sayı değil, iki değişkenin kesişimidir. İkisini ayrı ayrı anlamak, iyileştirme çalışmalarınızı doğru yere yönlendirmenizi sağlar.

Tarama hızı limiti

Googlebot, sunucunuzu yormamak için tarama hızını kademeli artırır; sunucu hızlı yanıt verdikçe ve hata oranı düşük kaldıkça limit yükselir. Yavaş yanıt süreleri ve sık hata kodları ise limiti aşağı çeker. Kısacası bu bileşen, büyük ölçüde sizin teknik sağlığınızın bir fonksiyonudur; Google bunu sizin lehinize çevirir.

Tarama talebi

Talep tarafını popülerlik, güncellik ve dizin tazeliği belirler. Çok tıklanan, sık güncellenen ve dış bağlantı alan sayfalar daha sık taranır; unutulmuş ve değişmeyen sayfalar ise tarama önceliğini kaybeder. Bu bileşen, kullanıcıların ve web'in sitenize gösterdiği ilginin yansımasıdır.

İki bileşeni bir örnekle birleştirelim: sunucunuz günde beş bin tarama isteğini rahatça karşılayabiliyor ancak Google sitenizden günde yalnızca üç bin sayfa taramak istiyor. Bütçeniz üç bindir ve sınırlayan taraf taleptir. Tersi durumda, yani yavaş bir sunucuda talep yüksek kalsa bile bütçe, limit tarafından aşağı çekilir; iyileştirme çalışması da o tarafa yapılmalıdır.

Hangi Siteler İçin Önemlidir?

Küçük sitelerin tarama bütçesi konusunda endişelenmesine gerek yoktur; Googlebot, yüzlerce sayfalık bir siteyi tek tarama turunda tamamen dolaşabilir. Bütçe yönetimi, şu özellikleri taşıyan sitelerde kritikleşir: on binlerce URL, otomatik üretilen sayfalar, sık güncellenen kataloglar ve büyük e-ticaret altyapıları.

Bu sitelerde yaşanan tipik belirti şudur: yeni ürün sayfası yayınlarsınız ama haftalarca indekse giremez; fiyat güncellersiniz ama arama sonucu eski fiyatı göstermeye devam eder. Bu gecikmeler, içerik kalitesinden değil, tarama önceliğinden kaynaklanır; çözümü de içerikte değil, teknik yapıda aranmalıdır.

Büyük e-ticaret sitelerinde tablo en net görülür: on binlerce ürün, renk ve beden kombinasyonlarıyla yüz binlerce adrese dönüşür. Her kombinasyon ayrı bir sayfa gibi taranabilirse, gerçekten değerli ürün sayfaları tarama kuyruğunda geriye düşer. Kombinasyon üreten adreslerin yönetimi, bu sitelerin bütçe stratejisinin kalbidir.

Tarama Bütçesi Nasıl İyileştirilir?

Bütçeyi artırmanın sihirli bir anahtarı yok; ancak kaynakların verimli kullanılmasını sağlayan somut adımlar var. Öncelik sırasına göre şunları yapın:

Çalışmaya başlamadan önce mevcut durumunuzu ölçün: Screaming Frog gibi bir araçla sitenizin URL envanterini çıkarın ve kaç adresin tarama dışı kalması gerektiğini, kaçının zincir veya kırık bağlantı içerdiğini belirleyin. Envanter olmadan yapılan temizlik, sorunları taşımaktan öteye gitmez. Öncelik sırasına göre şunları yapın:

Sunucu yanıt sürelerini düşürün: Tarama hızı limiti doğrudan sunucu performansına bağlıdır; hız optimizasyonu adımlarını Sayfa Hızı Optimizasyonu Nasıl Yapılır? rehberimizde topladık.
Yönlendirme zincirlerini temizleyin: Her ek yönlendirme adımı, botun bütçesinden yer; zincirleri tek adıma indirin.
Kırık bağlantıları düzeltin: 404 veren adresler hem bütçe israfıdır hem raporlarda gürültü yaratır.
Gereksiz parametreli URL'leri sınırlayın: Filtre ve sıralama kombinasyonlarının ürettiği kopya adresler, taramanın en büyük tüketicisidir.
Site haritası ve iç linkleri güncel tutun: Tarayıcının keşif yolları ne kadar temizse, önemli sayfalara o kadar hızlı ulaşır.
Gereksiz sayfaları taramaya kapatın: Arama sonuçlarına girmesi gerekmeyen bölümleri tarama dışında tutun.

Gereksiz sayfaları taramaya kapatın: Arama sonuçlarına girmesi gerekmeyen bölümleri tarama dışında tutun.

Bu adımların etkisini görmek sabır ister: tarama istatistikleri haftalık bazda değişir ve iyileşmeler genellikle birkaç hafta içinde görünür hale gelir. Çalışmayı tek seferlik bir temizlik olarak değil, sürekli bir hijyen rutini olarak planlayın.

Gereksiz sayfaları kapatırken kullanacağınız araç robots.txt dosyasıdır; kuralları nasıl yazacağınızı Robots.txt Nedir ve Nasıl Kullanılır? yazımızda anlattık. Unutmayın: amaç bütçeyi büyütmek değil, mevcut bütçeyi değerli sayfalara yönlendirmektir.

Bu kapsamda soft 404 üreten ve çok ince içerikli sayfalar da değerlendirilmelidir; bu sayfalar hem kullanıcıya değer sunmaz hem tarama kaynağı tüketir. İçeriği zenginleştirmek ya da sayfayı tamamen kaldırmak, kaynak israfını sonlandıran iki seçenektir.

Tarama Bütçesi ve Site Mimarisi

Site mimariniz, tarama verimliliğinin en büyük belirleyicilerindendir. Sığ ve mantıklı bir yapıda Googlebot, ana sayfadan birkaç tıklamayla tüm önemli içeriğe ulaşır; derin ve dolambaçlı yapılarda ise değerli sayfalar tarama kuyruğunun sonunda bekler.

İdeal yapı, önemli sayfaların ana sayfaya en fazla üç-dört tıklama uzaklığında olduğu yapıdır.

İdeal yapı, önemli sayfaların ana sayfaya en fazla üç-dört tıklama uzaklığında olduğu yapıdır. Ayrıca eski ama hâlâ değerli içeriklerinizi düzenli güncellemek, tarama talebini de besler; güncellenen sayfa, tarayıcının radarına yeniden girer ve rakiplerine göre taze sinyaller taşır.

Bu ilkeleri uygularken yol gösterici olarak SEO İçin Site Mimarisi Nasıl Olmalı? rehberimizi kullanabilirsiniz; doğru mimari, tarama bütçesinin kendiliğinden verimli kullanılmasını sağlar.

Mimariyi destekleyen iki araç da bu kapsamdadır: breadcrumb yapısı, botun site hiyerarşisini anlamasını kolaylaştırır; doğru iç linkleme ise otoriteyi ve tarama önceliğini derin sayfalara taşır. İkisi birlikte, önemli sayfaların tarama kuyruğunda öne geçmesini sağlayan görünmez bir asansör işlevi görür.

Tarama Bütçesi ve Çok Dilli Siteler

Çok dilli sitelerde her dil sürümü ayrı bir URL kümesi demektir; sekiz dilli bir site, aynı içeriği sekiz kez taratmış olur.

Dil sürümlerinin hangi yapıda barındığı da bütçeyi etkiler: site.com/tr biçimindeki klasör yapısı, tek alan adı altında tüm sürümleri toplar ve tarayıcıya tek bir varlık sunar; ayrı alt alan adları ise yönetimi ve bütçe planlamasını böler. Hangi yapıyı seçerseniz seçin, kararın sitenin tamamında tutarlı olması gerekir.

Sürüm sayısı arttıkça tarama talebi katlanır ve tek tek sayfaların güncellenme sıklığı düşer.

Hreflang kurulumunun doğru yapılması bu noktada çift fayda sağlar: hem her dil sürümünün doğru kitleye gösterilmesini garanti eder hem de tarayıcının sürümler arasındaki ilişkiyi anlayarak verimli planlama yapmasına yardımcı olur. Kurulum detayları için Hreflang Nedir? yazımıza göz atın.

Ayrıca dil sürümü sayısı arttıkça sunucu yanıt süresinin önemi de katlanır: her sürümün sayfaları ayrı ayrı istendiği için, yavaş bir sunucu sekiz dilde birden aynı darboğazı yaşar. Çok dilli büyük sitelerde hız çalışması, doğrudan tarama bütçesi yatırımıdır.

Tarama İstatistiklerini Nasıl İzlersiniz?

Google Search Console'un Ayarlar bölümündeki Tarama İstatistikleri raporu, Googlebot'un sitenizle ilişkisini üç ana eksende gösterir: toplam tarama isteği sayısı, indirilen veri boyutu ve ortalama yanıt süresi. Bu üç grafiği düzenli izlemek, teknik sorunların erken uyarı sistemidir; örneğin yanıt sürelerindeki ani artış, sunucu tarafında bir darboğazın habercisidir.

Raporları karşılaştırmalı okumak da önemlidir: istek sayısı sabitken indirilen veri boyutunun artması, sayfalarınızın şiştiğine işaret eder; veri boyutu sabitken yanıt süresinin uzaması ise sunucu kapasitesinin zorlandığını gösterir. Bu iki senaryonun çözümü farklıdır, o yüzden grafikleri birlikte yorumlayın.

Bu raporların yorumlanması, düzenli teknik SEO denetiminin parçasıdır; denetim kapsamının tamamını Teknik SEO Nedir? rehberimizde bulabilirsiniz. Google'ın konuya ilişkin resmi büyük site tarama bütçesi dokümantasyonu da derinlemesine incelemek isteyenler için en yetkin kaynaktır.

Sıkça Sorulan Sorular

Tarama bütçesi bir sıralama faktörü mü?

Doğrudan değildir; Google, tarama bütçesinin sıralamayı belirlemediğini açıklar. Ancak önemli sayfalarınız taranamıyorsa indekslenemez, indekslenmeyen sayfa da hiçbir sorguda sıralanamaz; etki bu yoldan gelir. Büyük sitelerde bu dolaylı etki, yeni içeriklerin arama sonuçlarına girme hızıyla ölçülür.

Küçük siteler tarama bütçesinden etkilenir mi?

Hayır. Birkaç yüz sayfalık bir siteyi Googlebot sorunsuz tarar; bütçe yönetimi binlerce sayfalık sitelerin konusudur. Küçük sitelerde asıl öncelik içerik kalitesi ve temel teknik sağlıktır; bütçe endişesiyle sayfaları engellemek küçük sitelerde tam tersine zarar verebilir. Ölçeğiniz büyüdükçe bu rehberdeki adımları kademeli olarak uygulayın.

Tarama sıklığını artırmak mümkün mü?

Doğrudan bir ayar yoktur; ancak sunucu hızını iyileştirmek, hata oranını düşürmek ve içeriği düzenli güncellemek tarama talebini ve limitini birlikte yükseltir. Search Console'dan tekrar tarama istemek yalnızca geçici bir destektir.

Robots.txt tarama bütçesini etkiler mi?

Evet. Gereksiz sayfaları tarama dışında tutmak, kaynakları önemli sayfalara yönlendirir; yanlış engellemeler ise değerli içeriği taramadan mahrum bırakır. Dosyanın doğru kurgulanması bütçe yönetiminin temel taşlarındandır; ancak engelleme kararını verirken sayfanın indekslenmesi gerekip gerekmediğini ayrıca değerlendirin.

Sonuç olarak tarama bütçesi, büyüyen sitelerin görünürlüğünü sessizce yöneten teknik bir dengedir; doğru yönetildiğinde içerikleriniz daha hızlı indekslenir. Tarama verimliliği analizi için SEO Eğitim ekibiyle iletişime geçebilirsiniz.