Robots.txt, web sitenizin kök dizininde bulunan ve arama motoru tarayıcılarına hangi sayfaları tarayabileceklerini, hangilerinden uzak durmaları gerektiğini söyleyen düz metin bir dosyadır. Standart, 1994 yılında Martijn Koster tarafından önerildi ve bugün Google, Bing ile Yandex dahil tüm büyük arama motorları bu dosyayı tanıyıp kurallarına uyar.
Dosyanın adresi her zaman aynı ve sabittir: www.siteniz.com/robots.txt. Bir arama motoru botu sitenize geldiğinde ilk olarak bu adresi ister; dosyada yazan kurallara göre tarama listesini daraltır ya da genişletir. Kuralları doğru yazdığınızda robots.txt botlara yol gösteren bir tabela gibi çalışır; yanlış yazdığınızda ise sitenizin önemli bölümlerini kazara arama sonuçlarından uzaklaştırabilirsiniz. Bu yüzden dosyanın her satırı, yayınlanmadan önce dikkatle kontrol edilmeyi hak eder.
Robots.txt, sitenizin genel görünürlük stratejisinin küçük ama kritik bir parçasıdır. Arama motoru optimizasyonunun bütününe hâkim olmak için SEO Nedir? yazımıza göz atabilirsiniz; bu rehberde ise doğrudan robots.txt dosyasının nasıl kullanılacağına odaklanacağız.
Robots.txt Nasıl Çalışır?
Bir arama motoru botu sitenize geldiğinde sırasıyla şu adımları izler: önce robots.txt dosyasını indirir, kuralları yorumlar, ardından izin verilen sayfaları taramaya başlar. Dosya hiç yoksa bot, tüm sayfaların taranabilir olduğunu varsayar ve siteyi olduğu gibi dolaşır. Erişilemeyen bir robots.txt dosyası ise taramayı geçici olarak yavaşlatabilir; bu yüzden dosyanın her zaman 200 durum koduyla erişilebilir olması gerekir.
Botlar dosyayı belirli aralıklarla yeniden indirir; yaptığınız bir değişiklik genellikle bir sonraki tarama turunda devreye girer. Ayrıca kurallar botun dosyayı okuduğu andaki içeriğe göre uygulanır, yani dosyayı güncellediğinizde eski kuralların bir süre daha geçerli kalabileceğini hesaba katın.
Burada ince ama önemli bir ayrım var: robots.txt yalnızca tarama davranışını yönetir; bir sayfanın indekse alınıp alınmayacağı konusunda kesin bir talimat vermez. Bu ayrımın pratik sonuçlarını birazdan ayrıntılı biçimde ele alacağız. Kuralların tarayıcılar tarafından nasıl yorumlandığını Google'ın resmi Search Central robots.txt dokümantasyonunda inceleyebilirsiniz.
Somutlaştırmak için küçük bir örnek dosyaya bakalım. Aşağıdaki içerik, tüm botlara siteyi tarama izni verirken yalnızca yönetim klasörünü kapatır: ilk satırda User-agent: *, ikinci satırda Disallow: /admin/, son satırda ise Sitemap: https://www.siteniz.com/sitemap.xml yazılıdır. Bu üç satır, çoğu küçük sitenin ihtiyacını karşılayan eksiksiz bir robots.txt örneğidir.
Robots.txt Dosyasının Temel Kuralları
Dosya, üç temel komut etrafında kurulur: User-agent, Disallow ve Allow. Kurallar satır satır okunur, her satır tek bir talimat içerir ve eşleşen ilk kural uygulanır. Bu üç komutun yanı sıra bir de botlara yol gösteren Sitemap satırı vardır.
| Komut | İşlevi | Örnek Kullanım |
|---|---|---|
| User-agent | Kuralın hedef botunu seçer | User-agent: Googlebot |
| Disallow | Bir yolun taranmasını engeller | Disallow: /admin/ |
| Allow | Engel içinde istisna tanımlar | Allow: /admin/giris/ |
| Sitemap | Site haritası adresini bildirir | Sitemap: https://site.com/sitemap.xml |
User-agent
Kuralın hangi bota uygulanacağını belirtir. Yıldız işareti (*) tüm botları kapsar; Googlebot veya Bingbot yazarak yalnızca o botu hedefleyebilirsiniz. Farklı botlar için alt alta ayrı kural blokları oluşturmanız mümkündür; aynı site için Google'a ve Yandex'e farklı davranışlar tanımlayabilirsiniz.
Disallow ve Allow
Disallow, belirtilen yolun taranmamasını ister; Allow ise Disallow kapsamındaki bir istisnayı açar. Örneğin Disallow: /admin/ satırı yönetim klasörünüzün tamamını engellerken, Disallow: /eski-katalog yalnızca tek bir sayfayı kapatır. Yolun sonundaki eğik çizgiye özellikle dikkat edin: /kategori ile /kategori/ farklı kapsamlar ifade eder ve karıştırıldığında beklenmedik engellemeler ortaya çıkar.
Sitemap satırı
Sitemap: https://www.siteniz.com/sitemap.xml satırı, botlara site haritanızın adresini bildirir ve dosyanın herhangi bir satırında yer alabilir. Site haritasının ne olduğunu ve nasıl hazırlandığını XML Sitemap Nedir? yazımızda ayrıntılı biçimde anlattık.
Robots.txt Nasıl Oluşturulur ve Test Edilir?
Dosya, herhangi bir metin düzenleyicide yazılır ve sitenizin kök dizinine yüklenir. Süreç dört basit adımdan oluşur:
- Not Defteri veya benzeri bir düzenleyicide kurallarınızı yazın ve dosyayı robots.txt adıyla, tamamı küçük harf olacak şekilde kaydedin.
- Dosyayı sitenizin kök dizinine (public_html) yükleyin; alt klasöre konan bir robots.txt dosyası geçersiz sayılır.
- Tarayıcınızda www.siteniz.com/robots.txt adresini açarak dosyanın görüntülendiğini doğrulayın.
- Google Search Console'daki robots.txt test aracıyla belirli URL'lerin engellenip engellenmediğini tek tek denetleyin.
Yeni bir site için başlangıç noktası olarak sade bir dosya yeterlidir: User-agent: * satırıyla tüm botlara izin verip yalnızca Sitemap satırı eklemek, çoğu küçük site için doğru başlangıçtır. Kuralları yalnızca gerçekten engellemeniz gereken alanlar olduğunda genişletin; az kural, az hata demektir.
Hangi alanların engellenmesi gerektiğine örnek vermek gerekirse; site içi arama sonuçları, hesap giriş sayfaları, sepet ve ödeme ekranları ile yazıcı dostu sürümler gibi kullanıcının arama sonuçlarından ulaşması anlamlı olmayan bölümler listenin başında gelir. Bu sayfaları engellemek hem indeksin temiz kalmasını sağlar hem de tarama kaynaklarını ürün ve içerik sayfalarınıza yönlendirir.
Bir de teknik sınır var: Google, yaklaşık 500 KB'a kadar olan dosyaları işler; bu sınırın üzerindeki içerik yok sayılır. Uygulamada bu sınıra ulaşan site sayısı çok azdır, yine de dosyanın gereksiz yere şişmemesine özen gösterin.
Robots.txt ile Neleri Yapamazsınız?
En yaygın yanılgı, robots.txt'nin bir sayfayı arama sonuçlarından tamamen çıkardığını sanmaktır. Engellenen bir sayfa, başka sitelerden bağlantı alıyorsa indekste görünmeye devam edebilir; yalnızca içeriği taranamaz ve başlıksız, açıklamasız bir giriş olarak listelenebilir.
Benzer biçimde robots.txt, birbirinin kopyası sayfalar arasında tercih yapmaz. Hangi sürümün ana sürüm olduğunu belirtmek için Canonical Etiketi Nedir? yazımızdaki yöntemi kullanmanız gerekir.
Üstelik engelleme, yapılandırılmış verilerinizin okunmasını da önleyebilir. Ürün ve kuruluş bilgilerinizin arama sonuçlarında zengin biçimde görünmesini istiyorsanız Schema Markup Nedir ve Nasıl Eklenir? rehberimize göz atın.
Kısacası robots.txt bir içerik yönetim aracı değil, bir tarama rehberidir. Bir sayfanın indeksten çıkarılması gibi kararlar, sayfanın kendisinde verilen meta yönergeleriyle yönetilir; bu iki mekanizmayı birbirinin yerine koymamak gerekir.
Yaygın Robots.txt Hataları
Küçük ve orta ölçekli sitelerde karşılaştığımız hataların büyük bölümü birkaç başlıkta toplanıyor:
- Tüm siteyi kazara engellemek: Disallow: / satırı sitenin tamamını taramaya kapatır ve sıralamaların hızla çökmesine yol açar.
- CSS ve JavaScript kaynaklarını engellemek: Googlebot sayfayı tam olarak işleyemez; mobil uyumluluk ve görselleştirme sinyalleri zayıflar.
- Yol yazım hataları: Yanlış eğik çizgi kullanımı veya eksik klasör adı, istenmeyen sonuçlar doğurur.
- Dosyayı alt klasöre koymak: robots.txt yalnızca kök dizinde geçerlidir; doğru konumda olduğundan emin olun.
- Engellenmesi gerekenleri açık bırakmak: Yönetim panelleri, arama sonuçları sayfaları ve test ortamları taramaya açık kalır.
Bu hataların en sinsi yanı, çoğu zaman hemen fark edilmemeleridir. Site taşınmaları ve tema değişiklikleri sırasında dosyanın üzerine yanlışlıkla eski bir kopya yazılması, haftalarca süren görünürlük kaybının kaynağı olabilir; bu yüzden her büyük değişiklikten sonra Search Console üzerinden dosyayı yeniden denetleyin.
Bunlara ek olarak, taşıma ve yenileme süreçlerinde iki robots.txt arasında tutarsızlık oluşması da sık görülür: geliştirme ortamındaki dosya ile canlı sitedeki dosya farklı kurallar içerdiğinde, testler doğru sonuç verse bile canlıda istenmeyen engellemeler yaşanabilir. Yayına almadan önce iki kopyayı satır satır karşılaştırmak küçük ama etkili bir önlemdir.
WordPress'te Robots.txt Yönetimi
WordPress kullanıyorsanız robots.txt dosyasını elle düzenlemek zorunda değilsiniz. Yoast SEO ve Rank Math gibi eklentiler, dosyayı yönetim paneli üzerinden düzenlemenize ve değişiklikleri anında test etmenize olanak tanır. Hangi eklentinin size uygun olduğuna karar vermek için En İyi WordPress SEO Eklentileri karşılaştırmamıza bakabilirsiniz.
WordPress sitelerinde wp-admin ve wp-includes klasörleri varsayılan olarak engellenmeye adaydır; bu sayfaların arama sonuçlarında görünmesi hem güvenlik hem de kalite açısından istenmez. Eklenti kullanmıyorsanız dosyayı FTP üzerinden kök dizine yüklemek en basit yoldur. Her iki durumda da değişiklikten sonra Search Console'daki test aracıyla son durumu doğrulamayı alışkanlık haline getirin.
Ayrıca çoğu ajans, geliştirme aşamasındaki siteleri arama motorlarından gizlemek için test ortamını Disallow ile kapatır. Böylece yarım kalmış sayfalar indekse girmez ve site yayına alındığında temiz bir başlangıç yapılır. Yayın günü geldiğinde bu kuralın kaldırıldığını kontrol etmeyi de ihmal etmeyin.
Robots.txt'in SEO'ya Etkisi
Robots.txt doğrudan bir sıralama faktörü değildir; ancak dolaylı etkileri büyüktür. Yanlış bir engelleme, değerli içeriklerinizin taranmasını durdurur; doğru bir engelleme ise tarama kaynaklarını önemli sayfalara yönlendirir. Dosya, teknik SEO denetimlerinin vazgeçilmez başlıklarından biridir; diğer bileşenleri Teknik SEO Nedir? rehberimizde topladık.
E-ticaret sitelerinde tablo çok daha net ortaya çıkar: yüzlerce filtrelenmiş listeleme sayfasını engelleyen bir site, tarama kaynaklarını kategori ve ürün sayfalarına saklar. Binlerce gereksiz URL'yi açık bırakan bir site ise botların zamanını boşa harcar ve güncellemelerin geç indekslenmesine zemin hazırlar.
Bir diğer dolaylı etki mobil indeksleme üzerinden gelir: Google, sayfaları mobil öncelikli olarak değerlendirir. Mobil sürümdeki kaynaklar engellendiğinde sayfanızın mobilde nasıl göründüğü doğru analiz edilemez ve masaüstünde iyi olan bir sayfa, eksik sinyaller nedeniyle hak ettiği sıralamayı alamayabilir.
Unutmayın: engellenen CSS ve JavaScript dosyaları, Googlebot'un sayfanızı doğru biçimde işlemesini engeller. Sayfa yükleme sürenizi asıl iyileştiren çalışmaları ise Sayfa Hızı Optimizasyonu Nasıl Yapılır? yazımızda derledik.
Sıkça Sorulan Sorular
Robots.txt dosyası olmazsa ne olur?
Dosya bulunmadığında botlar tüm sayfaları taranabilir kabul eder. Küçük siteler için bu genellikle sorun değildir; ancak yönetim panelleri, test ortamları ve gereksiz sayfalar taramaya açık kalır.
Robots.txt bir sayfayı arama sonuçlarından tamamen kaldırır mı?
Hayır. Engellenen sayfa indekste kalmaya devam edebilir; sayfanın sonuçlardan kaldırılması için noindex gibi farklı yöntemler gerekir.
Robots.txt değişiklikleri ne zaman etkili olur?
Google, kuralları bir sonraki taramada uygular. Bu süre saatler ile birkaç gün arasında değişir; Search Console üzerinden tekrar tarama isteği göndererek süreci hızlandırabilirsiniz.
Bu süre saatler ile birkaç gün arasında değişir; Search Console üzerinden tekrar tarama isteği göndererek süreci hızlandırabilirsiniz. Değişikliğin etkisini doğrulamak için URL Denetleme aracındaki son tarama tarihini de takip edebilirsiniz.
Robots.txt büyük/küçük harf duyarlı mıdır?
Dosya adı küçük harfle yazılmalıdır; kurallardaki yollar ise büyük/küçük harf duyarlıdır. /Kategori ile /kategori iki farklı adres olarak değerlendirilir.
/Kategori ile /kategori iki farklı adres olarak değerlendirilir. Bu yüzden kuralları yazarken klasör adlarınızın büyük/küçük harf düzenine sadık kalmanız önemlidir.
Sonuç olarak robots.txt; küçük bir dosya olmasına rağmen sitenizin taranma verimliliğini doğrudan yönetir ve yanlış kullanımı ciddi görünürlük kayıplarına yol açabilir. Teknik altyapınızın tamamını profesyonel bir gözle denetletmek isterseniz SEO Eğitim ekibiyle iletişime geçebilirsiniz.
