Teknik SEO: Tarama ve İndeksleme Temelleri

Teknik SEO, içeriğinizin ne kadar iyi olduğundan bağımsız olarak, arama motorlarının sitenizi bulabilmesini, gezebilmesini ve doğru şekilde dizine ekleyebilmesini sağlayan altyapı katmanıdır. En güzel makaleyi yazsanız bile, Googlebot sayfaya ulaşamıyor ya da onu indekslemiyorsa, o sayfa arama sonuçlarında yok demektir. Bu yazıda taramanın (crawling) ve indekslemenin (indexing) nasıl çalıştığını, crawl bütçesini, robots.txt dosyasını ve indeksleme kontrollerini pratik örneklerle ele alıyoruz.

Tarama ve indeksleme: iki ayrı aşama

Arama motorlarının bir sayfayı sonuçlarda göstermesi iki adımdan geçer ve bunları karıştırmak en sık yapılan hatadır:

Tarama (crawling): Googlebot bir URL'yi ziyaret eder, HTML'i indirir, sayfadaki bağlantıları takip ederek yeni URL'ler keşfeder.
İndeksleme (indexing): Taranan içerik işlenir, anlamlandırılır ve arama indeksine eklenir. Ancak indekslenen bir sayfa sonuçlarda gösterilmeye uygun hale gelir.

Kritik nokta: bir sayfanın taranması, indeksleneceği anlamına gelmez. Aynı şekilde taramayı engellersen, Google sayfanın içeriğini göremediği için onu indeksten çıkaracağını da garanti edemezsin. Bu ayrım, robots.txt ile noindex arasındaki farkın temelidir.

Crawl bütçesi nedir, ne zaman önemlidir?

Crawl bütçesi, Google'ın belirli bir sürede sitenizden tarayacağı URL sayısının pratik bir karşılığıdır. İki bileşenden oluşur: sunucunuzun ne kadar yükü kaldırabildiğini gösteren tarama kapasitesi ve Google'ın içeriğinizi ne kadar taramak istediğini gösteren tarama talebi.

Çoğu küçük site (birkaç yüz sayfa) için crawl bütçesi bir sorun değildir; Google bu sayfaları sorunsuz tarar. Crawl bütçesi şu durumlarda önem kazanır:

On binlerce ya da milyonlarca URL barındıran büyük siteler (e-ticaret, ilan siteleri).
URL parametreleriyle üreyen filtre/sıralama kombinasyonları (faceted navigation).
Yavaş yanıt veren ya da sık 5xx hatası döndüren sunucular — Google yükü görünce tarama hızını düşürür.

Bütçeyi verimli kullanmanın yolu, düşük değerli URL'leri Google'ın gözünden uzak tutup tarama gücünü gerçekten önemli sayfalara yönlendirmektir. Bunu yaparken doğru aracı seçmek önemlidir.

robots.txt: taramayı yönlendirmek

robots.txt, sitenin kök dizinindeki (https://siteniz.com/robots.txt) düz metin dosyasıdır ve botlara hangi yolları taramamalarını önerir. Bu bir erişim engeli değil, bir görgü kuralıdır; saygılı botlar (Googlebot dahil) buna uyar. Temel bir örnek:

User-agent: *
Disallow: /admin/
Disallow: /cart/
Disallow: /*?sort=

Sitemap: https://siteniz.com/sitemap.xml

Burada en kritik kavramsal hata şudur: Disallow taramayı engeller, indekslemeyi değil. Eğer dışarıdan bir sayfaya çok sayıda bağlantı veriliyorsa, Google o URL'yi robots.txt ile engellenmiş olmasına rağmen yine de indeksleyebilir — ama içeriğini okuyamadığı için sonuçlarda "Bu sayfa için açıklama yok" şeklinde çıkar. Bir sayfanın indekse girmemesini istiyorsanız, taramasını engellemeyin; tam tersine Google'ın sayfayı taramasına izin verin ki noindex etiketini görebilsin.

noindex ve indeksleme kontrolleri

Bir sayfayı indeksten tutmak için meta robots etiketini ya da HTTP başlığını kullanın. Sayfanın <head> kısmına eklenen etiket:

<meta name="robots" content="noindex, follow">

HTML olmayan dosyalar (PDF, görsel) için aynı etkiyi HTTP başlığıyla verebilirsiniz:

X-Robots-Tag: noindex

İndeksleme yönetiminde sık kullanılan diğer araçlar:

Canonical etiketi: <link rel="canonical" href="..."> ile birden çok benzer URL arasından "asıl" sürümü işaret edersiniz; yinelenen içerik sinyallerini tek URL'de toplar.
301 yönlendirme: Kalıcı taşınan sayfaları tek bir hedefe yönlendirir ve link değerini aktarır.
XML site haritası: İndekslenmesini istediğiniz kanonik URL'lerin listesi; keşfi hızlandırır ama indekslemeyi garanti etmez.

Site haritaları ve iç bağlantı

Bir XML site haritası, Google'a "şu URL'ler benim için önemli" demenin en doğrudan yoludur. Yalnızca indekslenebilir, 200 dönen, kanonik URL'leri içermeli; noindex'li veya yönlendirilen sayfaları listelememelidir. Basit bir giriş şöyle görünür:

<url>
  <loc>https://siteniz.com/blog/teknik-seo</loc>
  <lastmod>2026-06-27</lastmod>
</url>

Yine de Google'ın URL'leri keşfetmesinin asıl yolu iç bağlantılardır. Hiçbir sayfadan link almayan "öksüz" (orphan) sayfalar nadiren taranır. Önemli sayfalarınıza navigasyondan, içerik gövdesinden ve ilgili yazılardan anlamlı bağlantılar verin; böylece hem kullanıcı hem bot için keşfi kolaylaştırırsınız.

Render ve JavaScript

Modern siteler içeriğin bir kısmını JavaScript ile istemci tarafında üretir. Google bunu işleyebilir, ancak render iki aşamalı bir süreçtir: önce HTML taranır, sonra render kuyruğunda JavaScript çalıştırılır. Kritik içeriğinizi yalnızca istemci tarafı render'a bırakmak, indekslemeyi geciktirebilir ya da bazı bağlantıların hiç keşfedilmemesine yol açabilir. Mümkün olduğunca sunucu tarafı render (SSR) veya statik üretim kullanın ki ham HTML'de görünür olsun.

Doğrulama: ne taranıyor, ne indeksleniyor?

Tahmin etmek yerine ölçün. Google Search Console'daki URL Denetleme aracı tek bir sayfanın taranma ve indeksleme durumunu, kanonik seçimini ve render edilmiş HTML'i gösterir. Sayfalar (Indexing) raporu ise hangi URL'lerin neden hariç tutulduğunu listeler. Sunucu günlüklerini (log) inceleyerek Googlebot'un gerçekte hangi URL'leri ne sıklıkta ziyaret ettiğini de görebilirsiniz — bu, crawl bütçesi sorunlarını teşhis etmenin en kesin yoludur.

Sık Sorulan Sorular

robots.txt ile engellersem sayfa indeksten kalkar mı?

Hayır, garantisi yoktur. Disallow yalnızca taramayı durdurur. Halihazırda indekslenmiş bir URL, engellendikten sonra da bir süre indekste kalabilir. Bir sayfayı kesin olarak indeksten çıkarmak için taramasına izin verip noindex etiketi koyun.

Küçük bir blogda crawl bütçesini dert etmeli miyim?

Genellikle hayır. Birkaç yüz sayfalık bir sitede Google tüm URL'leri rahatça tarar. Sayfa sayınız on binlere ulaşır veya parametreli URL'ler çoğalırsa bütçe önem kazanmaya başlar.

Site haritası eklemek sıralamamı yükseltir mi?

Doğrudan hayır. Site haritası bir sıralama faktörü değil, bir keşif yardımcısıdır; Google'ın URL'lerinizi daha hızlı bulmasını sağlar ama içerik kalitesi ve bağlantıların yerini tutmaz.

Sitenizin tarama ve indeksleme sağlığını birlikte gözden geçirelim. Search Console verilerinizi, robots.txt ve site haritası kurulumunuzu inceleyip somut bir iyileştirme planı çıkarabilirim. Benimle iletişime geçin.