Technische SEO: basis van crawlen en indexeren

Technische SEO is de infrastructuurlaag waarmee zoekmachines je site kunnen vinden, crawlen en correct indexeren, hoe goed je content ook is. Je kunt het beste artikel ter wereld schrijven, maar als Googlebot de pagina niet kan bereiken of ervoor kiest die niet te indexeren, bestaat die pagina simpelweg niet in de zoekresultaten. In deze gids lopen we door hoe crawlen en indexeren echt werken, wat crawlbudget is, wat robots.txt doet en welke indexeringscontroles je werkelijk hebt, met praktische voorbeelden.

Crawlen en indexeren: twee aparte fasen

Om in de resultaten te verschijnen, doorloopt een pagina twee stappen, en die door elkaar halen is de meest gemaakte fout:

Crawlen: Googlebot bezoekt een URL, downloadt de HTML en volgt de links op de pagina om nieuwe URL's te ontdekken.
Indexeren: de gecrawlde content wordt verwerkt, begrepen en aan de zoekindex toegevoegd. Pas een geïndexeerde pagina komt in aanmerking om in de resultaten te verschijnen.

Het kernpunt: dat een pagina gecrawld wordt, betekent niet dat ze geïndexeerd wordt. Andersom kun je, als je crawlen blokkeert, niet garanderen dat Google de pagina laat vallen, omdat het de content niet meer kan zien om naar te handelen. Dit onderscheid is de basis van het verschil tussen robots.txt en noindex.

Wat is crawlbudget, en wanneer is het belangrijk?

Crawlbudget is het praktische aantal URL's dat Google binnen een bepaald tijdsbestek van je site crawlt. Het bestaat uit twee onderdelen: crawlcapaciteit, die weerspiegelt hoeveel belasting je server aankan, en crawlvraag, die weerspiegelt hoe graag Google je content daadwerkelijk wil crawlen.

Voor de meeste kleine sites (een paar honderd pagina's) is crawlbudget geen probleem; Google crawlt ze zonder moeite. Het wordt belangrijk wanneer je hebt:

Grote sites met tienduizenden of miljoenen URL's (e-commerce, advertentiesites).
Filter-/sorteercombinaties die zich vermenigvuldigen via URL-parameters (facetnavigatie).
Trage servers of frequente 5xx-fouten — als Google belasting ziet, verlaagt het de crawlsnelheid.

Je budget goed besteden betekent URL's met weinig waarde uit het pad van Google houden en de crawlkracht sturen naar de pagina's die er echt toe doen. Daarvoor het juiste gereedschap kiezen is essentieel.

robots.txt: het crawlen sturen

robots.txt is een platte-tekstbestand in de hoofdmap van de site (https://jouwsite.com/robots.txt) dat bots adviseert welke paden niet te crawlen. Het is geen toegangsblokkade maar een vorm van etiquette; nette bots (Googlebot inbegrepen) houden zich eraan. Een basisvoorbeeld:

User-agent: *
Disallow: /admin/
Disallow: /cart/
Disallow: /*?sort=

Sitemap: https://jouwsite.com/sitemap.xml

De meest kritieke conceptuele fout hier is deze: Disallow blokkeert het crawlen, niet het indexeren. Als een pagina veel externe links krijgt, kan Google die URL alsnog indexeren ondanks de robots.txt-blokkade — maar omdat het de content niet kan lezen, verschijnt ze met "Er is geen informatie beschikbaar voor deze pagina". Wil je dat een pagina buiten de index blijft, blokkeer het crawlen dan niet; laat Google de pagina juist crawlen zodat het de noindex-tag kan zien.

noindex en indexeringscontroles

Om een pagina buiten de index te houden, gebruik je de meta robots-tag of een HTTP-header. De tag die je in de <head> van de pagina plaatst:

<meta name="robots" content="noindex, follow">

Voor niet-HTML-bestanden (PDF's, afbeeldingen) bereik je hetzelfde effect met een HTTP-header:

X-Robots-Tag: noindex

Andere veelgebruikte hulpmiddelen bij indexeringsbeheer:

Canonical-tag: <link rel="canonical" href="..."> wijst de "primaire" versie aan onder meerdere vergelijkbare URL's en bundelt signalen van dubbele content op één URL.
301-redirect: stuurt permanent verplaatste pagina's naar één doel en geeft linkwaarde door.
XML-sitemap: een lijst van de canonieke URL's die je geïndexeerd wilt hebben; het versnelt de ontdekking maar garandeert geen indexering.

Sitemaps en interne links

Een XML-sitemap is de meest directe manier om Google te zeggen "deze URL's zijn belangrijk voor mij". Het mag alleen indexeerbare, 200-teruggevende, canonieke URL's bevatten; het mag geen noindex- of doorverwezen pagina's vermelden. Een eenvoudige vermelding ziet er zo uit:

<url>
  <loc>https://jouwsite.com/blog/technische-seo</loc>
  <lastmod>2026-06-27</lastmod>
</url>

Toch is de belangrijkste manier waarop Google URL's ontdekt nog steeds interne links. "Wees"-pagina's (orphan pages) die van geen enkele pagina een link krijgen, worden zelden gecrawld. Geef je belangrijke pagina's zinvolle links vanuit de navigatie, de contenttekst en gerelateerde artikelen; zo maak je de ontdekking makkelijker voor zowel gebruikers als bots.

Rendering en JavaScript

Moderne sites genereren een deel van hun content client-side met JavaScript. Google kan dit verwerken, maar rendering is een tweetraps proces: eerst wordt de HTML gecrawld, daarna wordt JavaScript uitgevoerd in een render-wachtrij. Je kritieke content alleen aan client-side rendering overlaten kan indexering vertragen of ervoor zorgen dat sommige links nooit ontdekt worden. Gebruik waar mogelijk server-side rendering (SSR) of statische generatie, zodat de content zichtbaar is in de ruwe HTML.

Verificatie: wat wordt gecrawld, wat wordt geïndexeerd?

Meet in plaats van gissen. De tool URL-inspectie in Google Search Console toont de crawl- en indexeringsstatus van één pagina, de canonieke keuze en de gerenderde HTML. Het rapport Pagina's (Indexering) toont welke URL's zijn uitgesloten en waarom. Door je serverlogs te bekijken, zie je ook welke URL's Googlebot daadwerkelijk bezoekt en hoe vaak — de meest precieze manier om crawlbudgetproblemen te diagnosticeren.

Veelgestelde vragen

Verdwijnt een pagina uit de index als ik die in robots.txt blokkeer?

Nee, daar is geen garantie voor. Disallow stopt alleen het crawlen. Een al geïndexeerde URL kan er nog een tijd in blijven, zelfs na blokkering. Om een pagina zeker uit de index te halen, sta je crawlen toe en voeg je een noindex-tag toe.

Moet ik me zorgen maken over crawlbudget bij een kleine blog?

Meestal niet. Op een site met een paar honderd pagina's crawlt Google elke URL moeiteloos. Budget begint te tellen wanneer je paginaaantal de tienduizenden bereikt of geparametriseerde URL's zich vermenigvuldigen.

Stijgt mijn ranking door een sitemap toe te voegen?

Niet direct. Een sitemap is een ontdekkingshulp, geen rankingfactor; het helpt Google je URL's sneller te vinden maar vervangt geen contentkwaliteit en links.

Laten we samen de crawl- en indexeringsgezondheid van je site doornemen. Ik kan je Search Console-data, je robots.txt- en sitemap-configuratie analyseren en een concreet verbeterplan opstellen. Neem contact met me op.