Robots.txt: uitleg, voorbeeld en regels voor AI-crawlers

Robots.txt is een tekstbestand in de hoofdmap van je site dat crawlers vertelt welke adressen ze wel en niet mogen ophalen. Wie in AI-assistenten genoemd wil worden, moet de zoekbots van die assistenten toelaten.

DESANNES werkte deze pagina bij op 4 oktober 2026. Met uitleg, veelgestelde vragen en de officiële bronnen.

Hoe ziet een goed bestand eruit?

User-agent: *
Allow: /
Disallow: /beheer/
Disallow: /*?q=

Sitemap: https://voorbeeld.nl/sitemap.xml

Eén groep voor alle crawlers is meestal genoeg. Blokkeer alleen beheer, interne tools en eindeloze parameteradressen.

Welke AI-crawlers zijn er?

Crawler	Van	Doel
OAI-SearchBot	OpenAI	Zoeken in ChatGPT
GPTBot	OpenAI	Training
Claude-SearchBot	Anthropic	Zoeken in Claude
ClaudeBot	Anthropic	Training
PerplexityBot	Perplexity	Zoekindex
Google-Extended	Google	Training van Gemini

Wil je weten hoe dit er voor jouw site voor staat?

Gratis AI-check

Twee fouten die veel kosten

Een benoemde groep, zoals User-agent: GPTBot, vervangt voor die bot alle algemene regels. Gebruik dat alleen bewust.

Blokkeer nooit een pad waar 301’s op staan. Google moet de doorsturing kunnen zien om het oude adres op te ruimen.

Dit onderwerp hoort bij de dienst Technische SEO en schema.

Bronnen

Geschreven door Raymond Tosch. Laatst bijgewerkt op 4 oktober 2026.

Vragen

Veelgestelde vragen

Haalt robots.txt een pagina uit Google?

Nee. Het voorkomt ophalen, niet indexeren. Gebruik noindex om een pagina uit de index te houden.

Houden alle crawlers zich eraan?

De grote zoekmachines en AI-bedrijven zeggen van wel. Het is een afspraak, geen beveiliging.

Verder lezen

Verwante artikelen

Vindbaarheid

Gratis AI-check

Wat zegt AI nu over jouw bedrijf?

Je krijgt per e-mail een kort overzicht: hoe ChatGPT, Gemini en Perplexity jouw bedrijf nu noemen, met drie verbeterpunten.

Geen verplichtingen. Je gegevens worden alleen voor deze check gebruikt.