Mogen AI-assistenten je site lezen?
Een assistent kan je alleen aanraden als zijn crawler je site mag lezen. Vul je webadres in, dan zie je per crawler of je robots.txt hem toelaat. Gratis, zonder account, in een paar seconden.
Wat is het verschil tussen zoekbots en trainingsbots?
Zoekbots lezen je site op het moment dat iemand een vraag stelt, zoals OAI-SearchBot voor ChatGPT en Claude-SearchBot voor Claude. Weer je die, dan kan de assistent je niet vinden en dus ook niet aanraden. Trainingsbots, zoals GPTBot en ClaudeBot, verzamelen alleen tekst voor nieuwe modellen. Volgens OpenAI en Anthropic heeft het weren daarvan geen invloed op hun zoekfunctie. Dat is dus een keuze, geen fout.
Hoe zet ik een geweerde zoekbot weer open?
Open het bestand robots.txt in de hoofdmap van je site, of laat je webbouwer dat doen. Haal de regel weg die de bot weert, of zet er expliciet een toestemming bij, zoals hieronder. Een wijziging in robots.txt werkt meestal binnen een dag.
User-agent: OAI-SearchBot Allow: / User-agent: Claude-SearchBot Allow: / User-agent: PerplexityBot Allow: /
Mag alles lezen, maar word je toch niet genoemd?
Toegang is de eerste stap, geen garantie. Of een assistent je noemt, hangt af van wat er op je site staat en op welke andere sites je genoemd wordt. Dat meet de gratis scan van Oddrank: die stelt de vragen die jouw klanten stellen en laat zien wie er in jouw plaats genoemd wordt.