Zo herken je hem
YeksaBot identificeert zich met deze user-agent-string:
YeksaBot/1.0 (+https://yeksa.ai/bot)Wat hij doet
- Hij leest alleen openbare pagina's. Hij logt nooit in, vult geen formulieren in en omzeilt geen betaalmuren.
- Hij blijft op de website die hij moet lezen en stopt bij een vaste paginalimiet per crawl.
- Hij vindt pagina's via je sitemap en via links, tot vier niveaus diep.
- Bij fouten probeert hij het een paar keer opnieuw en daarna trekt hij zich terug.
- Bij betaalde abonnementen kan hij een site af en toe opnieuw bezoeken om de kennis actueel te houden.
Regel hem met robots.txt
YeksaBot volgt robots.txt. Hij gebruikt de groep die aan YeksaBot is gericht, of de *-groep als die er niet is, en hij respecteert Crawl-delay. Heeft een site geen robots.txt, dan beschouwt YeksaBot die als vrij om te crawlen.
Blokkeer YeksaBot op je hele site:
User-agent: YeksaBot
Disallow: /Houd hem weg uit één sectie:
User-agent: YeksaBot
Disallow: /private/Vraag hem langzamer te crawlen:
User-agent: YeksaBot
Crawl-delay: 10Vragen of problemen?
Denk je dat YeksaBot zich op je site misdraagt? Mail ons je domein en het tijdstip waarop het gebeurde, dan zoeken we het uit. info@yeksa.ai