Yeksa
AnmeldenYeksa kostenlos testen
Für Website-Betreiber

Über YeksaBot

YeksaBot ist der Webcrawler hinter der KI-Wissensdatenbank von Yeksa. Er besucht eine Website nur, wenn einer unserer Kunden diese Website zum Wissen seines KI-Agenten hinzufügt, damit der Agent Fragen mit genauen, aktuellen Informationen beantworten kann.

So erkennst du ihn

YeksaBot identifiziert sich mit diesem User-Agent-String:

YeksaBot/1.0 (+https://yeksa.ai/bot)

Was er tut

  • Er liest nur öffentliche Seiten. Er meldet sich nie an, füllt keine Formulare aus und umgeht keine Paywalls.
  • Er bleibt auf der Website, die er lesen soll, und stoppt pro Crawl bei einer festen Seitenzahl.
  • Er findet Seiten über deine Sitemap und über Links, bis zu vier Ebenen tief.
  • Bei Fehlern versucht er es einige Male erneut und zieht sich dann zurück.
  • In kostenpflichtigen Tarifen kann er eine Website ab und zu erneut besuchen, um das Wissen aktuell zu halten.

Steuerung per robots.txt

YeksaBot befolgt robots.txt. Er verwendet die Gruppe, die an YeksaBot gerichtet ist, oder die *-Gruppe, falls es keine gibt, und er respektiert Crawl-delay. Hat eine Website keine robots.txt, behandelt YeksaBot sie als frei crawlbar.

YeksaBot für deine gesamte Website sperren:

User-agent: YeksaBot
Disallow: /

Ihn aus einem Bereich fernhalten:

User-agent: YeksaBot
Disallow: /private/

Ihn bitten, langsamer zu crawlen:

User-agent: YeksaBot
Crawl-delay: 10

Fragen oder Probleme?

Wenn du glaubst, dass sich YeksaBot auf deiner Website falsch verhält, schreib uns eine E-Mail mit deiner Domain und dem Zeitpunkt, und wir sehen uns das an. info@yeksa.ai