Nasıl tanınır
YeksaBot kendini şu user-agent dizesiyle tanıtır:
YeksaBot/1.0 (+https://yeksa.ai/bot)Ne yapar
- Yalnızca herkese açık sayfaları okur. Asla oturum açmaz, form doldurmaz veya ödeme duvarlarını aşmaz.
- Okuması istenen web sitesinde kalır ve her taramada belirli bir sayfa sınırına ulaşınca durur.
- Sayfaları site haritan ve bağlantılar üzerinden, dört seviye derinliğe kadar bulur.
- Hata aldığında birkaç kez yeniden dener, ardından geri çekilir.
- Ücretli planlarda, bilgileri güncel tutmak için bir siteyi zaman zaman yeniden ziyaret edebilir.
robots.txt ile kontrol et
YeksaBot robots.txt kurallarına uyar. YeksaBot'a yönelik grubu, böyle bir grup yoksa * grubunu kullanır ve Crawl-delay değerine uyar. Bir sitede robots.txt yoksa YeksaBot o siteyi taramaya açık kabul eder.
YeksaBot'u sitenin tamamından engelle:
User-agent: YeksaBot
Disallow: /Tek bir bölümün dışında tut:
User-agent: YeksaBot
Disallow: /private/Yavaşlamasını iste:
User-agent: YeksaBot
Crawl-delay: 10Soruların ya da sorunların mı var?
YeksaBot'un sitende hatalı davrandığını düşünüyorsan, alan adını ve bunun ne zaman olduğunu belirterek bize e-posta gönder; konuyu inceleyelim. info@yeksa.ai