ALMbot, el rastreador de Keply
Quién es, qué lee, cómo se comporta y cómo excluirlo.
Qué hace
ALMbot construye un catálogo de los sitios públicos: qué es un sitio, dónde está, de qué habla. Sirve para responder a las preguntas de las personas enviándolas a las fuentes originales, con su enlace.
Qué lee, y qué no
ALMbot lee de cada página solo lo que necesita para indexar el sitio en Almagesto, el motor de búsqueda de Keply: el título, los subtítulos, una descripción (la que la página declara o, si falta, su primer párrafo), las imágenes y los medios con sus direcciones. No toma el contenido entero y no lo vuelve a publicar. No lo usa para entrenar modelos.
Cómo se comporta
- Respeta robots.txt y el Crawl-delay.
- Hace una petición cada vez a cada sitio, con una pausa entre una y otra.
- Se detiene cuando el sitio pide esperar (429, 503) y vuelve más tarde.
- Respeta la reserva contra la minería de textos y datos que declare un sitio (Directiva UE 2019/790, art. 4).
Cómo reconocerlo
Se presenta con este user-agent:
ALMbot/1.0 (+https://keply.it/en/almbot.html)
Cómo excluirlo
Añade a tu robots.txt:
User-agent: ALMbot Disallow: /
ALMbot vuelve a leer robots.txt antes de cada ronda: el cambio vale desde la visita siguiente.
Contacto
Para una pregunta o un aviso sobre ALMbot: almbot@keply.it