ALMbot, il crawler di Keply

Cosa fa

ALMbot costruisce un catalogo dei siti pubblici: che cos'è un sito, dove si trova, di cosa parla. Serve a rispondere alle domande delle persone mandandole alle fonti originali, con il loro collegamento.

Cosa legge, e cosa no

ALMbot legge di ogni pagina solo ciò che serve a indicizzare il sito su Almagesto, il motore di ricerca di Keply: il titolo, i sottotitoli, una descrizione (quella che la pagina dichiara o, se manca, il suo primo paragrafo), le immagini e i media con i loro indirizzi. Non prende il contenuto intero e non lo ripubblica. Non lo usa per addestrare modelli.

Come si comporta

• Rispetta robots.txt e il Crawl-delay.
• Fa una richiesta per volta a ogni sito, con una pausa fra l'una e l'altra.
• Si ferma quando il sito chiede di aspettare (429, 503) e torna più tardi.
• Rispetta la riserva contro l'estrazione di testo e dati dichiarata da un sito (direttiva UE 2019/790, art. 4).

Come riconoscerlo

Si presenta con questo user-agent:

ALMbot/1.0 (+https://keply.it/en/almbot.html)

Come escluderlo

Aggiungi al tuo robots.txt:

User-agent: ALMbot
Disallow: /

ALMbot legge di nuovo robots.txt prima di ogni giro: la modifica vale dalla visita successiva.

Contatti

Per una domanda o una segnalazione su ALMbot: almbot@keply.it