- Questo topic ha 2 risposte, 2 partecipanti ed è stato aggiornato l'ultima volta 5 anni, 11 mesi fa da .
-
Post
-
Salve,
analizzando i log del mio sito WordPress su hosting Ormag trovo che moltissime visite sono del crawler Ahrefs. Volevo sapere se qualcun altro ci ha avuto a che fare e se siete orientati a disattivarlo con il robot.txt come descritto qui https://help.ormag.net/risparmia-banda-tuo-sito-bloccando-i-bad-bots/618 oppure lasciarlo circolare liberamente sul sito.Ciao nglegends,
Ahrefs vende i dati raccolti con il crawling a Google Ads e altri editori di annunci. Se usi Adsense sul tuo sito conviene lasciar eseguire il crawling magari diradandone i passaggi e togliendogli l’autorizzazione a scansionare immagini, PDF, file audio, file video che non servono allo scopo.
In effetti è un crawler molto “invasivo”, se decidi di diradare la frequenza con cui visita il tuo sito puoi trovare utili le loro stesse istruzioni pubblicate qui https://ahrefs.com/robot/ .
Aggiungi quindi al tuo robots.txt i seguenti righi:User-agent: AhrefsBot Crawl-Delay: [value]e al posto di [value] inserisci l’intervallo di tempo espresso in secondi, es. 259200 per 3 giorni.
Un elenco aggiornato dei bad bot è consultabile qui: http://www.botreports.com/badbots/index.shtml
- Devi essere connesso per rispondere a questo topic.