Forum Forum Spazio web Linux IL crawler Ahrefs è un bad bot?

Stai visualizzando 3 post - dal 1 a 3 (di 3 totali)
  • Autore
    Post
  • #1565
    nglegends
    Partecipante

    Salve,
    analizzando i log del mio sito WordPress su hosting Ormag trovo che moltissime visite sono del crawler Ahrefs. Volevo sapere se qualcun altro ci ha avuto a che fare e se siete orientati a disattivarlo con il robot.txt come descritto qui https://help.ormag.net/risparmia-banda-tuo-sito-bloccando-i-bad-bots/618 oppure lasciarlo circolare liberamente sul sito.

    • Questo topic è stato modificato 3 anni, 6 mesi fa da jonium.
    #1566
    jonium
    Amministratore del forum

    Ciao nglegends,
    Ahrefs vende i dati raccolti con il crawling a Google Ads e altri editori di annunci. Se usi Adsense sul tuo sito conviene lasciar eseguire il crawling magari diradandone i passaggi e togliendogli l’autorizzazione a scansionare immagini, PDF, file audio, file video che non servono allo scopo.
    In effetti è un crawler molto “invasivo”, se decidi di diradare la frequenza con cui visita il tuo sito puoi trovare utili le loro stesse istruzioni pubblicate qui https://ahrefs.com/robot/ .
    Aggiungi quindi al tuo robots.txt i seguenti righi:

    User-agent: AhrefsBot
    Crawl-Delay: [value] 

    e al posto di [value] inserisci l’intervallo di tempo espresso in secondi, es. 259200 per 3 giorni.

    • Questa risposta è stata modificata 3 anni, 6 mesi fa da jonium.
    #1569
    jonium
    Amministratore del forum

    Un elenco aggiornato dei bad bot è consultabile qui: http://www.botreports.com/badbots/index.shtml

Stai visualizzando 3 post - dal 1 a 3 (di 3 totali)
  • Devi essere connesso per rispondere a questo topic.