Il traffico bot è una parte normale del traffico web. Motori di ricerca, strumenti SEO, servizi di monitoraggio, crawler autorizzati e sistemi automatici visitano ogni giorno milioni di siti per analizzare pagine, verificare contenuti o controllare la disponibilità dei servizi.
Non tutti i bot sono un problema. Alcuni sono utili e necessari, come i crawler dei motori di ricerca. Altri, però, possono consumare risorse, generare richieste inutili, riempire i log o colpire aree sensibili del sito.
Il problema diventa evidente quando un sito rallenta, il consumo di CPU o RAM aumenta, ma le visite reali in Analytics restano stabili. In questi casi, una parte del carico potrebbe dipendere da traffico automatizzato.
In questa guida vediamo cosa significa traffico bot, quali differenze ci sono tra crawler legittimi e bot aggressivi, perché possono rallentare un sito e cosa controllare prima di pensare subito a un upgrade dell’hosting.
Cosa significa traffico bot
Con traffico bot si intendono le visite, le richieste e le operazioni generate da software automatici invece che da utenti reali. Un bot può visitare pagine, leggere contenuti, inviare richieste, tentare accessi, scansionare URL o interrogare endpoint del sito.
Il traffico bot può avere obiettivi molto diversi:
- scansione dei motori di ricerca;
- monitoraggio uptime;
- analisi SEO;
- raccolta di contenuti;
- verifica di vulnerabilità;
- tentativi di login automatici;
- spam su form e commenti;
- scraping di pagine e cataloghi;
- richieste ripetute verso file o endpoint specifici;
- attività malevole o sospette.
La distinzione importante non è solo tra bot “buoni” e bot “cattivi”. Il punto è capire se quel traffico è utile, sostenibile e coerente con il funzionamento del sito.
Bot buoni, crawler e bot malevoli: differenze
Un crawler di un motore di ricerca può essere utile perché aiuta le pagine a essere scoperte e analizzate. Google, per esempio, usa Googlebot per recuperare pagine e risorse legate alla Ricerca.
Esistono anche bot legittimi usati da strumenti di monitoraggio, servizi SEO, piattaforme di sicurezza, sistemi di controllo performance o servizi di anteprima social.
Il problema nasce quando il traffico automatico diventa eccessivo, inutile o dannoso. Alcuni bot visitano troppe pagine in poco tempo. Altri cercano vulnerabilità, raccolgono contenuti, colpiscono form o generano richieste che il sito deve comunque elaborare.
| Tipo di bot | Cosa fa | Rischio principale |
|---|---|---|
| Crawler legittimo | Scansiona pagine per motori di ricerca o servizi autorizzati | Può consumare risorse se la scansione è troppo intensa |
| Bot SEO o monitoring | Analizza pagine, disponibilità, link e performance | Può aumentare le richieste se usato senza controllo |
| Scraper | Raccoglie contenuti, prezzi, immagini o dati | Consuma risorse e può copiare contenuti o cataloghi |
| Scanner automatico | Cerca file, plugin, endpoint o vulnerabilità | Può indicare tentativi di attacco o ricognizione |
| Bot malevolo | Tenta login, spam, exploit o richieste ripetute | Può compromettere sicurezza, prestazioni e stabilità |
Questa distinzione è importante: bloccare tutto non è una buona strategia. Bisogna capire quali bot servono, quali sono tollerabili e quali invece devono essere limitati.
Perché il traffico bot può rallentare un sito
Ogni richiesta ricevuta da un sito richiede una risposta. Anche se non c’è un utente reale dietro la visita, il server deve comunque elaborare la richiesta, restituire una pagina, interrogare il database o eseguire codice.
Il problema è più evidente sui siti dinamici, come WordPress, WooCommerce, portali con login, aree riservate o applicazioni che interrogano spesso il database.
Un bot che visita pagine statiche leggere può avere un impatto limitato. Un bot che colpisce pagine dinamiche, ricerche interne, carrelli, login, API o URL non cacheabili può invece generare molto più carico.
Le risorse più coinvolte sono:
- CPU e processi PHP;
- RAM e memory limit;
- connessioni al database;
- I/O disco;
- banda;
- cache;
- spazio occupato dai log;
- limiti del piano hosting.
Per questo un sito può sembrare lento anche senza un aumento visibile dei visitatori reali.
WordPress, wp-login.php e richieste automatiche
WordPress è spesso bersaglio di traffico automatizzato perché è molto diffuso. Molti bot cercano installazioni WordPress, plugin vulnerabili, file standard, endpoint comuni o pagine di login.
Le richieste più frequenti possono riguardare:
/wp-login.php;/xmlrpc.php;- URL di plugin noti;
- file di backup lasciati online;
- cartelle standard di WordPress;
- endpoint REST API;
- pagine di ricerca interna;
- form di contatto e commenti;
- percorsi amministrativi o tecnici.
Non tutte queste richieste indicano una compromissione. A volte sono scansioni automatiche generiche. Ma se diventano molte, ripetute o concentrate su endpoint sensibili, possono incidere su prestazioni e sicurezza.
Per esempio, molti tentativi verso wp-login.php possono aumentare il carico e rendere più difficile distinguere accessi legittimi da tentativi automatici.
Come riconoscere traffico bot nei log del server
I log del server sono uno degli strumenti più utili per capire se un sito riceve traffico bot. Analytics mostra soprattutto il comportamento degli utenti tracciati, mentre molti bot non eseguono JavaScript, non accettano cookie o non vengono registrati come normali visite.
Nei log conviene osservare soprattutto:
- indirizzo IP;
- data e ora della richiesta;
- URL richiesto;
- codice di risposta HTTP;
- user agent;
- frequenza delle richieste;
- endpoint più colpiti;
- errori generati.
Alcuni segnali tipici sono richieste ripetute dallo stesso IP, user agent vuoti o sospetti, accessi frequenti a file inesistenti, molti errori 404, picchi improvvisi in orari anomali e richieste verso plugin non installati.
Questo non significa che ogni richiesta sospetta sia pericolosa. Serve però a distinguere un normale flusso di traffico da un’attività automatizzata che merita attenzione.
Se vuoi approfondire il tema della diagnosi tecnica, puoi leggere anche la guida sui log del server.
Quando il problema non è il traffico ma il sito
Il traffico bot può consumare risorse, ma non sempre è la causa principale del rallentamento. A volte rende solo più evidente un problema già presente nel sito.
Per esempio, un WordPress con plugin pesanti, database molto grande, cache configurata male o query lente può andare in difficoltà anche con un numero moderato di richieste automatiche.
In questi casi bloccare alcuni bot può aiutare, ma non risolve tutto. Bisogna controllare anche peso delle pagine, plugin attivi, tema utilizzato, query al database, cache, cron job, errori nei log e risorse disponibili.
Il punto è evitare una diagnosi troppo rapida. Se il sito è lento, non è detto che serva subito un upgrade. Ma non è detto nemmeno che basti bloccare un IP.
Prima bisogna capire se il carico dipende da traffico anomalo, da problemi interni del sito o da entrambe le cose.
Robots.txt, crawler e limiti: cosa possono fare davvero
Il file robots.txt può dare indicazioni ai crawler su quali aree del sito possono o non possono richiedere. È utile per gestire la scansione di pagine non importanti, aree ripetitive o sezioni che non devono essere visitate dai crawler dei motori di ricerca.
La documentazione Google sul file robots.txt specifica che può essere usato per gestire il traffico di scansione quando il server rischia di essere sovraccaricato da richieste del crawler, ma chiarisce anche che non deve essere usato come strumento per nascondere pagine dai risultati di ricerca.
Il punto importante è questo: i crawler affidabili di solito rispettano robots.txt, ma i bot malevoli possono ignorarlo.
Quindi robots.txt può aiutare a gestire crawler legittimi, ma non va considerato una misura di sicurezza contro traffico aggressivo o attacchi automatici.
Può essere utile per:
- evitare la scansione di pagine inutili;
- ridurre richieste su aree non rilevanti;
- guidare crawler affidabili;
- migliorare la gestione del crawl budget;
- evitare richieste su URL duplicati o poco utili.
Non è invece sufficiente per bloccare bot malevoli, proteggere aree riservate, impedire attacchi automatici, nascondere informazioni sensibili o fermare scraping aggressivo da parte di bot che ignorano le regole.
WAF, rate limiting e blocco delle richieste sospette
Quando il traffico bot diventa aggressivo, può essere necessario usare strumenti più adatti rispetto al solo robots.txt.
Tra le soluzioni più comuni ci sono WAF, rate limiting, protezione delle pagine di login, challenge per traffico sospetto, filtri su user agent, blocco di endpoint non utilizzati e limitazione di richieste ripetute.
La documentazione Cloudflare sulla gestione dei bot malevoli distingue tra traffico automatizzato legittimo e traffico sospetto o dannoso, e mostra come l’analisi del traffico bot possa aiutare a capire quali pagine vengono colpite e quanto traffico automatizzato riceve un sito.
Il punto non è bloccare tutto. Un blocco troppo aggressivo può creare problemi a crawler utili, servizi di monitoraggio, utenti reali, API o integrazioni legittime.
Una configurazione corretta deve ridurre il traffico inutile o dannoso senza penalizzare quello utile.
Come distinguere traffico utile e traffico da filtrare
Per decidere cosa filtrare bisogna osservare il comportamento del traffico, non solo il nome del bot.
Le domande utili sono:
- quali URL vengono richiesti?
- con quale frequenza?
- da quali IP o reti?
- quali user agent compaiono nei log?
- il traffico genera errori?
- il traffico colpisce aree sensibili?
- il bot rispetta
robots.txt? - il consumo risorse aumenta durante quei picchi?
Un crawler che visita alcune pagine pubbliche in modo regolare può essere accettabile. Un bot che richiede centinaia di volte al minuto wp-login.php, endpoint non usati o URL inesistenti va gestito in modo diverso.
OWASP, nella propria cheat sheet su bot management e anti-automation, chiarisce un principio importante: l’obiettivo non è bloccare tutti i bot, perché esistono crawler, strumenti di monitoraggio e servizi legittimi, ma aumentare il costo dell’automazione abusiva mantenendo accessibile il traffico utile.
Traffico bot, Analytics e visite reali
Uno degli aspetti più confusi riguarda la differenza tra traffico visto dal server e traffico visto dagli strumenti di analytics.
Un server può ricevere molte richieste automatiche, ma queste non sempre compaiono come visite reali in Analytics. Molti bot non eseguono JavaScript, non accettano cookie, non si comportano come utenti normali o vengono filtrati dagli strumenti di analisi.
Per questo può succedere che Analytics mostri visite stabili, mentre i log del server registrano molte più richieste, il consumo risorse aumenta e il sito sembra più lento.
In questi casi non bisogna guardare solo Analytics. Bisogna confrontare log del server, statistiche hosting, consumo risorse, errori, user agent e URL più richiesti.
Solo così è possibile capire se il problema dipende da utenti reali, bot, crawler, errori applicativi o configurazioni del sito.
Quando chiedere supporto tecnico
Il traffico bot può essere difficile da interpretare senza accesso ai log e alle statistiche del server. Per questo conviene chiedere supporto tecnico quando il sito mostra rallentamenti o consumi anomali che non trovano spiegazione nei dati di traffico ordinari.
Una verifica è utile quando il sito è lento ma le visite reali non sono aumentate, il consumo CPU o RAM è alto, i log mostrano molte richieste ripetute, compaiono molti errori 404 o 403, oppure ci sono accessi frequenti a wp-login.php, xmlrpc.php o altri endpoint sensibili.
Una verifica tecnica può aiutare a capire se intervenire su regole di sicurezza, configurazione WordPress, cache, hosting, WAF, risorse server o ottimizzazione del sito.
Se il sito è già lento anche senza traffico anomalo, può essere utile leggere anche l’articolo su quando un hosting condiviso lento richiede una valutazione più ampia.
Conclusioni
Il traffico bot non è sempre negativo. Alcuni bot sono necessari per motori di ricerca, monitoraggio, strumenti SEO e servizi legittimi. Il problema nasce quando crawler aggressivi, scraper, scanner automatici o tentativi ripetuti verso aree sensibili iniziano a consumare risorse e rallentare il sito.
In questi casi il sito può sembrare lento anche se le visite reali non sono aumentate. Per capirlo, non basta guardare Analytics: bisogna analizzare log del server, richieste, user agent, URL colpiti, errori e consumo risorse.
La soluzione non è bloccare tutti i bot e non è nemmeno fare subito upgrade dell’hosting. Prima bisogna distinguere traffico utile, traffico inutile e traffico dannoso.
Solo dopo questa diagnosi ha senso decidere se intervenire con robots.txt, WAF, rate limiting, protezione login, regole di sicurezza, ottimizzazione WordPress o risorse hosting più adeguate.
Se il tuo sito riceve traffico anomalo, consuma troppe risorse o rallenta senza un aumento reale delle visite, noi di HostingPerTe possiamo aiutarti ad analizzare log, richieste, configurazione e prestazioni dell’ambiente hosting.
