Problema di sovraccarico cpu per visite di bot

[neo1976]

Buongiorno, Dei bot che partono da server americani (segnalati da alcuni siti come server al 90% di rischio frode) e della Nigeria visitando di continuo il mio sito sovraccaricano la cpu, spesso mandandolo in crash, esiste un metodo per impedire ai bot malevoli di accedere al sito?
Anche googlebot ha eseguito tantissime visite al mio sito, ho provato a diminuire la frequenza di scansione ma nel pannello di google dopo aver verificato il mio sito, non mi appariva alcuna opzione in tal senso e quindi ho disabilitato le visite di google inserendo la riga di codice: User-Agent: Googlebot Disallow: /
nel file robot.txt.
Qualche suggerimento?

[URANIO]

Dovresti poter mettere in blocco l'accesso a determinati IP (dato che conosci i server da cui arrivano), dipende dall'hosting.
robot.txt funziona soltanto con i bot "buoni", diciamo che è una regola che si sono dati per verificare se non vuoi il passaggio dei bot di ricerca, ma nessuno li obbliga a leggerlo e seguire quello che contiene.

[neo1976]

Dovresti poter mettere in blocco l'accesso a determinati IP (dato che conosci i server da cui arrivano), dipende dall'hosting.
robot.txt funziona soltanto con i bot "buoni", diciamo che è una regola che si sono dati per verificare se non vuoi il passaggio dei bot di ricerca, ma nessuno li obbliga a leggerlo e seguire quello che contiene.

Buongiorno Uranio, dal supporto tecnico mi hanno consigliato di inserire un codice su htaccess per bloccare tutti i bot che voglio, ad esempio se volessi bloccare il bot di Google basterebbe mettere i htaccess il seguente codice:

SetEnvIfNoCase User-agent Googlebot/2.1 not-allowed=1
Order Allow,Deny
Allow from ALL
Deny from env=not-allowed

ora ho un dubbio, ho il seguente htaccess:

<IfModule mod_headers.c>
Header set Cache-Control "private"
</IfModule>
<IfModule mod_rewrite.c>
RewriteEngine On
RewriteCond %{REQUEST_URI} !^public
RewriteRule ^(.*)$ public/$1 [L]
</IfModule>

basta aggiungere la riga di codice così? (in questo caso ho messo più bot)

<IfModule mod_headers.c>
Header set Cache-Control "private"
</IfModule>
<IfModule mod_rewrite.c>
RewriteEngine On
RewriteCond %{REQUEST_URI} !^public
RewriteRule ^(.*)$ public/$1 [L]
</IfModule>
SetEnvIfNoCase User-agent Googlebot/2.1 not-allowed=1
Order Allow,Deny
Allow from ALL
Deny from env=not-allowed
SetEnvIfNoCase User-agent AhrefsBot/7.0 not-allowed=1
Order Allow,Deny
Allow from ALL
Deny from env=not-allowed
SetEnvIfNoCase User-agent SemrushBot/7~bl not-allowed=1
Order Allow,Deny
Allow from ALL
Deny from env=not-allowed

[URANIO]

Se cerchi su google trovi molti esempi e anche editor online

[neo1976]

Se cerchi su google trovi molti esempi e anche editor online

Ho provato con quelle righe di codice ma non ha funzionato, ora ho provato con queste righe di codice basandomi sull'esempio fornito da questo sito: https://gist.github.com/dvlop/fca362...09e1e038a3bbc1

# Start Bad Bot Prevention
<IfModule mod_setenvif.c>
# SetEnvIfNoCase User-Agent ^$ bad_bot
SetEnvIfNoCase User-Agent "^AhrefsBot.*" bad_bot
SetEnvIfNoCase User-Agent "^Applebot.*" bad_bot
SetEnvIfNoCase User-Agent "^bingbot.*" bad_bot
SetEnvIfNoCase User-Agent "^DataForSeoBot.*" bad_bot
SetEnvIfNoCase User-Agent "^LivelapBot.*" bad_bot
SetEnvIfNoCase User-Agent "^SemrushBot.*" bad_bot
<Limit GET POST PUT>
  Order Allow,Deny
  Allow from all
  Deny from env=bad_bot
</Limit>
</IfModule>
# End Bad Bot Prevention

però se ho ben capito è destinato a chi ha un server Apache, mentre io ho Nginx, sbaglio? o funziona anche su Nginx?

[URANIO]

Che io sappia no, ma Nginx supporta una cosa simile.

[neo1976]

Che io sappia no, ma Nginx supporta una cosa simile.

al servizio clienti mi hanno appena detto che il mio account è hosted sul server Apache dietro il firewall Nginx.
Poi mi hanno suggerito questo codice da mettere nel file htaccess:

SetEnvIfNoCase User-agent AhrefsBot/7.0 not-allowed=1
SetEnvIfNoCase User-agent bingbot/2.0 not-allowed=1
SetEnvIfNoCase User-agent SemrushBot/7~bl not-allowed=1
SetEnvIfNoCase User-agent Applebot/0.1 not-allowed=1
SetEnvIfNoCase User-agent LivelapBot/0.2 not-allowed=1
SetEnvIfNoCase User-agent DataForSeoBot/1.0 not-allowed=1
Order Allow,Deny
Allow from ALL
Deny from env=not-allowed

l'ho messo ma questi bot continuano a scansionare il mio sito lo stesso, qualche consiglio?

[neo1976]

Problema risolto, le righe di codice sono esatte, funziona.