Problema di sovraccarico cpu per visite di bot

[neo1976]

Dovresti poter mettere in blocco l'accesso a determinati IP (dato che conosci i server da cui arrivano), dipende dall'hosting.
robot.txt funziona soltanto con i bot "buoni", diciamo che è una regola che si sono dati per verificare se non vuoi il passaggio dei bot di ricerca, ma nessuno li obbliga a leggerlo e seguire quello che contiene.

Buongiorno Uranio, dal supporto tecnico mi hanno consigliato di inserire un codice su htaccess per bloccare tutti i bot che voglio, ad esempio se volessi bloccare il bot di Google basterebbe mettere i htaccess il seguente codice:

SetEnvIfNoCase User-agent Googlebot/2.1 not-allowed=1
Order Allow,Deny
Allow from ALL
Deny from env=not-allowed

ora ho un dubbio, ho il seguente htaccess:

<IfModule mod_headers.c>
Header set Cache-Control "private"
</IfModule>
<IfModule mod_rewrite.c>
RewriteEngine On
RewriteCond %{REQUEST_URI} !^public
RewriteRule ^(.*)$ public/$1 [L]
</IfModule>

basta aggiungere la riga di codice così? (in questo caso ho messo più bot)

<IfModule mod_headers.c>
Header set Cache-Control "private"
</IfModule>
<IfModule mod_rewrite.c>
RewriteEngine On
RewriteCond %{REQUEST_URI} !^public
RewriteRule ^(.*)$ public/$1 [L]
</IfModule>
SetEnvIfNoCase User-agent Googlebot/2.1 not-allowed=1
Order Allow,Deny
Allow from ALL
Deny from env=not-allowed
SetEnvIfNoCase User-agent AhrefsBot/7.0 not-allowed=1
Order Allow,Deny
Allow from ALL
Deny from env=not-allowed
SetEnvIfNoCase User-agent SemrushBot/7~bl not-allowed=1
Order Allow,Deny
Allow from ALL
Deny from env=not-allowed