ciao a tutti, il mio sito si carica molto lentamente in certe ore della giornata, volevo sapere se c'è un modo di impedire a certi spider o webcrawler di creare traffico e bloccare il sito. Il sito e fatto in Asp, magari ci sono degli script che impediscono l'arrivo di questi webcrawler. Secondo voi puo essere una causa di rallentamento questa cosa qua
grazie tante
semplice la cosa
riconosci l'user agent
se appartiene ad un webcrawler con una reg exp gli restituisci pagina bianca cosi non riceve dati e non carica nulla
io lo faccio in php cosi :
if (ereg('webcrawer',$_SERVER['http_user_agent'])){
exit;
}
else
{
echo "Mostro la pagina";
}
Oppure con il robots.txt
il robots non lo evitano[supersaibal]Originariamente inviato da RAM_WM
Oppure con il robots.txt
Permessi di invio
Rispondi quotando