La soluzione potrebbe essere attraverso l'uso del robots.txt

Siccome se ne è già discusso ampiamente nel forum, ti consiglio di fare una ricerca per "robots.txt" sia nel forum sia in Google.