Suppongo di si, così come la lasciano i bot dei motori di ricerca.