Originariamente inviato da gianiaz
Posso stare tranquillo sul fatto che gli spider una volta incontrato un link ad un file presente nella directory specificata nel file robots lo scartino, senza però scartare le altre pagine?
Se lo spider rispetta il robots.txt si. Tieni presente che Google potrebbe comunque mostrare l'URL dei documenti tra i risultati di ricerca anche se li hai bloccati tramite il robots.txt:

http://www.youtube.com/watch?v=KBdEwpRQRD0

IMHO, per essere sicuri, implementerei una rewrite rule con filtro sull'user agent che esegue un redirect 301 se è un bot a cercare di accedere a quelle risorse.