Pagina 1 di 2 1 2 ultimoultimo
Visualizzazione dei risultati da 1 a 10 su 12

Discussione: No web crawler

  1. #1
    Utente di HTML.it
    Registrato dal
    Nov 2007
    Messaggi
    274

    No web crawler

    Salve,
    volevo sapere se è possibile impedire ai web crawler di scaricare i file (.pdf .avi .zip etc) che risiedono in una cartella specifica.

    Grazie.

  2. #2
    Puoi farlo con il file robot.txt, cerca con Google.

  3. #3
    Utente di HTML.it
    Registrato dal
    Nov 2007
    Messaggi
    274
    se metto i file nella cartella "public"?

  4. #4
    non cambia nulla. La cartella public ha la sola particolarità di avere, di solito, i permessi di scrittura.

  5. #5
    codice:
    User-agent: *
    Disallow: /tua-cartella/
    Incollalo in un file .txt, chiamalo robots.txt e mettilo nella root principale del sito

    User-agent: * (significa tutti gli spider)
    Disallow: /public/ (impedisce agli spider di indicizzare la cartella public.

  6. #6
    Amministratore L'avatar di Vincent.Zeno
    Registrato dal
    May 2003
    residenza
    Emilia-Romagna (tortellini und cappelletti land!)
    Messaggi
    20,807
    Originariamente inviato da lucavizzi
    codice:
    User-agent: *
    Disallow: /tua-cartella/
    Incollalo in un file .txt, chiamalo robots.txt e mettilo nella root principale del sito

    User-agent: * (significa tutti gli spider)
    Disallow: /public/ (impedisce agli spider di indicizzare la cartella public.
    la cosa non è comunque affidabile:
    ho giusto un problema "serio" a riguardo

    se proprio il file non deve essere rintracciato è bene che stia in una cartella senza permessi di navigazione (tipo quella del DB)

    edit:
    urca... mi accorgo solo ora di non aver chiuso la directory con /
    sarà quello?
    'mo provo

  7. #7
    E' la prima volta che sento che non è affidabile.

    edit:
    mi sa che è quello

  8. #8
    Amministratore L'avatar di Vincent.Zeno
    Registrato dal
    May 2003
    residenza
    Emilia-Romagna (tortellini und cappelletti land!)
    Messaggi
    20,807
    come ho editato forse ho fatto io un errore

    comunque la stessa google non garantisce

  9. #9
    Strumenti per i webmaster di google:
    Utilizza un file robots.txt per controllare l'accesso ai file e alle directory sul tuo server. Il file robots.txt è come un segnale elettronico di divieto di accesso. Indica a Google e agli altri crawler i file e le directory sul tuo server che non devono essere sottoposti a scansione.
    http://www.google.com/support/webmas...t&answer=93708

  10. #10
    Amministratore L'avatar di Vincent.Zeno
    Registrato dal
    May 2003
    residenza
    Emilia-Romagna (tortellini und cappelletti land!)
    Messaggi
    20,807
    si si.. se rispettano le istruzione non entrano,
    questo SE decidono di seguire le istruzioni

    ora, G, cerca di essere coerente...
    non il robot non da obblighi, solo "consigli"

Permessi di invio

  • Non puoi inserire discussioni
  • Non puoi inserire repliche
  • Non puoi inserire allegati
  • Non puoi modificare i tuoi messaggi
  •  
Powered by vBulletin® Version 4.2.1
Copyright © 2025 vBulletin Solutions, Inc. All rights reserved.