ciao a tutti faccio subito un esempio per spiegarmi
ho una pagina con delle inclusioni
nel robots.txt ho escluso (disallow) la cartella che contiene i file inclusi
quando lo spider controllerà la mia pagina (quella che contiene il file incluso), vedrà e indicizzerà anche il contenuto del file incluso?
la domanda può sembrare scema (e forse lo è), ma facciamo il caso che io non voglia che venga scansionato il file incluso (da solo), ma voglio che invece sia indicizzato nella pagina in cui c'è l'inclusione
spero di essere stato chiaro