Se guardo nelle statistiche del sito che gestisco, all'interno delle segnalazioni di errore 404 risulta che è stata cercata e non trovata x 70 volte la pagina robots.txt.
Allora so vagamente di cosa si tratta (altrimenti nn postavo neanche qui) ma mi sapete spiegarne l'utilità effettiva? non è un errore il non averla messa, no?
p.s. Se non avete voglia di spiegarmi in breve la questione, potete consigliarmi qualche lettura
grassie
ok, per questo mi segnala l'errore 404! però a me non servendo escludere nulla lascio così com'è!Tutti gli spider [...], ogni volta che accederanno al sito web, per prima cosa andranno a cercare nella directory principale il suddetto file
E come lo zerbino con la scritta Welcome...
E poi non è cortese rispondere picche (404) ogni volta che ti viene chiesta una cosa... mettine uno che abiliti la lettura di tutto il sito e ti metti la coscienza a posto.
basta che ci scrivi dentro:[supersaibal]Originariamente inviato da cicciput
E come lo zerbino con la scritta Welcome...
E poi non è cortese rispondere picche (404) ogni volta che ti viene chiesta una cosa... mettine uno che abiliti la lettura di tutto il sito e ti metti la coscienza a posto. [/supersaibal]...o anche lo lasci vuoto!codice:user-agent: * allow: /
Attenzione dovrebbe essere questo il codice corretto:[supersaibal]Originariamente inviato da Petro_suse91
basta che ci scrivi dentro:...o anche lo lasci vuoto! [/supersaibal]codice:user-agent: * allow: /
Con questo codice dici allo spider di prendere tutto. Il discorso di Cicciput è giusto, aumenti la vlocità e la facilità di accesso al tuo sito utilizzando comunque un robots.txt...codice:User-agent: * Disallow:
ok grazie. ma la dicitura giusta alla fine qual è?
quella che ha detto E.L.
Dice: a qualsiasi user-agent, nega l'accesso a: (vuoto)codice:User-agent: * Disallow:
quindi, tradotto, permetti a tutti di andare dappertutto
quindi avevi toppato eh![supersaibal]Originariamente inviato da Petro_suse91
quella che ha detto E.L.
Dice: a qualsiasi user-agent, nega l'accesso a: (vuoto)codice:User-agent: * Disallow:
quindi, tradotto, permetti a tutti di andare dappertutto
Infatti, da quanto ho letto, si può solo negare e non autorizzare
Yes, avevo toppato (succede anche ai migliori[supersaibal]Originariamente inviato da awd
quindi avevi toppato eh!
Infatti, da quanto ho letto, si può solo negare e non autorizzare [/supersaibal]
Tu lascia "Disallow: ", e vaya con Dios!
Permessi di invio
Rispondi quotando