Robots.txt e pagine inesistenti

[inside1]

Ciao a tutti,
ho un piccolo problemino con i bot che continuano a spiderizzare pagine inesistenti a discapito di nuove pagine.
Tempo indietro per un mio sito installai uno script che ricreava la directory Dmoz dove i link erano dinamici del tipo " index.php?c= " ...
Ora ho voluto riprendere in mano il dominio e mettere su un sito, ma mi sono accorto che gli spider continuano a spiderizzare le vecchie pagine e non quelle nuove....
Io ho pensato di utilizzare il file robots.txt in questo modo

User-agent: Googlebot
Disallow: /*?

User-agent: Slurp
Disallow: /*?

Non so perchè ma continua a seguire quei link vecchi... Un altro sistema per impedire di seguire quei link dinamici inesistenti ?

Mille grazie

[Evi|A|ivE]

se una pagina non esiste, non po essere spiderizzata.
al massimo , magari, vuoi dire che sono ancora presenti?

Le pagine nuove hanno links corretti?

alle pagine vecchie assegna un 302 via .htaccess o codice nell'head (il come fare lo trovi in rete tramite google) che reindirizzi alle nuove pagine che trattan lo stesso argomento, o alla home qualora non vi siano pagine nuove corrispondenti.

Cosi facendo le mantieni in serp, e se uno clicca, viene reindirizzato, in maniera pulita, a cio che vuoi (home o nuova pagina).

Se vuoi farle eliminare dalle serp, eliminale dal sito e segnala la rimozione a questo indirizzo .

GG passera, gli verra ritornato un 404 e provvedera ad eliminarle dalle serp.


PS: disallow: / impedisce la spiderizzazione di tutte le pagine del dominio.
E' normale che le nuove non vengano prese.
disallow: /*? credo non sia corretto.

[inside1]

Originariamente inviato da Evi|A|ivE
se una pagina non esiste, non po essere spiderizzata.
al massimo , magari, vuoi dire che sono ancora presenti?

Le pagine nuove hanno links corretti?

alle pagine vecchie assegna un 302 via .htaccess o codice nell'head (il come fare lo trovi in rete tramite google) che reindirizzi alle nuove pagine che trattan lo stesso argomento, o alla home qualora non vi siano pagine nuove corrispondenti.

Cosi facendo le mantieni in serp, e se uno clicca, viene reindirizzato, in maniera pulita, a cio che vuoi (home o nuova pagina).

Se vuoi farle eliminare dalle serp, eliminale dal sito e segnala la rimozione a questo indirizzo .

GG passera, gli verra ritornato un 404 e provvedera ad eliminarle dalle serp.


PS: disallow: / impedisce la spiderizzazione di tutte le pagine del dominio.
E' normale che le nuove non vengano prese.
disallow: /*? credo non sia corretto.

Le pagine non ci sono e ne sono sicuro ... al massimo l' unica cosa che potrebbe fare Google è seguire dei link esterni al mio sito .... ma continua a fare tanti scan e la cosa mi sembra strana... dalle statistiche del mio sito controllo le pagine che ha spiderizzato e provando a visualizzare le pagine spiderizzate mi restituisce la mia index, ma con URL dinamica seguira da Google Bot.
redirect 302 ??? Pensovo fosse il 301

Eliminazione tramite supporto già fatta ma nulla....

Per il disallow: /*? l'ho preso dalla documentazione di robots.txt



Ciao

[Evi|A|ivE]

Originariamente inviato da inside1
dalle statistiche del mio sito controllo le pagine che ha spiderizzato e provando a visualizzare le pagine spiderizzate mi restituisce la mia index, ma con URL dinamica seguira da Google Bot.

Cioe?
Vuoi dire che dalle statistiche vedi che il bot ha visitato dominio.com/tuapagina.html , clicchi tuapagina.html.. e rivai alla index?
come gestisci le pagine inesistenti?

Se in barra indirizzi meti una pagina che non c'è, cosa ottieni? la pagina di "non trovato" o vieni rimandato alla tua home?
Ti chiedo queste cose per capire meglio nel dettaglio
Mi è successo che settando maluccio un htaccess, qualsiasi pagina inesistente rimandase l'utente alla home.
Pero se Gg nn si vede ritornato un 404, continua a mantenere la pagina in serp ;_;

redirect 302 ??? Pensovo fosse il 301

Si, uccidimi pure -_-

Eliminazione tramite supporto già fatta ma nulla....

Hmmm, io quando ho avuto questa necessita, ho avuto un riscontro in 4 giorni, davvero non saprei aggiungere altro.

Per il disallow: /*? l'ho preso dalla documentazione di robots.txt

è che non capisco il *?. Credevo non fosse ammessa come sintassi
pero mi fido.

cmq sia, il /*? cosa dovrebbe inibire?

[inside1]

Subito io ho pensato che fosse l'.htaccess
il fatto che in root non ho l' htaccess ma in una cartella ho uno script con htaccess così l'ho levato ma mi da lo stesso problema.....

cioè se scrivo nella barra degli indirizzi www.dominio.it/ciao.php non mi da nulla, pagina non presente

invece se scrivo questo :

www.dominio.it/index.php?ciao
www.dominio.it/index.php?=cpippo

queste mi fanno rivedere la index, mantenendo l'indirizzo dinamico


Bha ...

Grazie mille

[Evi|A|ivE]

ah! ecco il "*?" !

hmmm oddio dovresti far ritornare un 404 a tutte le pagine vecchie (ergo le pagine index.php con i parametri che ridavano le pagine inesistenti ora) ..ma ho paura a chiederti quante sono lol VVoVe:

cmq è un bel problemino ;_;

[inside1]

il robots lo messo da pochi giorni e le pagine sono poche....
come si fà il 404 ?

Grazie mille

[Evi|A|ivE]

non ho idea, pero...
se le pagine son poche, e l'amico fa un 301 tramite codice head.. verso una pagina nn esiste.. GG nn potrebbe fungere? ;_;

[inside1]

Ok grazie