google robots.txt

**gguida** · 13-08-2004, 19:57

Ciao a tutti,
ho usato il robots txt per evitare che i motori leggessero alcuni file e cartelle, guardando l'indicizzazzione su google mi sono accorto che mi ha indicizzato anche dei file che avevo specificato nel robots.txt, mi sembra impossibile...ma è così....

codice:

User-agent: *
# Non voglio che i motori di ricerca ficchino il naso nelle seguenti directory e file.
Disallow: /css/
Disallow: /db_documents/
Disallow: /edit_database/
Disallow: /flash/
Disallow: /images/
Disallow: /include/
Disallow: /js/
Disallow: /mailinglist/
Disallow: /mdb-database/
Disallow: /restricted_area/
Disallow: /st/
Disallow: /temp/
Disallow: /download/
Disallow: /include/
Disallow: /W3svc450/
Disallow: /users_manager/
Disallow: /admin.asp
Disallow: /gfile.asp
Disallow: /image.asp
Disallow: /products.asp
Disallow: /usedlaser.asp
Disallow: /menusx.asp
Disallow: /newsletter.htm
Disallow: /homeup.htm

www.lasercutinc.com

suggerimenti?

grazie...

**MarcoTuscany** · 13-08-2004, 22:00

Originariamente inviato da gguida
Ciao a tutti,
ho usato il robots txt per evitare che i motori leggessero alcuni file e cartelle, guardando l'indicizzazzione su google mi sono accorto che mi ha indicizzato anche dei file che avevo specificato nel robots.txt, mi sembra impossibile...ma è così....

codice:

User-agent: * # Non voglio che i motori di ricerca ficchino il naso nelle seguenti directory e file. Disallow: /css/ Disallow: /db_documents/ Disallow: /edit_database/ Disallow: /flash/ Disallow: /images/ Disallow: /include/ Disallow: /js/ Disallow: /mailinglist/ Disallow: /mdb-database/ Disallow: /restricted_area/ Disallow: /st/ Disallow: /temp/ Disallow: /download/ Disallow: /include/ Disallow: /W3svc450/ Disallow: /users_manager/ Disallow: /admin.asp Disallow: /gfile.asp Disallow: /image.asp Disallow: /products.asp Disallow: /usedlaser.asp Disallow: /menusx.asp Disallow: /newsletter.htm Disallow: /homeup.htm

www.lasercutinc.com

suggerimenti?

grazie...

Questa era una domanda per LOW, lui se ne intende di queste cose.
Hai provato a leggerti il suo capitolo relativo ai robots.txt sul suo motoricerca.info?

**key** · 14-08-2004, 10:40

**MarcoTuscany** · 14-08-2004, 10:42

Originariamente inviato da key

Buongiorno rivoluzionario..

**giorgiotave** · 14-08-2004, 10:51

oggi e 14 e sono qui domani sara 15 e saro qui.....

Un OT in questi giorni e concesso visto che siamo in questo momento

MarcoTuscany, gik25, Fabio Dell'Orto, elpaso, giorgiotave

consigli togli popup
togli intro

ma scusa tu metti il file robots.txt e poi

<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN"
"http://www.w3.org/TR/html4/loose.dtd">
<html><head>

<title>.:: Lasercut, Inc ::. - Manufacturer of Laser Systems & Laser Machines - Cutting and Marking Applications</title>
<meta http-equiv="Content-Type" content="text/html; charset=iso-8859-1">

<META NAME ="description" CONTENT="Manufacturer of laser systems for metal cutting, dieboard cutting, plastic cutting, acrylic cutting and marking applications">

<META NAME ="keywords" CONTENT="Lasercut, laser cutting systems, laser cutting machines, laser cutting, lasers, metal cutting, dieboard cutting, industrial lasers, plastic cutting, rotary dieboard systems, linear motors, Nd:YAG, CO2 marking systems, galvo technology">

<SCRIPT LANGUAGE="JavaScript" type="text/javascript">
self.moveTo(0,0);
self.resizeTo(screen.availWidth,screen.availHeight );
</SCRIPT>

<script LANGUAGE="JavaScript" type="text/javascript" SRC="js/lasercut.js">

</SCRIPT>
<script LANGUAGE="JavaScript" type="text/javascript" >selectstyle()</SCRIPT>
</head>

scusa ma oltre al troppo javascript dov'e il meta tag che acompagna il robot? non lo vedo

**piesse78** · 14-08-2004, 11:05

ma il meta ROBOTS e il file robots.txt non sono due metodi alternativi per indirizzare il bot?

:master:

**key** · 14-08-2004, 11:15

**MarcoTuscany** · 14-08-2004, 11:59

Originariamente inviato da key

Questa approfondiamola meglio, credo interessi a molti.
Esempio, un sito così impostato:

Presenza di robots.txt

User agent: *
Disallow:

E presenza del meta index,follow solo in home page.

Cosa comporta?
Per me dice ai motori di indicizzare il tutto e di non lasciare niente a partire dall'index a seguire.

E se invece in presenza dello stesso robots.txt
avessi messo in home il meta all,follow
non era lo stesso?

**piesse78** · 14-08-2004, 12:01

e invece con robots.txt

User-agent: *
Disallow:

e senza il meta robots?

**fradefra** · 14-08-2004, 12:21

La precedenza data da uno spider al robots.txt o al meta presente nella pagina è data solo da quello che lui stesso vuol fare.

Vi ricordo che il protocollo Robots non è legge. Gli spider sono liberi di seguirlo o no, sì oggi e no domani!

Se si usano, la cosa più corretta è che siano in sincronia tra loro. Certezze non ve ne sono e se qualcosa si sa, non si sa sino a quando varrà e per quali spider.

La cosa più sicura, solo per quegli spider che hanno deciso di seguire il protocollo, è di inserire nel robots.txt un disallow per ogni pagina da escludere ed il meta corrispondente nella pagina stessa con la forma "Noindex,Follow". Questo garantisce che lo spider segua tutte le pagine, senza indicizzare quelle che non vogliamo. Il "nofollow" è pericolossissimo perchè se domani aggiungiamo dei link che vorremmo fossero seguiti, dovremmo cominciare a fare parecchi ragionamenti.

Niente da aggiungere, invece, per le restanti pagine. Ogni pagina non esclusa dal robots.txt e senza alcun con meta robot è indicizzabile per default (se lo spider decide di farlo).

Discussione: google robots.txt

Strumenti discussione

Ricerca discussione

Visualizza

google robots.txt

Re: google robots.txt

che meta hai???

Re: che meta hai???

Dipende se ha follow o all ecc eccc

Re: Dipende se ha follow o all ecc eccc

Permessi di invio