Per quanto riguarda i robots, essendo programmi costruiti per lo più da chi li implementa, in genere seguono politiche loro.
Ad esempio è noto che la cosa migliore sia quella di costruire un file robots.txt e metterlo nelle cartelle del proprio sito.
User-agent: * # tutti i robots sono abilitati
Disallow: download.php # le restanti pagine e sottocartelle no.
Disallow: gadgets.php
Disallow: info.php
Disallow: invio-mail.php
Disallow: mail.php
Disallow: lavori.php
Disallow: recensioni.php
Disallow: strumenti.php
Disallow: not_found.html
Disallow: /images
Disallow: /banner
Disallow: /font
Disallow: /magazzino
Disallow: /download
Disallow: /stat
questo perchè con un unico file, riesci ad essere molto selettivo, altrimenti in ogni pagina del tuo sito devi mettere una clausola diversa.
Vedi a tal riguardo questa pagina: http://www.searchengineworld.com/rob...s_tutorial.htm
PEr i browser non so che dirti, francamente me ne sono sempre infischiato, credo che una pagina in cui un terzo del codice sia riservato ai meta tag, sia inutile, tranne per l'indicizzazione ai motori di ricerca e al giusto carattere di visualizzazione, anche se poi pure io ci sono cascato a volte