come capire se una pagina è vietata agli spider

[robaldo]

Oltre al file robots.txt e al metatag noindex,nofollow ci sono altri modi per impedire agli spider di leggere una cartella?
Ad esempio: gli amministratori di html.it hanno deciso che gli spider non debbano passare di questo forum, come dice il file robots.txt

User-agent: *
Disallow: / 

Ma esistono altri modi? Se ci sono, io comune utente posso capire se un sito usa queste tecniche? Denghiu

[JeffWade]

[supersaibal]Originariamente inviato da robaldo
Oltre al file robots.txt e al metatag noindex,nofollow ci sono altri modi per impedire agli spider di leggere una cartella?
Ad esempio: gli amministratori di html.it hanno deciso che gli spider non debbano passare di questo forum, come dice il file robots.txt

User-agent: *
Disallow: / 

Ma esistono altri modi? Se ci sono, io comune utente posso capire se un sito usa queste tecniche? Denghiu [/supersaibal]

Esiste anche l'attributo rel="nofollow" nel tag <a>, esistono molte tecniche per evitare l'indicizzazione, vedi anche javascript, iframes, ecc...