Oltre al file robots.txt e al metatag noindex,nofollow ci sono altri modi per impedire agli spider di leggere una cartella?
Ad esempio: gli amministratori di html.it hanno deciso che gli spider non debbano passare di questo forum, come dice il file robots.txt
Codice PHP:
User-agent: *
Disallow: / 
Ma esistono altri modi? Se ci sono, io comune utente posso capire se un sito usa queste tecniche? Denghiu