key spiders.txt è soltanto un elenco degli spider per non creare una sessione per essi..

lo usano maggiormente dei CMS come OSCommerce, qualche volta anche PHPShop ecc per facilitare la indicizzazione delle pagine..