Ciao,
tralasciando tutti i ragionamenti sull'efficacia o meno di un'azione di cloacking basato solo sullo user agent, per fare quello che chiedi potresti semplicemente fare il ragionamento inverso, non riconoscere tutti gli spider, ma tracciare lo user agent dei browser più usati(firefox,explorer,opera, netscape, safarii) e comportarti di conseguenza.