Puoi brutalmente togliere i permessi in lettura ed esecuzione (per impedire di entrare nelle directory) a tutti gli utenti non appartenenti ai gruppi con accesso:

chmod -R o-rx /