Dai una occhiata a

- http://www.ossec.net per intrusion detection in generale
- http://www.fail2ban.org/wiki/index.php/Main_Page per rilevare vari tipo possibili di attacchi
- http://www.acunetix.com/vulnerability-scanner/ (o simili) per vulnerability scanner