Tra le variabili globali che hai creato al campo cap
esegui l'assegnamento così:
var cap = nomeform.cap.value.length;
La clausola if la lasci così come:
if (cap < 5) {
alert("Brutto Pokemon ti ho detto non meno di cinque hai capito!!!");
document.nomeform.cap.focus();
}