Penso anch'io com'ha detto Tigre851: dopo i 500 bytes di buffer e' possibile che il processo non disponga di abbastanza spazio per contenere il codice malevolo...
Prova ad allongare vuln.c aggiungendo altre variabile ed altre istruzioni inutuili col solo scopo di far aumentare le pagine di memoria usate da vuln...

Non ne so molto sul buffer overflow... Comunque se t'interessa dai un'occhiata a questa guida: http://www.lulli.net/WEB/hack/xximparare-c/node514.html
Tempo fa testai l'esempio e funziono'