Diciamo che non è una delle cose più facili da realizzare... e comunque, se una persona è davvero intenzionata a fare il reversing della tua applicazione, non sarà certo un packer/offuscatore a bloccarlo. Esistono parecchi metodi per eseguire un dump della memoria contenente il codice eseguibile in chiaro.

In ogni caso se ti interessa studiare il formato PE/COFF un buon punto di partenza è la pagina di wikipedia in cui sono presenti diversi link esterni interessanti.
In italiano
http://it.wikipedia.org/wiki/Portable_Executable
In inglese:
http://en.wikipedia.org/wiki/Portable_Executable

Qui un bel poster riassunto:
http://www.openrce.org/reference_lib...E%20Format.pdf

Ovviamente questo per conoscere il formato PE... non per imparare a fare un packer.