Per caso stai cercando di usare una libreria a 32 bit da un eseguibile a 64 bit?

Tra parentesi, io non userei Gecko se tutto quello che ti serve è un motore di rendering, ti tiri dietro una marea di roba che non ti serve (XUL, xpcom e compagnia); per embedding è molto più comodo WebKit (ed è molto più utilizzato, per cui sicuramente troverai più documentazione in merito).