uhm guarda che il link che ti ha postato andrea sembra confermare la mia ipotesi: pageY è sulle ordinate non sulle ascisse, ma sembrerebbe che tu lo stia assegnando alla posizione left, che è sulle ascisse.

Questo a prescindere dal problema specifico: verifica meglio, in modo che evitiamo di lavorare su un doppio problema: quello da te presentato, e un altro dovuto ad una svista.

Non so come funziona jquery per questo applicativo di tooltip ma come ti dicevo mi stupirebbe che non gestisca questa ovvia eccezione - se hai invertito per errore pageY con pageX può darsi che, correggendo quello, anche jquery riesca a gestire la eccezione.
Verifica un po', poi facci sapere.

Cioè, mi sto e ti sto chiedendo: tu hai
css("top",e.pageX +"px")
css("left",e.pageY + "px")

sei sicuro non debba essere:
css("top",e.pageY +"px")
css("left",e.pageX + "px")

?

ps quel concatenamento css(...).css(...) non so se è corretto
Cioè non vorrei fosse, pure:
$("p#toltip").css("top",e.pageY +"px")
$("p#toltip").css("left",e.pageX + "px")
$("p#toltip").fadeIn("fast");
non uso jquery per cui sono verifiche che devi fare te, ma quella di pageY e pageX, davvero, dovresti farla.