C'é da avere a che fare con una bella bestiolina di nome POP3.
Per fortuna esiste una gran bella classe PHP di Manuel Lemos che fa tutto: http://www.phpclasses.org/browse/package/2.html
Divertiti