Il padding è leggibile e godibile da tutti i browser di ultima generazione, proprio perchè è una prorpietà legata a margin.
solo IE 5 fa le bizze proprio nel box model, ma questo si sapeva.
In pratica, metti un valore non casuale per la dimensione del font, perchè non tutti i browser li rendono alla stessa maniera, ad esempio Mozilla/Netscape li rendono di tre pixel circa più piccoli che non IE, ovvero x-small = small, poi se vai su un Mac o su Linux, peggio mi sento.
Quindi inizia a settare la dimensione del font, poi se non vuoi un padding, metti padding: 0, ma non nulla, e vedi come si comporta.