La cosa inizia a farsi complessa...
Non puoi, tramite commenti condizionali, far vedere qualcosa a FF e sim e non a IE4. A quel punto devi usare i vecchi hack, che pero` non sono a prova di futuro (nel senso che potrebbe uscire domani un nuovo browser che si comporta di fronte all'hack come non vuoi).

Per quanto riguarda gli IE 5.x , ti consiglio di fare una ricerca nel forum (bottone in alto): se ne e` parlato in passato, e qualcuno aveva le idee chiare (non ricordo le conclusioni).

Pero` direi che con la cosa che vuoi fare tu, ci starebbe bene un browser-sniffer.
In fondo, se ho capito bene, i tuoi problemi vengono solo con le varie versioni di IE.
Quindi potresti sistemare il tuo sniffer in modo da far passare tutti gli altri browser e trattare in modo opportuno gli IE.
Un browser-sniffer puo` essere realilzzato preferibilmente lato server (ASP o PHP o sim), in alternativa si fa anche lato client tramite JS.
Per le singole tecniche ti rimando ai rispettivi forum.

Per concludere, un accenno al fatto "estetico" di includere due volte lo stesso file (per due tipi di browser diversi): non mi pare tanto brutto, vista la specificita` dei tuoi CSS. Mi spiego meglio: dato che devi fare una cosa molto particolare, non mi formalizzerei sul fatto di scrivere due volte la stessa cosa (ma che viene comunque usata una volta sola in ciascun caso: i vari commenti impediscono che lo stesso file venga ricaricato piu` di una volta).