Non credo che esista il programma che cerchi perché impedire di aprire più finestre non è certo un'esigenza comune, anzi, chiunque utilizzi un computer dopo un po' si trova con una decina di finestre aperte (io in questo momento ne ho otto), non c'è nulla di strano e i computer sono perfettamente in grado di gestire la cosa.

Se il tuo non ce la fa andrei piuttosto a cercare le cause del problema.

Che computer hai (intendo S.O, ram fisica, ram virtuale, disco, scheda grafica, periferiche ecc...)?