Bisogna allora che ognuna delle chiamate a setTimeout chiuda la finestra attuale, e ne apra un'altra!

window.open("prima finestra");

Nella prima finestra:

setTimeout(function(){ window.open("seconda finestra"); window.close(); }, 20000);

Nella prima seconda:

setTimeout(function(){ window.open("terza finestra"); window.close(); }, 20000);

e così via.