Che io sappia puoi aprire una popup con window.open, poi che si apra una scheda o una nuova finestra sono le impostazioni del browser che lo decidono
codice:
buttons: {
				Ok : function() {
					$(this).dialog('close');
window.open('tuapagina.xxx','nomefalcotativo','parametrifacoltativi')
				}