Dovresti modificare la struttura html.
Per creare il layout hai utilizzato bootstrap. Da un rapido sguardo al codice html di quella pagina posso notare che gli elementi input sono raggruppati in ulteriori div che vanno a comporre la struttura tabellare, proprio come funziona per le <table> html dove i contenuti stanno dentro gli elementi <td> che a loro volta stanno dentro elementi <tr> i quali compongono le righe della tabella. Se elimini un contenuto da dentro un <td>, la struttura resterà comunque (pressoché) invariata. In questo caso non puoi ottenere uno slittamento verticale come vorresti tu.
Non sono pratico di bootstrap, magari è possibile ottenere una struttura diversa per rendere possibile lo slittamento verticale ma non saprei consigliarti maggiormente.