la memoria di Sql Server è normale, perchè è configurato per ciucciarsi tutta la memoria per lui, considera che dovrebbe funzionare su un server dedicato. Devi modificare la gestione della memoria da Sql Server se vuoi limitarlo.

VB.... dovrebbe essere windows che non libera subito la memoria, ho fatto un test con un programmino per liberare la ram non utilizzata, e la ram viene liberata, quindi VB la rilascia.