allora c'è molta confusione..

faccio un esempio..

Ho un progetto chiamato "testRinomina" contenente 2 file "prova1.vb" e "prova2.vb"

ok?

Tasto destro su il progetto e lo chiamo "testRinominaEdit"..

Contina a funzionare perfettamente..

Se tu intendi anche modificare le cartelle nel filesystem dove c'è il perogetto allora dovrai editare a mano il file di progetto o il file di soluzione (basta il blocco note) modificando i path..