Il nome della cartella che contiene la soluzione puoi rinominarlo tranquillamente, in quanto è "esterno" all'insieme di file che la compongono, a livello di file system.

Per quanto riguarda i restanti file, puoi rinominarli singolarmente dall'IDE allo stesso modo in cui li rinomineresti in Gestione Risorse; questo vale per i file di progetto (.csproj), ma seguono a ruota in automatico anche i file delle impostazioni (.suo, .csproj.user) mentre gli altri puoi ignorarli tranquillamente poiché vengono rigenerati dal processo di build.

Diverso sarebbe se tu fossi costretto a modificare anche i namespace: in tal caso, la possibilità di "refactoring" dipende anche dalla modifica che devi fare al namespace stesso.