Non devi distribuire la versione Debug dell'applicazione, essa infatti è linkata dinamicamente verso la CRT di debug (che peraltro non è distribuibile liberamente), non è ottimizzata ed è particolarmente grossa anche perché contiene le informazioni di debug. Quando vuoi generare l'exe da distribuire, devi mettere il progetto nella modalità release, compilare e prendere l'eseguibile dalla cartella Release.

Nota comunque che se nel progetto è impostato di usare la versione dll della CRT è necessario comunque che sul PC su cui si andrà ad eseguire il programma sia installato il redist di VC++ 2010 (link); se vuoi che il programma vada senza prerequisiti aggiuntivi, devi impostare nelle proprietà del progetto il linking con la versione statica della CRT. L'eseguibile naturalmente aumenterà di un po' in termini di dimensioni (viene incorporata la parte della CRT impiegata nel tuo programma nell'eseguibile).

Tutto ciò vale per le applicazioni unmanaged; per le applicazioni managed, invece, è ovviamente sempre necessario che sulla macchina target sia installata la versione adeguata del .NET Framework.