mysql.exe è il client, ovvero la parte 'attiva' sul tuo pc che deve 'collegarsi' (unirsi, congiungersi) alla parte 'server' di Mysql, quella passiva, in ascolto, generalmente sulla porta 3306 (mysqld.exe)
prima di lanciare il client dalla linea di comando, dal cosiddetto prompt del Dos (il Mysql Control Center usa l'interfaccia grafica per le stesse cose, non è obbligatorio usarlo se ti trovi bene con la sola console dei comandi) devi avviare il 'servizio' di Mysql (se hai XP, start/esegui/services.msc cerca il servizio mysql ed avvialo)
l'errore che ti dà è perché hai cercato di stabilire una connessione senza aver avviato la parte server