In quel modo accetti dei caratteri e non un intero. Scrivi così

int numero = Convert.ToInt32(Console.ReadLine());