Per quello che ne sò, alcuni viedeogame sono scritti in C++ a causa della sua velocità. Comunque, per rispondere alla tua domanda, un programmatore che vuole scrivere un videogame deve utilizzare le chiamate API messe a disposizione da librerie come DirectX o OpenGL oppure utilizzare un 3D renderer già scritto (Ogre3D, XNA con C# e un milione di altri). Queste librerie interagiscono (credo) a basso livello con la GPU (Graphical Processor Unit) e mettono a disposizione del programmatore una serie di metodi per disegnare personaggi sullo schermo, farli muovere e farli interagire con l'ambiente. Se vuoi sapere più nel dettaglio come funziona, chiedi a zio Google.
Per quanto riguarda la matematica... essa è praticamente dappertutto in un videogame: pensa solo ai calcoli che bisogna fare per ottenere la traiettoria di un proiettile. Inoltre, se si vuole fare un gioco abbastanza verosimile, devi tenere conto della forza di gravità, della forza di attrito e chi più ne ha più ne metta.
Spero di esserti stato utile.
P.S.: Attendere risposte dopo solo due ore non va bene. Armati di pazienza.