Puoi controllare che sia effettivamente installato il metapacchetto apache2 (eventualmente puoi lanciare un dpkg-reconfigure) e che sia un "servizio attivo" nel runlevel che usi solitamente.
Se utilizzi apt e sei alle prime armi con la programmazione server side (immagino che ti serva per questo motivo) non hai bisogno di fare grandi modifiche ai file di configurazione.

EDIT: dimenticavo...
Trovi tutti i file di configurazione, come al solito, in /etc/apache2
Mentre la document root del "sito di default" dovrebbe essere /var/www