Che DNS service usi per il tuo dominio? Devi fare due cose:
1. Creare il record CNAME che punta @ ("root") a <nome-utente-github>.github.io; per esempio se il tuo nome utente e' "batman", allora il valore del record CNAME dovrebbe essere "batman.github.io". E' importante il servizio DNS che usi, perche' non tutti offrono la possibilita' di creare un record CNAME per @. Come dicevo uno e' Cloudflare, che ti consiglio perche' e' tra i migliori ed e' gratuito.
2. Aggiungere un file chiamato "CNAME" (tutto uppercase) nella root del sito, con dentro una singola linea col nome del dominio che vuoi usare. Quindi se il tuo dominio e' esempio.com, devi creare un file di testo CNAME con dentro "esempio.com", nella root del sito.
Una volta fatti questi due dovresti essere in grado di vedere il sito sotto il tuo dominio.