Se non hai cancellato la cartella dei sorgenti e sei fortunato, entrando nella cartella stessa potrebbe funzionare un "make uninstall" - se invece (comune) non è stato previsto quel comando bisogna cercare a mano i file e cancellarli

Per le prossime volte: in questi casi è comodo usare "checkinstall", che usato al posto di "make install" da il comando ma crea anche il pacchetto, in modo che poi è possibile rimuoverlo con il package manager della distro