no...

il client manda una richiesta al webserver tramite una pagina in cui, ad esempio, c'è un form che ha questo codice html:

codice:
<form action="http://www.ciccio.com/cgi-bin/script.pl" method="POST" ...>
quando clicchi sul pulsante submit il webserver riceve la richiesta e sa che deve rivolgerla allo script eseguibile indicato in action.

Gli gira la richiesta, lo script la elabora, fa le sue operazioni e restituisce al webserver una risposta sotto forma di codice html.

Il webserver gira la risposta al client.

Per quanto riguarda le potenzialità lascio a te immaginare quante cose si possono fare potendo elaborare un input e restituire un output di tua scelta.

PHP è un caso a parte, infatti pur essendo possibile, in genere non viene usato come CGI, infatti gli script php NON sono eseguibili. Il principio di funzioanmento è più complesso e delicato, ti basti sapere che l'interprete PHP è integrato in apache, quindi l'elaborazione avviene all'interno e che per il resto uno script si comporta COME un CGI anche se non lo è. Se vuoi sapere di più su php rivolgiti all'apposito forum.

Tramite CGI possono essere eseguiti tutti gli eseguibili (script e compilati) che sono scritti in modo da ricevere un input tramite i metodi http POST o GET e sono in grado di restituire unh output con il MIME text/html.