Basta aggiungere nel server(processo padre) la chiusura di conn_fd.Quindi

codice:
if( pid == 0){
             perror("fork() error");
             exit(1);
else{
             if( pid > 0){
                            //codice processo figlio
             }
              else{
                            close(conn_fd);
              }
}