direi decisamente che sviluppare un applicativo voip interamente in php non è possibile e non tanto per la mancanza di librerie ma per la lentezza di php

il voip ha necessità di timing bassissimi che l'engine di php non è in grado di fornire

in php è però possibile utilizzare software come ad esempio freeswitch (puoi sviluppare interi componenti di freeswitch in php [letteralmente moduli interni] che facciano da ponte per il web ... ad es con un applicativo in flash e cosi via)

Asterisk se non erro supporta pure delle api ma è ben lontano dal livello di integrazione fornito da freeswitch

Comunque tutto dipende da quello che vuoi fare tu