Beh, una chiamata a funzione non può impiegare meno tempo che fare una semplice lettura di una posizione dell'array.
array_shift() fa ben più operazioni che leggere il contenuto di una posizione dell'array, deve eliminare la prima e riordinare gli indici delle seguenti, quindi direi che la differenza di tempo è dipesa da altro.