echo eregi_replace('\?', 'prova', $stringa1);

? è un carattere con un significato preciso nelle espressioni regolari quindi per specificare proprio il punto interrogatico devi mettere \ prima