Beh si, la soluzione migliore sarebbe reindirizzare tutto su un index.php e gestire tutto da li. Però non è nulla di complicato ed è quello che fanno anche i moderni framework php, per te sarebbe un problema metterlo in pratica?
Il rewriting da effettuare è semplice, ma dipende dal server che stai utilizzando.
Per darti un'idea guarda il paragrafo della documentazione di Laravel che ne parla: https://laravel.com/docs/6.x#pretty-urls
Se usi nginx è solo una riga, se usi apache o affini poco di più.