Non ti saprei dare consigli diretti, ma un punto di riferimento nell'ambito dei sistemi operativi "da hobbisti" è osdev.org, ci sono diverse pagine in cui vengono affrontati i problemi fondamentali (specie di ordine pratico) riguardo a come iniziare ad impostare il progetto.

In ogni caso, se vuoi andare oltre ad un sistema operativo "hello world" c'è molto da studiare.