lasciamo anche perdere gli installer, che per quanto moderni siano non credo proprio che sappiano da sé, se non gli dici di farlo, se una dll vada registrata o no
No, questo non e' esatto. Un installer lo sa (anche perche' e' semplicissimo saperlo).

data una determinata dll o ocx, c' è un modo per sapere se debba essere registrata o no per funzionare correttamente?
Gli ocx devono essere registrati tutti (e' insito nel concetto di Ole Control).

Le dll non devono essere registrate solamente se sono semplici DLL contenenti funzioni o risorse. Le dll che implementano "oggetti" istanziabili con l'automazione, devono essere registrate.

Per discriminare tra i due tipi di DLL, considera che quelle registrabili esportano una funzione apposita, la DllRegisterServer. Se questa funzione non viene esportata, la DLL non e' da registrare e, se lo fai, ottieni un errore del tipo

"TuoFile.Dll e' stato caricato, ma il punto di ingresso DllRegisterServer non è stato trovato"