Se per quello scanner ci fossero i drivers per windows 2000 io proverei a caricare quelli, anzitutto...alle volte sono compatibili con XP

In ogni caso sì che si può installare win98 sullo stesso PC dove c'è WinXP, ma solo in una partizione separata e con particolari attenzioni, soprattutto perchè hai già XP nella partizione C: e si dovrà fare attenzione a che Win98 (che può essere installato solo in partizioni primarie) non si installi in C: ma nell'altra partizione separata.
In rete ci sono diverse guide per poter installare win98 DOPO winXp, ma è un'operazione delicata che va fatta con molta attenzione.

In ogni caso, prima di tutto, meglio tentare di far riconoscere lo scanner a XP con la procedura di installazione nuovo hardware (nel pannello di controllo)...
XP ha una vasta libreria hardware, mi sembra strano che, pur vecchio, non venga riconosciuto...