...e volessi continuare ad abitare qui a Milano, dovrei pagare le tasse sia agli svizzeri (poco e alla fonte) che al governo italiano (un sacco di soldi)?

Non è che per caso le pagherei solo in Svizzera?