Non serve avere per forza un router o due modem.Installi una scheda di rete per pc e li colleghi con una cavo crociato.Poi colleghi un modem adsl ad uno dei due pc.Una volta fatto ciò attivi la condivisione della connessione adsl sul pc con il modem.Dopodichè puoi configurare i due pc in rete in questa maniera ( per esempio ):

il pc col modem che puoi considerarlo un "server"

ip 192.168.0.1
subnet mask : si setta automaticamente
gateway: 192.168.0.1
server DNS : 192.168.0.1

Pc senza modem

ip: 192.168.0.2
subnet mask: si setta automaticamente
gateway:192.168.0.1
server DNS: 192.168.0.1

Poi nelle opzioni di explorer del pc senza modem vai nelle connessioni e scegli impostazioni lan e selezioni l'opzione rileva automaticamente impostazioni.

Così dovresti usare una connessione su due pc.Naturalmente tieni presente che il pc col modem deve essere sempre acceso.Invece con il router questo problema dovresti non averlo.

Spero sia chiaro e non aver usato imprecisioni.
Saluti