Si, ti serve un router, oppure un modem/router, a seconda del tipo di accesso ad Internet che hai (se hai già il modem, se hai fastweb e quindi il loro hag, se non hai nulla...)
Puoi collegare i PC al router sia via wireless (se il tuo router ha questa funzionalità) mediante appositi adattatori, oppure, più semplicemente via cavo di rete (soluzione più semplice ed economicissima).

Dai un'occhiata qui comunque.. ti risolverà tanti dubbi.
http://forum.html.it/forum/showthrea...hreadid=588255

Se hai problemi chiedi ancora!