se lui accede dal suo PC al tuo attaverso la LAN:

1) la pwd di amministratore locale del tuo PC non è impostata (o lui la conosce), nel qual caso devi cambiarla. Entra con profilo di amministratore in "Pannello di controllo", "Strumenti di amministrazione", "Gestione computer". Seleziona "Utenti e gruppi locali", "Users". Troverai il nome dell'amministratore locale. Visualizza le sue proprietà e cambia la pwd.

2) lui ha l'autorizzazione ad accedere a qualcuna delle tue cartelle condivise. Sempre da "gestione computer" selezionando "Cartelle Condivise" vedi le condivisioni impostate sul tuo PC (tipicamente per motivi amministrativi: c$, ADMIN$, IPC$ e PRINT$). Verifica che non ve ne siano altre e che il tuo collega non sia espressamente autorizzato ad accedervi: visualizza le proprietà e seleziona il tab "Autorizzazione Condivisione"

3) Il tuo collega conosce la pwd di amministratore di dominio ed accede a tutte le cartelle condivise a scopo amministrativo. In questo caso o è autorizzato dai sistemi ad accedere o vanno avvertiti. Non potendo cambiare la pwd di amministratore di dominio potresti protteggerti solo eliminando le cartelle condivise (tasto destro sulla cartella, Proprietà, Tab "Condivisione", abilita "non condividere la cartella"). Solo che le condivisioni sono richieste per la manutenzione via rempoto, gli aggiornamenti e altro, quindi non mi sembra una buona idea. Se vuoi disabilitarle comunque devi tener conto del fatto che ad ogni riavvio si ripristinano (mi pare) per cui la disabilitazione va fatta ad esempio con un file batch che si esegue ad ogni avvio.

Nota che da "gestione computer" selezionando la vista "cartelle condivise", "Sessioni" vedi tutte le sessioni attive in quel momento con il tuo PC e in caso di necessità puoi disconnetterne una o anche tutte.