Il codice si formatta con l'apposito tag CODE, non usando QUOTE: ho modificato io il messaggio in modo opportuno.
In caso contrario, il codice non è indentato e quindi non si capisce nulla.
Detto questo, bene per il codice, ma non capisco qual è il contesto in cui si verifica l'errore, non capisco qual è la tua gestione (visualizzare l'errore nella MsgBox sarebbe?), non capisco dove si trovata l'istruzione che hai menzionato all'inizio con la quale eliminavi una directory e cosa ha a che fare con questa parte di codice, che generalmente sembrerebbe mostrare delle icone estratte da file ma, nella pratica, meriterebbe comunque un approfondimento.
Tra l'altro, almeno a prima vista, le due parti di logica If/Then/Else che hai inserito nel punto in cui si trova If RadioButton1.Checked = True Then sembrano essere identiche. Quindi l'If a che diavolo servirebbe?
Ripeto le domande già fatte: cosa dovrebbe fare questo codice? dove e quando si verifica l'errore? che tipo di errore è?