Non puoi. La GPU obbedisce solo al suo driver, che è pensato però non per far fare operazioni "elementari" alla GPU ma compiti ben precisi.
In realtà si può fare (vedi GPGPU, BrookGPU, CUDA, ecc), però non è una cosa banale e soprattutto il VB non è il linguaggio adatto per questo genere di applicazioni.

come faccio a far fare questi calcoli alla GPU e non al processore?
E' come voler montare il motore di una Ferrari su una ApeCar, se ti interessano le prestazioni lascia stare Visual Basic e passa ad un linguaggio in grado di generare eseguibili più performanti.