Per fare queste cose ti serve PHP.
Per cominciare, visto che non lo conosci affatto, devi partire dalle basi della programmazione.
Puoi leggere la guida presente su questo sito e cercarne altre online, ce ne sono quante ne vuoi, oppure prenderti un libro.

Non sperare però di riuscire a fare nel giro di poco tempo quello che hai scritto, è una cosa complessa per chi non ha mai programmato. Se ti ci metti seriamente, considera che riuscirai a fare una cosa accettabile nel giro di un'anno.

Per quanto riguarda il forum, nessuno si riscrive un forum per fatti suoi, a meno che non ne abbia un motivo valido e una profonda conoscenza del linguaggio. Ti conviene usare un forum già pronto (come fanno praticamente tutti) e adattarne la grafica alle tue esigenze.
Puoi scegliere ad esempio phpBB (gratuito) o vBulletin (a pagamento), ce ne sono anche altri, ma questi sono i più famosi e probabilmente i più supportati.