Si tratta di una cosa molto difficile ed è necessario comunque conoscere bene come funzionano le librerie OpenCV per addenstrarsi in questo settore.
Io c'ho lavorato sopra per mesi ma poi ho lasciato perdere a causa di un margine di errore troppo alto in fase di riconoscimento.
Prova a cercare con ocr - OpenCV.
Ho scritto un programma basato su OpenCV che permette di studizre immagini e colori in modo user - friendly. Esso permette di partire da un'immagine e di ricavarne la matrice che la produce. A causa però di questo baco
http://code.opencv.org/issues/3593
non è ancora disponibile per Windows. Speriamo lo risolvano.

Auguri! Ciao ciao.