Stai chiedendo una cosa complicatissima... analizzare un'immagine per trovarne di simili!

Sinceramente non so nemmeno con che criteri (matematici, non umani!) dovresti decidere se due immagini sono simili. Comunque, supponendo che tu lo sappia e che tu non sia la prima ad avere questa necessità, potresti cercare una funzione open source in C che confronta due immagini col metodo che tu sai, e trasformarla in una udf per MySQL.

Ma probabilmente tu vuoi fare qualcosa di molto più semplice... insomma, o usi Google Images o per ogni immagine imposti una descrizione, e fai solo ricerche testuali.

Se vuoi usare Google, puoi usare quest'api:
https://developers.google.com/custom-search/v1/overview