non puoi fare un hitTest tra due forme irregolari ma puoi farlo tra un punto e una forma irregolare.

istanzaFormaIrregolare.hitTest(x, y, true)

Il terzo parametro che ho indicato col valore true, è lo shapeFlag che specifica appunto se deve essere considerato il rettangolo di delimitazione dell'istanza (false) oppure l'area effettiva occupata dell'istanza (true).