Potrebbe essere più promettente la seguente strada :
1 - i 2 poligoni si intersecano in almeno un punto, il punto non è un vertice --> il poligono 'piccolo' non è interamente contenuto nell'altro
2 - come sopra ... se il punto è un vertice o è incluso completamente o è completamente escluso (basta controllare un qualunque punto interno al poligono e vedere se è interno anche all'atro)
3 - non hanno punti in comune --> o è escluso o è incluso completamente (stesso controllo del punto 2)

Non è detto che sia la strada migliore ma è quella che proverei io...