Immaginavo che la cosa non fosse così semplice
Mi sono trovato anch'io nella tua stessa identica situazione e mi sono costruito un Tokenizer personalizzato!


Ciao.