In php e java ad esempio i token vengono creati utilizzando funzioni/metodi che accettano come argomenti la stringa da spezzettare e un'altro argomento stringa che indica secondo quale delimitatore bisogna tagliare la frase.Ad esempio per spezzettare parole basta usare come delimitatore " " .