Ein Segment, dessen tokenisierte Struktur eine von mehreren Möglichkeiten der Tokenisierung darstellt, sei es wegen der Ambivalenz der Lesung oder wegen vorhandener Revisionen innerhalb der Textstelle. Unter verschiedener Tokenisierung wird nicht nur eine jeweils andere Festlegung der Tokengrenzen, sondern auch eine infolge von Revisionen jeweils unterschiedlich ausfallende linguistische Bewertung verstanden.
Definition (englisch)
A segment with a tokenized structure that represents one of several alternatives of tokenization, either because of the ambivalence of the reading or because of revisions within the text passage. Different tokenization is used to refer not only to a different definition of token boundaries, but also to a different linguistic evaluation as a result of revisions.
