Ein Segment, dessen tokenisierte Struktur eine von mehreren
Möglichkeiten der Tokenisierung darstellt, sei es wegen der Ambivalenz der Lesung
oder wegen vorhandener Revisionen innerhalb der Textstelle. Unter verschiedener
Tokenisierung wird nicht nur eine jeweils andere Festlegung der Tokengrenzen,
sondern auch eine infolge von Revisionen jeweils unterschiedlich ausfallende
linguistische Bewertung verstanden.
Definition (englisch)
A segment with a tokenized structure that represents one of
several alternatives of tokenization, either because of the ambivalence of the
reading or because of revisions within the text passage. Different tokenization is
used to refer not only to a different definition of token boundaries, but also to
a different linguistic evaluation as a result of revisions.
