Tokenisierung

Wort und Tokenisierung

heiEDITIONS unterstützt die spezifische Markierung von linguistischen Einheiten, hier insbesondere Wörtern, ausdrücklich. Die Segmentierung eines Texts in Einheiten der Wortebene ist Voraussetzung für bestimmte Formen der Weiterverarbeitung (bspw. Analyse durch Parser, Information Retrieval). Wörter werden mit dem Element <w> getaggt. Diese Form des markierten Wortes wird als Token bezeichnet. Die Kriterien, nach denen tokenisiert wird, sind den Projekten überlassen. Sie sollten sich hierzu insbesondere Fragen von Zeitaufwand, Forschungsfragen und Nachnutzbarkeit orientieren, um eine nachvollziehbare Regelung der Tokenisierung zu erreichen. Die Erfassung innerhalb von <w> erlaubt es unter anderem, die Zusammen- und Getrenntschreibung von Wörtern anhand von linguistischen Kriterien anstatt lediglich der rein visuellen Darstellung wiederzugeben. Insbesondere bei älteren Handschriften kann dies von großem Interesse sein. Worttrennungen am ZeilenendeBei Worttrennungen am Zeilenende wird an der entsprechenden Stelle im Wort der Zeilenumbruch mit der Nummer der neuen Zeile gesetzt und um das Attribut @break mit dem Wert no gesetzt. Somit wird einerseits dem Zeilenumbruch Rechnung getragen, andererseits auch die Einheit des Wortes erhalten. Trennungszeichen können, falls vorhanden, erfasst werdern (vgl. Worttrennung).

@xml:idEinzelne Tokens können mittels einer @xml:id eindeutig identifiziert und zugeordnet werden. Mittels dieser Markierung kann an anderer Stelle durch das Attribut @target auf diese Textstücke verwiesen werden. Die @xml:id muss als Wert eine im Dokument einzigartike Zeichenkette zugewiesen werden, die idealerweise innerhalb eines Projekts einheitlich geregelt sind. Die so markierten Wörter (<w>) können damit später beispielsweise einfacher annotiert werden.

Token und Korrekturen

Zum Teil können bei Korrekturen in Texten, insbesondere in Handschriften, neue Worte entstehen. In der Regel sollen hierbei nur die Ergebnisse der Korrektur tokenisiert werden. In seltenen Fällen kann es aber von Interesse sein, auch das falsche Original festzuhalten. Dies kann zum Beispiel bei Versschreibungen der Fall sein, oder wenn die fehlerhafte Schreibung offensichtlich erst bei einer Überarbeitung korrigiert wird. Diese Fehler und Korrekturen können beliebig komplex sein. Innerhalb eines <choice>-Konstrukts ist es möglich, beide Tokens festzuhalten. Zudem kann die Art der Korrektur festgehalten werden .

Tokens und Abkürzungen

Teilweise kann eine korrekte Tokenisierung eines Begriffs erst nach der Auflösung stattfinden. Dies betrifft insbesondere einige Formen der ↪ Klitika. Dies kann, ähnlich der Korrekturen, mit einem <choice>-Konstrukt gelöst werden. Im einfachsten Fall kann die Auflösung innerhalb der <choice>-Konstruktion in einem eigenen <w>-Element stehen:

Im komplexeren Fall kann sich die Auflösung über zwei Tokens erstrecken und beide betreffen. Hier wird eine <choice>-Konstruktion vollständig außerhalb von Abkürzung und Auflösung gesetzt. Diese <choice>-Konstruktion enthält die Kindelemente <abbr>, in welchem die abgekürzte Form untokenisiert steht!, und <expan>, welches die beiden Tokens mit der Auflösung umfasst: