Was bedeutet Token?
Ein Token ist eine Verarbeitungseinheit, in die ein Text für ein Sprachmodell zerlegt wird. Je nach Tokenizer kann es beispielsweise ein Wortteil, ein Zeichen oder eine andere Zeichenfolge sein. Ein Token ist daher nicht allgemein mit einem Wort gleichzusetzen.
Was heißt das für Public Affairs?
Tokenmengen beeinflussen unter anderem, wie viel Material eine Anwendung verarbeiten kann. Gerade deutsche Fachbegriffe und lange Dokumentkennungen können unterschiedlich zerlegt werden. Für die Arbeitsplanung sollte mit dem tatsächlich verwendeten Modell und Tokenizer gemessen werden.
Worauf kommt es an?
Faustregeln zur Umrechnung von Seiten oder Wörtern in Tokens sind ungenau. Ein ausreichendes technisches Limit garantiert außerdem nicht, dass das Modell jede relevante Passage korrekt berücksichtigt.
Drei Fragen für die Praxis
- Welcher Tokenizer wird verwendet?
- Zählen Eingabe und Ausgabe gemeinsam?
- Ist die wichtige Passage nach Verarbeitung noch enthalten?
Originalquellen & Vertiefung
Die Quellen erläutern den Begriff oder seinen fachlichen Rahmen. Die Anwendungshinweise und das fiktive Beispiel sind eigenständige Ausarbeitungen dieses Glossars.
- Hugging Face: LLM Course – Tokenizers (technische Dokumentation)
- Liu et al. (2023): Lost in the Middle: How Language Models Use Long Contexts
Fachbegriffe werden verständlich eingeordnet; berufliche Arbeitsbegriffe sind keine gesetzlichen Definitionen. Bei Rechtsfragen sind die einschlägige Fassung und der konkrete Einsatz maßgeblich.