Token einfach erklärt
| Token kurz erklärt | |
|---|---|
| Definition | Ein Token ist eine Verarbeitungseinheit, in die ein KI-Modell Text zerlegt. |
| Fachbereich | Künstliche Intelligenz, Natural Language Processing und Sprachmodelle |
| Kernfunktion | Text in maschinenverarbeitbare Einheiten aufteilen |
| Typische Anwendung | Texteingabe, Textausgabe, Kostenberechnung und Begrenzung des Kontextfensters |
| Eingabe | Wörter, Sätze, Zeichenfolgen oder Programmcode |
| Ausgabe | Eine Folge numerisch codierter Token |
| Technische Grundlage | Tokenizer, Vokabular und Tokenisierungsverfahren |
| Verwandte Begriffe | Tokenisierung, Kontextfenster, Prompt, Embedding und Sprachmodell |
| Englischer Begriff | Token |
Wer ein KI-Modell nutzt, begegnet Token häufig an Stellen, an denen eigentlich Wörter erwartet werden: Preise werden pro Token berechnet, Eingaben dürfen nur eine bestimmte Tokenzahl enthalten und lange Gespräche passen irgendwann nicht mehr in das Kontextfenster.
Der Grund dafür ist technisch einfach: Sprachmodelle lesen Text nicht so, wie Menschen ihn wahrnehmen. Sie verarbeiten weder ganze Sätze noch automatisch vollständige Wörter. Stattdessen zerlegt ein sogenannter Tokenizer den Text in kleinere Einheiten. Ein häufiges Wort kann ein einzelnes Token bilden, ein seltenes oder zusammengesetztes Wort dagegen aus mehreren Token bestehen. Auch Leerzeichen, Satzzeichen, Zahlen und Teile von Programmcode können eigene Token sein.
Token sind deshalb keine bloße Abrechnungseinheit. Sie bilden die Grundlage dafür, wie ein Sprachmodell Text einliest, Wahrscheinlichkeiten berechnet und neue Ausgaben erzeugt. Wer Prompts schreibt, Kosten abschätzt oder mit langen Dokumenten arbeitet, sollte verstehen, was Token sind und warum ihre Zahl nicht mit der Wortzahl identisch ist.
Was ist ein Token?
Ein Token ist eine elementare Einheit, in die ein Sprachmodell eine Eingabe zerlegt. Diese Einheit kann ein vollständiges Wort, ein Wortbestandteil, ein Satzzeichen, eine Zahl, ein Leerzeichen oder ein einzelnes Zeichen sein.
Der Begriff wird in der Informatik auch in anderen Zusammenhängen verwendet, etwa bei Programmiersprachen, Authentifizierung oder Kryptowährungen. Im Zusammenhang mit künstlicher Intelligenz und großen Sprachmodellen meint Token jedoch meist die Einheiten, mit denen ein Modell Text verarbeitet.
Ein Sprachmodell arbeitet intern nicht direkt mit sichtbaren Wörtern. Der Text wird zunächst tokenisiert. Anschließend erhält jedes Token eine numerische Kennung. Diese Kennungen werden in mathematische Repräsentationen umgewandelt, mit denen das Modell Wahrscheinlichkeiten für mögliche Fortsetzungen berechnet.
Ein Token besitzt daher keine feste Länge. Das Wort „Haus“ kann je nach Tokenizer ein einzelnes Token sein, während ein seltenes Fachwort in mehrere Bestandteile zerlegt wird. Auch dasselbe sichtbare Wort kann abhängig von Großschreibung, Leerzeichen oder Position unterschiedlich tokenisiert werden.
Token einfach erklärt
Man kann sich Token wie kleine Textbausteine vorstellen. Ein Sprachmodell setzt Wörter und Sätze nicht Buchstabe für Buchstabe zusammen, sondern arbeitet mit Bausteinen, die es während seiner Entwicklung gelernt hat.
Sehr häufige Wörter oder Silben können als eigener Baustein gespeichert sein. Seltene Wörter werden aus mehreren kleineren Teilen zusammengesetzt. Dadurch muss das Modell nicht jedes mögliche Wort einer Sprache einzeln kennen. Es kann auch unbekannte Begriffe, neue Namen oder zusammengesetzte Wörter verarbeiten, solange diese aus vorhandenen Token zusammengesetzt werden können.
Aus dem deutschen Wort „Datenverarbeitung“ könnten beispielsweise mehrere Token entstehen, etwa Bestandteile, die sinngemäß „Daten“, „verarbeit“ und „ung“ entsprechen. Die tatsächliche Zerlegung hängt vollständig vom verwendeten Tokenizer ab. Es gibt daher keine universell gültige Tokenzahl für einen bestimmten Text.
Wie funktioniert die Tokenisierung?
Die Tokenisierung ist der Schritt, bei dem sichtbarer Text in eine Folge von Token umgewandelt wird. Der Ablauf findet sowohl bei der Eingabe als auch bei der Ausgabe eines Sprachmodells statt.
| Schritt | Vorgang | Beispiel |
|---|---|---|
| 1. Text erfassen | Das System übernimmt die Zeichenfolge des Nutzers. | „KI erklärt Sprache.“ |
| 2. Zerlegen | Der Tokenizer teilt den Text anhand seines Vokabulars auf. | „KI“, „ erklärt“, „ Sprache“, „.“ |
| 3. IDs zuweisen | Jedes Token erhält eine numerische Kennung. | Zum Beispiel 4812, 925, 1730, 13 |
| 4. Repräsentieren | Die Token-IDs werden in mathematische Vektoren umgewandelt. | Jedes Token erhält eine Modellrepräsentation. |
| 5. Verarbeiten | Das Modell berechnet Beziehungen und mögliche Fortsetzungen. | Es schätzt das nächste wahrscheinliche Token. |
| 6. Rückwandeln | Aus erzeugten Token wird wieder lesbarer Text zusammengesetzt. | Die Ausgabe erscheint als Satz. |
Moderne Tokenizer nutzen häufig Verfahren, bei denen häufig vorkommende Zeichenfolgen als größere Einheiten gespeichert werden. Seltenere Zeichenfolgen werden in kleinere Teile zerlegt. Dieses Prinzip bietet einen Kompromiss zwischen einem sehr großen Wortschatz und einer sehr langen Folge einzelner Zeichen.
Die Tokenisierung ist nicht bedeutungsgleich mit echtem Sprachverständnis. Sie ist zunächst eine technische Segmentierung. Erst das Modell verarbeitet die Beziehungen zwischen den Token im Kontext.
Warum sind Token keine Wörter?
Ein Wort ist eine sprachliche Einheit. Ein Token ist dagegen eine technische Einheit eines bestimmten Modells. Beide können übereinstimmen, müssen es aber nicht.
| Einheit | Bedeutung | Feste Länge? | Abhängig vom Modell? | Beispiel |
|---|---|---|---|---|
| Wort | Sprachlich abgegrenzte Einheit | Nein | Nein | „Wissen“ |
| Token | Verarbeitungseinheit eines Tokenizers | Nein | Ja | „Wiss“ + „en“ oder „Wissen“ |
| Zeichen | Ein einzelner Buchstabe, eine Ziffer oder ein Symbol | Ja | Nein | „W“ |
| Byte | Technische Speichereinheit | Ja | Nein | Teil einer Zeichenkodierung |
Kurze, häufige Wörter benötigen oft nur ein Token. Lange, seltene oder zusammengesetzte Wörter können mehrere Token beanspruchen. Das ist besonders im Deutschen relevant, weil zusammengesetzte Substantive sehr lang werden können. Auch Fachbegriffe, Produktnamen, Tippfehler und ungewöhnliche Schreibweisen führen häufig zu mehr Token.
Eine pauschale Umrechnung von Wörtern in Token ist daher nur eine grobe Schätzung. Für eine genaue Zahl muss derselbe Tokenizer verwendet werden, den auch das betreffende Modell nutzt.
Welche Texte benötigen besonders viele Token?
Die Zahl der Token hängt nicht nur von der Textlänge ab. Sprache, Schreibweise und Inhalt beeinflussen die Zerlegung erheblich.
| Textart | Warum mehr Token entstehen können |
|---|---|
| Seltene Fachbegriffe | Sie sind oft nicht als vollständige Einheit im Vokabular vorhanden. |
| Deutsche Komposita | Lange zusammengesetzte Wörter werden häufig in mehrere Bestandteile zerlegt. |
| Programmcode | Klammern, Einrückungen, Operatoren und Bezeichner können eigene Token bilden. |
| Zahlenfolgen | Lange Zahlen werden häufig in mehrere Abschnitte geteilt. |
| Ungewöhnliche Namen | Seltene Eigennamen sind oft nicht als vollständige Token gespeichert. |
| Tippfehler | Unbekannte Schreibweisen müssen aus kleineren Einheiten zusammengesetzt werden. |
| Sprachen mit geringer Repräsentation | Der Tokenizer kann weniger häufige Wortbestandteile im Vokabular besitzen. |
| Emojis und Sonderzeichen | Ein sichtbares Zeichen kann technisch aus mehreren Einheiten bestehen. |
Auch Leerzeichen spielen eine Rolle. Manche Tokenizer speichern Wörter gemeinsam mit einem vorangestellten Leerzeichen als eigene Einheit. Dadurch kann dasselbe Wort am Satzanfang anders tokenisiert werden als mitten im Satz.
Token bei der Eingabe und Ausgabe
Bei der Nutzung eines Sprachmodells entstehen Token auf beiden Seiten: durch die Eingabe und durch die erzeugte Ausgabe.
| Tokenart | Enthaltene Inhalte | Bedeutung |
|---|---|---|
| Input-Token | Prompt, Systemanweisungen, Gesprächsverlauf, Dokumente und technische Metadaten | Bestimmen, welchen Kontext das Modell verarbeitet. |
| Output-Token | Die vom Modell erzeugte Antwort | Bestimmen die Länge der Ausgabe. |
| Gespeicherte oder wiederverwendete Token | Bereits verarbeitete Promptbestandteile, sofern ein Dienst dies technisch unterstützt | Können je nach Anbieter anders abgerechnet oder verarbeitet werden. |
| Interne Verarbeitungstoken | Modellinterne Schritte, sofern ein System solche gesondert ausweist | Sind nicht immer vollständig sichtbar oder identisch definiert. |
Zum Eingabekontext gehört häufig mehr als der sichtbare Text des Nutzers. Ein Chatdienst kann zusätzlich Systemregeln, vorherige Nachrichten, Werkzeugbeschreibungen oder Inhalte hochgeladener Dateien übergeben. Deshalb kann die tatsächlich verarbeitete Tokenzahl höher sein als der sichtbare Prompt vermuten lässt.
Was hat das Kontextfenster mit Token zu tun?
Das Kontextfenster beschreibt die maximale Menge an Token, die ein Modell innerhalb eines Verarbeitungsvorgangs berücksichtigen kann. Dazu zählen Eingabe, Systemanweisungen, Gesprächsverlauf, eingebundene Dokumente und je nach System auch die geplante Ausgabe.
Ist das Kontextfenster ausgeschöpft, muss das System Inhalte kürzen, zusammenfassen oder ältere Teile des Gesprächs entfernen. Ein großes Kontextfenster bedeutet daher, dass mehr Text gleichzeitig verarbeitet werden kann. Es garantiert jedoch nicht, dass jedes Detail gleich zuverlässig beachtet wird.
| Situation | Folge für den Kontext |
|---|---|
| Langer Chatverlauf | Ältere Nachrichten beanspruchen weiterhin Token. |
| Große Dokumente | Der eingefügte Text reduziert den Platz für weitere Anweisungen und Antworten. |
| Ausführliche Systemregeln | Sie zählen ebenfalls zum verarbeiteten Kontext. |
| Sehr lange Antwort | Für die Ausgabe muss innerhalb technischer Grenzen Platz vorhanden sein. |
| Mehrere Werkzeuge | Werkzeugbeschreibungen und Ergebnisse können zusätzliche Token beanspruchen. |
Für Anwendungen mit langen Dokumenten reicht es daher nicht, nur die nominelle Größe des Kontextfensters zu betrachten. Entscheidend ist auch, wie Inhalte ausgewählt, strukturiert und wiedergefunden werden.
Wie berechnen sich Tokenkosten?
Viele KI-Dienste rechnen die Nutzung nach der Zahl verarbeiteter Token ab. Dabei werden Eingabe und Ausgabe häufig getrennt berechnet. Die konkreten Preise unterscheiden sich nach Anbieter, Modell, Region und Tarif und können sich ändern.
Die Grundformel lautet:
Kosten = Input-Token × Preis pro Input-Token + Output-Token × Preis pro Output-Token
| Kostenfaktor | Einfluss |
|---|---|
| Länge des Prompts | Mehr Text erzeugt mehr Input-Token. |
| Gesprächsverlauf | Wiederholt übertragene Nachrichten erhöhen den Verbrauch. |
| Ausgabelänge | Lange Antworten verursachen mehr Output-Token. |
| Modellwahl | Leistungsfähigere Modelle können anders bepreist sein. |
| Dokumente und Daten | Zusätzlicher Kontext erhöht die Eingabemenge. |
| Mehrstufige Prozesse | Jeder einzelne Modellaufruf kann erneut Token verbrauchen. |
Für eine realistische Kostenschätzung müssen Entwickler nicht nur eine einzelne Anfrage betrachten. Bei Agenten, Suchsystemen oder automatisierten Workflows kann eine Nutzeraktion mehrere Modellaufrufe auslösen. Dadurch steigt der Gesamtverbrauch deutlich.
Konkrete Beispiele für Token
Die folgenden Beispiele verdeutlichen, warum sichtbare Textlänge und Tokenzahl nicht identisch sind. Die genaue Zerlegung kann je nach Modell abweichen.
Ein häufiges Wort
Ein kurzes, häufig vorkommendes Wort wie „Haus“ kann als einzelnes Token im Vokabular vorhanden sein. Das Modell verarbeitet es dann als eine Einheit.
Ein langes zusammengesetztes Wort
Ein Begriff wie „Krankenhausverwaltungssystem“ wird wahrscheinlich in mehrere Bestandteile zerlegt. Obwohl es orthografisch ein Wort ist, kann es viele Token beanspruchen.
Eine Zahl
Die Zahl „20260722“ kann je nach Tokenizer als mehrere Zahlenblöcke verarbeitet werden. Zahlen sind deshalb nicht grundsätzlich ein Token.
Programmcode
Eine Codezeile enthält Schlüsselwörter, Variablennamen, Klammern, Punkte, Operatoren und Einrückungen. Diese Struktur kann zu einer hohen Tokendichte führen, obwohl die Zeile optisch kurz wirkt.
Ein Emoji
Ein einzelnes Emoji wirkt wie ein Zeichen, kann intern aber aus mehreren technischen Einheiten bestehen. Sichtbare Länge und Tokenverbrauch fallen dann besonders deutlich auseinander.
| Begriff | Bedeutung | Unterschied zu Token | Gemeinsamkeit | Typischer Einsatz |
|---|---|---|---|---|
| Token | Verarbeitungseinheit eines Modells | Ausgangspunkt der Modellverarbeitung | Repräsentiert Teile von Text oder Code | Sprachmodelle, Kosten, Kontext |
| Wort | Sprachliche Einheit | Kann aus einem oder mehreren Token bestehen | Trägt sprachliche Bedeutung | Lesen, Schreiben, Sprachwissenschaft |
| Zeichen | Einzelnes sichtbares oder technisches Symbol | Ein Token kann mehrere Zeichen enthalten | Bestandteil von Text | Zeichenzählung, Kodierung |
| Token-ID | Numerische Kennung eines Tokens | Ist die maschinenlesbare Zuordnung zum Token | Verweist auf dieselbe Verarbeitungseinheit | Interne Modellverarbeitung |
| Embedding | Mathematischer Vektor zur Repräsentation von Eigenschaften | Ist keine Textzerlegung, sondern eine numerische Darstellung | Wird aus Token oder Text erzeugt | Ähnlichkeitssuche, Klassifikation, RAG |
| Kontextfenster | Maximale verarbeitbare Tokenmenge | Ist eine Kapazitätsgrenze, kein Textelement | Wird in Token angegeben | Lange Prompts und Dokumente |
Warum verwenden Sprachmodelle überhaupt Token?
Ein Modell benötigt ein begrenztes Vokabular, um Text in numerischer Form verarbeiten zu können. Ein reines Wortvokabular wäre unpraktisch, weil natürliche Sprache ständig neue Wörter, Namen, Schreibweisen und Wortkombinationen hervorbringt. Ein reines Zeichenvokabular wäre dagegen sehr klein, würde aber extrem lange Sequenzen erzeugen.
Subword-Token bilden einen Mittelweg. Häufige Wörter können kompakt dargestellt werden, während seltene Begriffe aus kleineren Teilen zusammengesetzt werden. Das ermöglicht eine effiziente Verarbeitung mit einem begrenzten Vokabular.
Die konkrete Tokenisierung beeinflusst, wie lang eine Sequenz für das Modell erscheint. Eine ungünstige Zerlegung kann dazu führen, dass bestimmte Sprachen oder Fachgebiete mehr Token benötigen als andere. Das kann sich auf Kosten, Geschwindigkeit und die nutzbare Textmenge im Kontextfenster auswirken.
Token beim Training und bei der Nutzung
Token spielen sowohl beim Training als auch bei der späteren Nutzung eines Sprachmodells eine Rolle. Beide Phasen dürfen jedoch nicht verwechselt werden.
| Phase | Rolle der Token |
|---|---|
| Training | Texte werden tokenisiert. Das Modell lernt statistische Muster und Beziehungen zwischen Tokenfolgen. |
| Anpassung | Zusätzliche Trainings- oder Feedbackdaten verändern das Verhalten des Modells. |
| Inferenz | Eine aktuelle Eingabe wird tokenisiert und vom bereits trainierten Modell verarbeitet. |
| Ausgabe | Das Modell erzeugt schrittweise neue Token auf Grundlage berechneter Wahrscheinlichkeiten. |
Während der Inferenz sucht das Modell nicht einfach einen passenden Satz in seinen Trainingsdaten. Es berechnet auf Basis seiner gelernten Parameter, welche Token im aktuellen Kontext wahrscheinlich folgen. Diese Wahrscheinlichkeitsberechnung kann flüssige und informative Texte erzeugen, garantiert aber keine sachliche Richtigkeit.
Tokenverbrauch reduzieren
Token sollten nicht um jeden Preis eingespart werden. Zu kurze oder unklare Eingaben können schlechtere Ergebnisse verursachen. Sinnvoll ist vielmehr, unnötigen Kontext zu entfernen und relevante Informationen klar zu strukturieren.
- Wiederholungen entfernen: Dieselben Regeln und Hintergrundinformationen müssen nicht mehrfach im Prompt stehen.
- Nur relevante Dokumentteile übergeben: Bei langen Dateien sollten passende Abschnitte ausgewählt werden.
- Ausgabelänge begrenzen: Eine klare Vorgabe verhindert unnötig lange Antworten.
- Gesprächsverläufe zusammenfassen: Alte Nachrichten können bei Bedarf komprimiert werden.
- Strukturierte Eingaben verwenden: Klare Felder und kurze Überschriften reduzieren Missverständnisse.
- Mehrfachaufrufe prüfen: Automatisierte Systeme sollten nicht dieselben Inhalte unnötig oft verarbeiten.
- Passendes Modell wählen: Nicht jede Aufgabe benötigt ein großes und kostspieliges Modell.
Bei Such- und RAG-Systemen ist eine gute Auswahl relevanter Textabschnitte besonders wichtig. Wird ein vollständiges Dokument ungefiltert in jeden Prompt eingefügt, steigen Kosten und Kontextverbrauch, ohne dass die Antwort zwangsläufig besser wird.
Typische Fehler und Missverständnisse
- Viele Menschen glauben, ein Token sei immer ein Wort. Tatsächlich kann ein Wort aus mehreren Token bestehen oder ein Token nur einen Wortteil enthalten.
- Viele Menschen glauben, jedes Modell zähle Token gleich. Tatsächlich verwenden Modelle unterschiedliche Tokenizer und Vokabulare.
- Viele Menschen glauben, ein Zeichen entspreche einem Token. Tatsächlich kann ein Token mehrere Zeichen enthalten oder ein sichtbares Zeichen mehrere Token benötigen.
- Viele Menschen glauben, nur der sichtbare Prompt verbrauche Token. Tatsächlich können Systemanweisungen, Chatverlauf, Werkzeuge und Dokumente hinzukommen.
- Viele Menschen glauben, ein großes Kontextfenster bedeute unbegrenztes Gedächtnis. Tatsächlich ist es nur die maximale Menge, die in einem Verarbeitungsvorgang berücksichtigt werden kann.
- Viele Menschen glauben, weniger Token seien immer besser. Tatsächlich kann eine zu stark gekürzte Eingabe wichtige Informationen verlieren.
- Viele Menschen glauben, Token seien gespeicherte Wissenseinheiten. Tatsächlich sind sie zunächst Segmente der Ein- und Ausgabe, nicht fertige Fakten.
- Viele Menschen glauben, die Wortzahl reiche für eine genaue Kostenberechnung. Tatsächlich ist dafür die Tokenisierung des konkreten Modells erforderlich.
Wussten Sie schon?
- Dasselbe Wort kann mit oder ohne vorangestelltes Leerzeichen unterschiedlich tokenisiert werden.
- Ein Text mit vielen Zahlen, Sonderzeichen oder Code kann deutlich mehr Token benötigen als ein gleich langer Fließtext.
- Die Tokenisierung beeinflusst nicht nur Kosten, sondern auch die Menge an Inhalt, die ein Modell gleichzeitig berücksichtigen kann.
Merksatz
Ein Token ist keine feste Zahl von Buchstaben oder Wörtern, sondern eine modellabhängige Einheit, mit der Sprachmodelle Text einlesen und erzeugen.
Fazit
Token sind die technische Grundlage dafür, wie Sprachmodelle Text verarbeiten. Sie können Wörter, Wortteile, Satzzeichen, Zahlen oder andere Zeichenfolgen repräsentieren. Deshalb lässt sich die Tokenzahl eines Textes nicht zuverlässig allein aus der Wort- oder Zeichenzahl ableiten.
Für Nutzer wird der Begriff vor allem an drei Stellen wichtig: bei der maximalen Größe des Kontextfensters, bei der Länge von Ein- und Ausgaben sowie bei der Abrechnung von KI-Diensten. Für Entwickler kommt hinzu, dass Tokenisierung die Effizienz verschiedener Sprachen, Dokumenttypen und Anwendungen beeinflusst.
Ein bewusster Umgang mit Token bedeutet nicht, Prompts möglichst kurz zu machen. Entscheidend ist ein passender Kontext: vollständig genug für eine gute Antwort, aber frei von unnötigen Wiederholungen und irrelevanten Daten.
Häufig gestellte Fragen zu Token
Was ist ein Token bei KI?
Ein Token ist eine kleine Verarbeitungseinheit, in die ein KI-Sprachmodell Text zerlegt. Ein Token kann ein ganzes Wort, einen Wortteil, ein Satzzeichen, eine Zahl oder ein einzelnes Zeichen darstellen. Das Modell verarbeitet diese Einheiten als numerische Kennungen und erzeugt seine Antwort ebenfalls Token für Token.
Wie viele Wörter sind 1.000 Token?
Eine feste Umrechnung ist nicht möglich, weil die Tokenzahl von Sprache, Schreibweise, Inhalt und Tokenizer abhängt. Häufige kurze Wörter benötigen weniger Token als seltene Fachbegriffe, Zahlenfolgen oder zusammengesetzte Wörter. Für eine genaue Berechnung muss der Tokenizer des verwendeten Modells eingesetzt werden.
Ist ein Token dasselbe wie ein Wort?
Nein. Ein Wort kann genau einem Token entsprechen, aus mehreren Token bestehen oder zusammen mit einem Leerzeichen als Token gespeichert sein. Token sind technische Einheiten eines Modells, Wörter dagegen sprachliche Einheiten. Besonders lange, seltene oder zusammengesetzte Wörter werden häufig aufgeteilt.
Warum kosten Token Geld?
Die Verarbeitung und Erzeugung von Token benötigt Rechenleistung. Viele KI-Anbieter berechnen deshalb Eingabe- und Ausgabe-Token separat. Je länger der Prompt, der Gesprächsverlauf und die Antwort sind, desto höher kann der Verbrauch ausfallen. Die konkreten Preise hängen vom jeweiligen Modell und Tarif ab.
Was sind Input- und Output-Token?
Input-Token entstehen aus allen Informationen, die an das Modell übergeben werden, darunter Prompt, Systemanweisungen, Chatverlauf und Dokumente. Output-Token sind die Einheiten der erzeugten Antwort. Beide können getrennt gezählt und unterschiedlich berechnet werden.
Was ist ein Token-Limit?
Ein Token-Limit begrenzt die Menge an Token, die ein Modell in einem bestimmten Zusammenhang verarbeiten oder ausgeben kann. Häufig bezieht es sich auf das Kontextfenster. Wird die Grenze erreicht, müssen Inhalte gekürzt, ausgelagert oder zusammengefasst werden.
Warum verbraucht deutscher Text viele Token?
Deutsche Texte können durch lange zusammengesetzte Wörter und seltene Flexionsformen mehr Token benötigen. Ob das tatsächlich der Fall ist, hängt jedoch vom Tokenizer ab. Häufige deutsche Wörter können kompakt gespeichert sein, während seltene Komposita in viele Bestandteile zerlegt werden.
Wie kann man Token zählen?
Token lassen sich mit einem Tokenizer oder Token-Zähler bestimmen, der zum verwendeten Modell passt. Eine reine Zeichen- oder Wortzählung liefert nur eine grobe Schätzung. Für Kostenberechnungen und technische Limits sollte stets das konkrete Tokenisierungsverfahren verwendet werden.
Zählen Leerzeichen und Satzzeichen als Token?
Sie können Teil eines Tokens sein oder eigene Token bilden. Manche Tokenizer speichern ein Wort gemeinsam mit einem vorangestellten Leerzeichen. Satzzeichen werden häufig separat verarbeitet. Die genaue Zerlegung hängt vom jeweiligen Vokabular und Tokenisierungsverfahren ab.
Was haben Token mit dem Kontextfenster zu tun?
Das Kontextfenster wird in Token gemessen. Es umfasst die Informationen, die ein Modell in einem Verarbeitungsvorgang berücksichtigen kann. Dazu zählen Eingaben, Systemanweisungen, frühere Nachrichten, Dokumente und je nach System auch Platz für die Ausgabe.
Sind Token gespeichertes Wissen?
Nein. Token sind Einheiten zur Darstellung von Text. Das Wissen oder die gelernten statistischen Muster eines Modells liegen in seinen Parametern, nicht als Sammlung direkt abrufbarer Token-Sätze. Ein Token allein enthält daher keine vollständige Aussage oder verlässliche Tatsache.
Warum kann derselbe Text bei verschiedenen Modellen unterschiedlich viele Token haben?
Modelle können unterschiedliche Tokenizer und Vokabulare verwenden. Ein Tokenizer erkennt bestimmte Wörter oder Wortteile als einzelne Einheit, ein anderer zerlegt dieselbe Zeichenfolge anders. Deshalb unterscheiden sich Tokenzahl, Kosten und Kontextverbrauch je nach Modell.