Warum derselbe Text verschiedene Zahlen ergibt
Jede Modellfamilie bringt ihren eigenen Tokenisierer mit. GPT-4 benutzt cl100k_base, einen Wortschatz von rund 100.000 Tokens. GPT-4o und die o-Reihe benutzen o200k_base mit etwa 200.000, was Englisch in weniger Stücke packt. Anthropic veröffentlicht Claudes Tokenisierer gar nicht, die einzige genaue Quelle ist also der count_tokens-Endpunkt der API.
Die Unterschiede sind groß genug, um zu zählen. Eine spanische Passage kostete unter o200k 30 % mehr Tokens und unter cl100k 56 % mehr als ihr englisches Original. Englische Prosa liegt bei etwa 0,75 Wörtern pro Token. Code fällt Richtung 0,5, und Zahlen oder nicht-lateinische Schriften packen noch dichter.
Lies die Zahl oben also als Spanne. Vier Zeichen pro Token trifft bei englischer Prosa gut und bei Code, JSON oder Chinesisch nur ungefähr. Wenn eine harte Kontextgrenze oder eine echte Rechnung davon abhängt, ruf den Tokenisierer des Anbieters selbst auf.
Wofür eine Schätzung reicht
Für zwei Fragen, im Wesentlichen. Passt dieser Prompt, und was kostet er ungefähr.
Die Kontextgrenzen sind 2026 groß. Claudes Opus-Klasse und Sonnet 4.6 erreichen 1 Mio. Tokens, GPT-5.5 nimmt 1 Mio. an Eingabe, Gemini 3.1 Pro schafft etwas über 1 Mio. Beworbene Grenzen sind keine Arbeitsgrenzen: Unabhängige Tests fanden nachlassendes Erinnern irgendwo jenseits von 600.000 bis 700.000 Tokens. Eine Schätzung sagt dir, ob der Prompt überhaupt passt. Ob er bequem passt, ist deine Entscheidung.
Die Kosten sind die andere Frage. APIs rechnen pro Token ab, bei Eingabe und Ausgabe, ein langer Systemprompt oder eine eingefügte Codebasis treibt die Rechnung also leise nach oben.
Auf dem Mac stehen dieselben vier Zahlen unter jeder Kopie in Kliptos Einfüge-Vorschau, was den Weg über einen Browser-Tab spart.
Häufige Fragen
Wie viele Tokens sind 1.000 Wörter?
Etwa 1.333 Tokens englischer Prosa, beim üblichen Verhältnis von 100 Tokens zu 75 Wörtern. Andersherum sind 1.000 Tokens ungefähr 750 Wörter. Code und nicht-englischer Text packen dichter.
Ist diese Zahl genau?
Zeichen, Wörter und Zeilen sind genau. Tokens sind eine Schätzung mit vier Zeichen pro Token, für jedes Modell. Für eine genaue Zahl nimm den Tokenisierer des Anbieters.
Wie zähle ich Tokens für Claude?
Über Anthropics count_tokens-Endpunkt. Claudes Tokenisierer ist nicht veröffentlicht, und es gibt keine Bibliothek dafür — kein Werkzeug ohne Netz kann dir also eine echte Claude-Zahl geben.
Weiterlesen
- Wie viele Tokens hat mein Text?
- KI-Textreiniger · Schreibweisen-Umwandler
- Zählungen und Umwandlungen bei jedem Einfügen
Klipto laden und die Zahl dort sehen, wo du kopierst.