Die Schätzung, und was sie nicht ist

Ein Token ist ein Stück Text unterhalb der Wortebene. Modelle zerteilen Geschriebenes mit Byte Pair Encoding, einem Verfahren, das häufige Bytepaare zu wiederverwendbaren Einheiten verschmilzt — aus „encoding“ kann also „encod“ und „ing“ werden. Englisch liegt im Schnitt bei etwa vier Bytes pro Token, und daher kommt die Abkürzung.

Kein schneller Schätzer fährt einen echten Tokenisierer. Zeichen geteilt durch vier ist Rechnen, kein Kodieren. Es hat keinen Wortschatz, es kann also nicht wissen, dass ein seltenes Wort in fünf Stücke zerfällt, während ein häufiges heil bleibt. Nimm die Zahl als Planungsgröße. Sie beantwortet „passt das“, und sie klärt keine API-Rechnung.

Genaue Zahlen kommen vom Anbieter. OpenAI veröffentlicht seine Kodierungen, cl100k_base für GPT-4 und o200k_base für GPT-4o und die o-Reihe, als installierbare Bibliothek. Anthropic veröffentlicht nichts, die einzige genaue Quelle für Claude ist also der count_tokens-Endpunkt der API.

Die Zahl steht unter dem Text, den du kopiert hast, neben Zeichen, Wörtern und Zeilen, bei jeder Kopie. Das heißt, der Prompt muss nirgendwohin reisen, um gemessen zu werden, und es bleibt kein Browser-Tab dafür offen.

Das Aufräumen bewegt die Zahl meist stärker als das Umformulieren. Unsichtbare Zeichen und Folgen von Leerzeilen aus eingefügter Modellausgabe zu entfernen spart echte Tokens, und beides passiert im selben Panel wie die Zählung.

Wo vier Zeichen pro Token zerbrechen

Code und JSON. Klammern, Einrückung und Satzzeichen tokenisieren dicht, und englische Prosa liegt bei etwa 0,75 Wörtern pro Token, während Code Richtung 0,5 fällt. Ein JavaScript-Schnipsel maß 140 Tokens unter cl100k_base und 149 unter o200k_base — selbst zwei Kodierungen desselben Anbieters sind sich also uneins.

Andere Sprachen. Eine spanische Passage kostete unter o200k_base 30 % mehr Tokens und unter cl100k_base 56 % mehr als ihre englische Vorlage. Chinesisch, Japanisch und Kyrillisch packen noch dichter. Lange Ziffernfolgen tun dasselbe.

Verschiedene Modelle, verschiedene Antworten. Jede Familie bringt ihren eigenen Tokenisierer und Wortschatz mit, und derselbe Text kann sich zwischen ihnen um 25 bis 50 % unterscheiden. Wenn du über zwei Anbieter hinweg planst, zähl zweimal.

Was ich benutze

Für einen einzelnen Prompt reicht eine Webseite. Kostenlos im Browser ausprobieren, mit derselben Schätzung „Zeichen geteilt durch vier“ und ohne dass etwas hochgeladen wird.

Mein Grund, es in die App zu bauen, ist kleiner als die Genauigkeit. Einen langen Prompt zu prüfen hieß, ihn in die Website von jemand anderem einzufügen, und das wollte ich mit Kundenarbeit oder unveröffentlichten Texten nicht weiter tun. Klipto zeigt die Schätzung in der Einfüge-Vorschau bei jeder Kopie, offline, neben Zeichen, Wörtern und Zeilen. Dieselbe Schätzung, an einem Ort, an dem der Text den Mac nicht verlässt.

Häufige Fragen

Wie viele Tokens sind 1.000 Wörter?

Etwa 1.333 Tokens englischer Prosa, beim Verhältnis von 100 Tokens zu 75 Wörtern. Code und nicht-englischer Text packen dichter, die echte Zahl liegt also höher.

Ist Zeichen geteilt durch vier genau?

Nahe dran bei englischer Prosa, ungenau bei Code, JSON und nicht-lateinischen Schriften. Es ist kein Tokenisierer und gibt keine Zusicherung. Nimm es für „passt das“, nicht für Kosten auf den Cent.

Wie bekomme ich eine genaue Token-Zahl?

Nimm das Werkzeug des Anbieters. OpenAI liefert seine BPE-Kodierungen als Bibliothek, und Anthropics count_tokens-Endpunkt gibt die echte Zahl für Claude zurück.

Kann ich Tokens zählen, ohne meinen Prompt auf eine Website einzufügen?

Ja. Eine lokale Schätzung auf dem Mac braucht kein Hochladen und keinen API-Schlüssel, und das zählt, wenn der Prompt etwas enthält, das du lieber nicht an Dritte schickst.

Weiterlesen

Sieh die Zahl dort, wo du kopierst. Klipto laden.

Wie viele Tokens hat mein Text?